import pandas as pd
import numpy as np
import os, glob, re

strPath = 'D:/Projects/POM/DATA/2023年3月/两会/敏感词3.8/'
strFn = strPath + 'merged.xlsx'
if(os.path.isfile(strFn)):
    os.remove(strFn)


# 合并错别字文件
def excelMerge(sPath, sFn):
    fs = glob.glob(os.path.join(sPath, '*.xlsx'))
    
    df = pd.DataFrame()
    for fn in fs:
        p, f = os.path.split(fn)
        dfn = pd.read_excel(fn)
        # 添加市州列
        if not '市州' in dfn.columns:            
            cityShorten = {'白银': '白银市', '定西': '定西市', '酒泉': '酒泉市', '嘉峪关': '嘉峪关市', '陇南': '陇南市',
                    '临夏': '临夏回族自治州', '平凉': '平凉市', '庆阳': '庆阳市', '天水': '天水市', '武威': '武威市', '新区': '兰州新区',
                    '兰州新区': '兰州新区', '兰州': '兰州市', '张掖': '张掖市', '甘南': '甘南藏族自治州', '省直': '省直部门', '金昌': '金昌市',
                        'BY': '白银市', 'DX': '定西市', 'JQ': '酒泉市', 'JYG': '嘉峪关市', 'LN': '陇南市',
                    'LX': '临夏回族自治州', 'PL': '平凉市', 'QY': '庆阳市', 'TS': '天水市', 'WW': '武威市', 'XQ': '兰州新区',
                    'LZXQ': '兰州新区', 'LZ': '兰州市', 'ZY': '张掖市', 'GN': '甘南藏族自治州', 'SZ': '省直部门', 'JC': '金昌市', }
            city=''
            for c in cityShorten.keys():
                if c in f:
                    city = cityShorten[c]
                    break
            if len(city)<1:
                print("!!!!! City Name not matched ( ", f, " )")
            dfn['市州'] = city

        df = df.append(dfn, ignore_index=True)
        print(f, '    ', dfn.shape[0], '/', df.shape[0] )
    df.to_excel(sFn, index=False)

excelMerge(strPath, strFn)