41 lines
1.8 KiB
Python
41 lines
1.8 KiB
Python
|
|
import pandas as pd
|
|
import numpy as np
|
|
import os, glob, re
|
|
|
|
strPath = 'D:/Projects/POM/DATA/2023年3月/两会/敏感词3.8/'
|
|
strFn = strPath + 'merged.xlsx'
|
|
if(os.path.isfile(strFn)):
|
|
os.remove(strFn)
|
|
|
|
|
|
# 合并错别字文件
|
|
def excelMerge(sPath, sFn):
|
|
fs = glob.glob(os.path.join(sPath, '*.xlsx'))
|
|
|
|
df = pd.DataFrame()
|
|
for fn in fs:
|
|
p, f = os.path.split(fn)
|
|
dfn = pd.read_excel(fn)
|
|
# 添加市州列
|
|
if not '市州' in dfn.columns:
|
|
cityShorten = {'白银': '白银市', '定西': '定西市', '酒泉': '酒泉市', '嘉峪关': '嘉峪关市', '陇南': '陇南市',
|
|
'临夏': '临夏回族自治州', '平凉': '平凉市', '庆阳': '庆阳市', '天水': '天水市', '武威': '武威市', '新区': '兰州新区',
|
|
'兰州新区': '兰州新区', '兰州': '兰州市', '张掖': '张掖市', '甘南': '甘南藏族自治州', '省直': '省直部门', '金昌': '金昌市',
|
|
'BY': '白银市', 'DX': '定西市', 'JQ': '酒泉市', 'JYG': '嘉峪关市', 'LN': '陇南市',
|
|
'LX': '临夏回族自治州', 'PL': '平凉市', 'QY': '庆阳市', 'TS': '天水市', 'WW': '武威市', 'XQ': '兰州新区',
|
|
'LZXQ': '兰州新区', 'LZ': '兰州市', 'ZY': '张掖市', 'GN': '甘南藏族自治州', 'SZ': '省直部门', 'JC': '金昌市', }
|
|
city=''
|
|
for c in cityShorten.keys():
|
|
if c in f:
|
|
city = cityShorten[c]
|
|
break
|
|
if len(city)<1:
|
|
print("!!!!! City Name not matched ( ", f, " )")
|
|
dfn['市州'] = city
|
|
|
|
df = df.append(dfn, ignore_index=True)
|
|
print(f, ' ', dfn.shape[0], '/', df.shape[0] )
|
|
df.to_excel(sFn, index=False)
|
|
|
|
excelMerge(strPath, strFn) |