masterscraper/masterscraper/core/meta_keys.py

59 lines
2.2 KiB
Python

#!/usr/bin/env python3
import re
#--------[ Process Variable Key Names ]--------
def meta_keys(self):
key_name = []
for key in self.data[0]:
if(key.lower().find('country') >=0 or
key.lower().find('countries') >=0 or
key.lower().find('dependency') >=0 ):
key_name.append('country.name')
elif(key.lower().find('year') >=0):
key_name.append('year')
elif(key.lower().find('date') >=0):
key_name.append('date')
else:
tmp_key = key
tmp_key = tmp_key.lower()
tmp_key = re.sub(',', '', tmp_key)
tmp_key = re.sub('\[.*\]', '', tmp_key)
tmp_key = re.sub('\(.*\)', '', tmp_key)
tmp_key = re.sub('km2', '', tmp_key)
tmp_key = re.sub('km', '', tmp_key)
tmp_key = re.sub('mi2', '', tmp_key)
tmp_key = re.sub('hectares', '', tmp_key)
tmp_key = re.sub('\ in\ ', '', tmp_key)
tmp_key = re.sub('US\ \$', '', tmp_key)
tmp_key = re.sub('\$', 'dollars', tmp_key)
tmp_key = re.sub('\%', 'percent', tmp_key)
tmp_key = re.sub('and\ dependencies ', '', tmp_key)
tmp_key = re.sub('list\ of\ countries\ by\ ', '', tmp_key)
tmp_key = re.sub('thousands\ of', '' ,tmp_key)
tmp_key = re.sub('millions\ of', '' ,tmp_key)
tmp_key = re.sub('billions\ of', '' ,tmp_key)
tmp_key = re.sub('per\ 100k\ live\ births', '', tmp_key)
tmp_key = re.sub('per\ 100k\ population', '', tmp_key)
tmp_key = tmp_key.strip()
tmp_key = tmp_key.replace(' ','.')
if tmp_key.find(self.meta['name'].lower().replace(' ','.')) <0:
if tmp_key != '':
tmp_key = self.meta['name'].lower().replace(' ','.') + '.' + tmp_key
else:
tmp_key = self.meta['name'].lower().replace(' ','.')
#--------[ Add Name To Info Array ]--------#
key_name.append( tmp_key )
self.info['keys'] = key_name