ETL

ETL: Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程

kettle通过shell脚本+7-zip命令行解压缩文件

13

在利用kettle做数据入库时,部分文件数据源是压缩过的(一般是.zip或.gz),kettle是自带解压缩组件的,可以直接解压缩。 组件:作业>文件管理>解压缩文件 实际应用时发现,部分数据源虽然后缀一样(.gz),但因未知原因用kettle的解压缩会失败报错,但手...

阅读(196)评论(5)赞 (3)

阿里云市场手机号码归属地API查询接口及KETTLE调用方法

13

还是工作需要查询一批手机号省份城市归属地;之前曾写过调用百度免费api的方法,最近发现好像不能用了。找了很久没有找到精确到地级市的免费接口,于是上阿里云搜索一下,发现云市场还挺多这种产品的,不过是第3方做的。这里以kettle调用为例介绍调用方法如下: 阿里云市场搜索,结果很多,...

阅读(742)评论(0)赞 (20)

免费开源ETL工具KETTLE初探:简介及安装、配置

3

ETL概念: ETL:Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载...

阅读(3648)评论(0)赞 (1)