ETL

ETL: Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程

根据内容片段在资源库SQL反查kettle转换或作业

Kettle是一款免费开源的ETL软件，配合定时任务来做数据同步等各种ETL转换、作业特别方便。但当转换和作业多了和时间长了之后，如果没有详细文档记录，可能后面就找不到某些表是怎么生成的数据来源是哪里，某些转换被哪些作业调用的等等。其实当kettle以资源库形式运行时，转换、作...

阅读(3624)评论(0)赞 (121)标签：Kettle / 作业 / 资源库 / 转换

在利用kettle做数据入库时，部分文件数据源是压缩过的（一般是.zip或.gz），kettle是自带解压缩组件的,可以直接解压缩。组件：作业>文件管理>解压缩文件实际应用时发现，部分数据源虽然后缀一样（.gz），但因未知原因用kettle的解压缩会失败报错，但手...

阅读(11058)评论(5)赞 (91)标签：7-zip / Kettle / Shell / vbs / 解压缩

还是工作需要查询一批手机号省份城市归属地；之前曾写过调用百度免费api的方法，最近发现好像不能用了。找了很久没有找到精确到地级市的免费接口，于是上阿里云搜索一下，发现云市场还挺多这种产品的，不过是第3方做的。这里以kettle调用为例介绍调用方法如下：阿里云市场搜索，结果很多，...

最近工作需要查询一批手机号省份城市归属地，发现百度一个免费的手机号归属地查询接口，调用很方便： http://mobsec-dianhua.baidu.com/dianhua_api/open/location?tel=13600063*** 返回json如下 { "respon...

阅读(8971)评论(0)赞 (21)标签：API / ETL / JSON / Kettle

ETL概念： ETL：Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载...