札记-Qianrong's Blog札记-Qianrong's Blog札记-Qianrong's Blog

24小时更新:0篇     一周更新:0篇最新发布

ETL

根据内容片段在资源库SQL反查kettle转换或作业

3

Kettle是一款免费开源的ETL软件,配合定时任务来做数据同步等各种ETL转换、作业特别方便。但当转换和作业多了和时间长了之后,如果没有详细文档记录,可能后面就找不到某些表是怎么生成的数据来源是哪里,某些转换被哪些作业调用的等等。 其实当kettle以资源库形式运行时,转换、作...

阅读(3624)评论(0)赞 (121)

Web Analytics

以Matomo-Cloud为例用Nginx反向代理解决IOS系统打开Let’s Encrypt证书慢问题

6

Matomo-Cloud试用过程中发现IOS设备打开网页很慢,排查后发现是因其服务器证书为Let's Encrypt,其某个状态检查的服务器被DNS污染导致打开延迟。如果为自有服务器证书可替换证书解决,如为第3方无法替换证书,本文介绍一种用Nginx反向代理转发的方法来解决证书这...

阅读(5660)评论(1)赞 (117)

建站

WP-China-Yes:轻松在线更新WordPress和插件!

3

因为某Wall的原因,国内更新WordPress和插件总是因为网络原因在线更新失败。只能取wordpress官网下载新版程序/插件,上传覆盖更新,非常不方便。甚至有些敏感时期连官网也被Ban了…… 幸而发现一款插件WP-China-Yes,可以对WordPress及其插件进行反代...

阅读(4595)评论(0)赞 (10)

ETL

kettle通过shell脚本+7-zip命令行解压缩文件

13

在利用kettle做数据入库时,部分文件数据源是压缩过的(一般是.zip或.gz),kettle是自带解压缩组件的,可以直接解压缩。 组件:作业>文件管理>解压缩文件 实际应用时发现,部分数据源虽然后缀一样(.gz),但因未知原因用kettle的解压缩会失败报错,但手...

阅读(11058)评论(5)赞 (91)

ETL

阿里云市场手机号码归属地API查询接口及KETTLE调用方法

13

还是工作需要查询一批手机号省份城市归属地;之前曾写过调用百度免费api的方法,最近发现好像不能用了。找了很久没有找到精确到地级市的免费接口,于是上阿里云搜索一下,发现云市场还挺多这种产品的,不过是第3方做的。这里以kettle调用为例介绍调用方法如下: 阿里云市场搜索,结果很多,...

阅读(5640)评论(0)赞 (32)

ETL

免费开源ETL工具KETTLE初探:简介及安装、配置

3

ETL概念: ETL:Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载...

阅读(8057)评论(0)赞 (8)

其他

在VirtualBox虚拟机上安装Linux CentOS

3

为什么使用虚拟机? 1.部分程序只支持Linux环境,如我安装基于PHP的私有云盘Nextcloud/Owncloud,只支持Linxu环境,而个人和公司电脑都是Windows系统,就只能通过虚拟机实现; 2.与宿主机隔离,避免测试时安装/卸载程序搞乱主机环境,在虚拟机随便测试;...

阅读(6957)评论(0)赞 (5)