札记-Qianrong's Blog

Kettle是一款免费开源的ETL软件，配合定时任务来做数据同步等各种ETL转换、作业特别方便。但当转换和作业多了和时间长了之后，如果没有详细文档记录，可能后面就找不到某些表是怎么生成的数据来源是哪里，某些转换被哪些作业调用的等等。 其实当kettle以资源库形式运行时，转换、作...

阅读(3540)评论(0)赞 (114)标签：Kettle / 作业 / 资源库 / 转换

Matomo-Cloud试用过程中发现IOS设备打开网页很慢，排查后发现是因其服务器证书为Let's Encrypt，其某个状态检查的服务器被DNS污染导致打开延迟。如果为自有服务器证书可替换证书解决，如为第3方无法替换证书，本文介绍一种用Nginx反向代理转发的方法来解决证书这...

阅读(5564)评论(1)赞 (112)标签：Cloud / IOS / Let's Encrypt / matomo / Nginx / 反向代理 / 打开慢 / 证书

因为某Wall的原因，国内更新WordPress和插件总是因为网络原因在线更新失败。只能取wordpress官网下载新版程序/插件，上传覆盖更新，非常不方便。甚至有些敏感时期连官网也被Ban了…… 幸而发现一款插件WP-China-Yes，可以对WordPress及其插件进行反代...

阅读(4525)评论(0)赞 (5)标签：wordpress / 插件 / 更新

在利用kettle做数据入库时，部分文件数据源是压缩过的（一般是.zip或.gz），kettle是自带解压缩组件的,可以直接解压缩。 组件：作业>文件管理>解压缩文件 实际应用时发现，部分数据源虽然后缀一样（.gz），但因未知原因用kettle的解压缩会失败报错，但手...

阅读(10900)评论(5)赞 (86)标签：7-zip / Kettle / Shell / vbs / 解压缩

还是工作需要查询一批手机号省份城市归属地；之前曾写过调用百度免费api的方法，最近发现好像不能用了。找了很久没有找到精确到地级市的免费接口，于是上阿里云搜索一下，发现云市场还挺多这种产品的，不过是第3方做的。这里以kettle调用为例介绍调用方法如下： 阿里云市场搜索，结果很多，...

阅读(5576)评论(0)赞 (26)标签：API / Kettle / 手机号归属地 / 批量 / 接口 / 阿里云

Piwik(如今改名Matomo)是一款基于PHP的开源网站监测程序，类似于国内的百度统计和国外的Google Analytics等。虽然开源免费但功能也十分强大，像人群细分、事件跟踪、目标、自定义维度和指标、电子商务增强分析等功能该有的都有，另外像代码管理器、api报表接口等国...

阅读(5485)评论(0)赞 (1)标签：API / matomo / piwik / Sparkline

最近工作需要查询一批手机号省份城市归属地，发现百度一个免费的手机号归属地查询接口，调用很方便： http://mobsec-dianhua.baidu.com/dianhua_api/open/location?tel=13600063*** 返回json如下 { "respon...

阅读(8901)评论(0)赞 (15)标签：API / ETL / JSON / Kettle

ETL概念： ETL：Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载...

阅读(7990)评论(0)赞 (2)标签：ETL / Kettle / Pentaho Data Integration / 数据仓库

Oracle Database XE 是一款免费、优秀的入门级数据库，拥有Oracle Database企业版的大部分功能，但占用资源小，安装维护简单，安装文件只有300多M。其限制是最多存储 11GB 的用户数据，最多使用 1GB 内存及一个 CPU。生产环境显然不足，但非常适...

阅读(6869)评论(0)赞 (6)标签：CentOS / Linux / Oracle / 安装

为什么使用虚拟机？ 1.部分程序只支持Linux环境，如我安装基于PHP的私有云盘Nextcloud/Owncloud，只支持Linxu环境，而个人和公司电脑都是Windows系统，就只能通过虚拟机实现； 2.与宿主机隔离，避免测试时安装/卸载程序搞乱主机环境，在虚拟机随便测试；...

阅读(6898)评论(0)赞 (0)标签：CentOS / Linux / VirtualBox / 虚拟机