java
闭包
编码
SSD
轨道融合仿真
yarn
android-studio
博通蓝牙使能
离线仿真项目
Lock
软件测试工程师
类模板
期末网页作业
数据介绍
哈夫曼树
邮件营销
定时同步
csp
应力强度因子
自定义Starter案例实操
kettle
2024/4/11 20:38:08
windows系统kettle9.3一键安装启动
程序下载、解压
通过百度网盘下载，直接解压即可 解压之后 双击运行
程序路径
pdi-ce-9.3.0.0-428一键安装启动\pdi-ce-9.3.0.0-428\data-integration
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
一、目的
为了整理离线数仓开发的全流程，算是温故知新吧
离线数仓的数据源是Kafka和MySQL数据库，Kafka存业务数据，MySQL存维度数据
采集工具是Kettle和Flume，Flume采集Kafka数据，Kettle采集MySQL数据
离线数仓是Hi…
![[Kettle] 生成记录](https://img-blog.csdnimg.cn/1e271ac5647c4a33ad5aac86387692c8.png)
[Kettle] 生成记录
在数据统计中，往往要生成固定行数和列数的记录，用于存放统计总数
需求：为方便记录1~12月份商品的销售总额，需要通过生成记录，生成一个月销售总额的数据表，包括商品名称和销售总额两个字段，记录…
kettle脚本中打印日志的方法
通过查看Api,我们已经知道了具体的方法,主要有两种方式
通过LogChannelFactory工厂构造LogChannel对象,然后调用相应的日志方法进行输出直接构造LogChannel方法,调用方法日志输出
两种方式都可以，先来看第一种
var subject"自定义日志输出";
//实例化工…
利用excel文件增量同步一个库的数据并自动校正两端数据库条数不一致
利用excel文件增量同步一个库的数据并自动校正两端数据库条数不一致
现在有sqlserver和mysql两个库上的表在进行同步，sqlserver上的是源表，mysql上是目标表。 我们就把sqlserver上的数据同步到mysql上 mysql 是没有数据的。 sqlserver的三个表只是创建了…
一百六十四、Kettle——Linux上脚本运行kettle的转换任务（Linux本地、Linux资源库）
一、目的
在kettle的转换任务以及共享资源库、Carte服务创建好后，需要对kettle的转换任务用海豚调度器进行调度，调度的前提的写好脚本。所以，这篇博客首先介绍在Linux上脚本运行kettle的转换任务
二、前提准备
（一）…
一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务
一、目的
kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后，准备在Linux上启动kettle的carte服务
二、实施步骤
（一）carte服务文件路径
kettle的Linux运行的carte服务文件是carte.sh （二…
快速上手kettle(二)小试牛刀
快速上手kettle二 小试牛刀 一 、前言二 、两个小目标三、 kettle核心概念介绍3.1 转换3.1.1 步骤(Step)3.1.2 跳（Hop）3.1.3 元素据3.1.4 数据类型3.1.5 并发执行 3.2 作业 四、实践操作4.1 案例1 将csv文件转换成excel文件4.1.1 在kettle中新建一个转换…
kettle通过java步骤获取汉字首拼
kettle通过java步骤获取汉字首拼
用途描述
一组数据，需要获取汉字首拼后，输出；
实现效果 添加jar包
pinyin4j-2.5.0.jar
自定义常量数据 Java代码 完整代码：
import net.sourceforge.pinyin4j.PinyinHelper;
import net.sou…
一百六十五、Kettle——用海豚调度器调度Linux资源库中的kettle任务脚本（亲测、附流程截图）
一、目的
在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后，接下来就是用海豚调度Linux上kettle任务
尤其是团队开发中，基本都要使用共享资源库，所以我直接使用海豚调度Linux资源库的kettle任务脚本
二、前提条…
Kettle系列（二）smart-kettle本地离线部署
Kettle系列（二）smart-kettle本地离线部署 说明一、概述二、代码下载（1）后端代码依赖下载（2）前端代码依赖下载 三、创建数据库（mysql8）四、修改配置文件五、mysql8数据库配置六、其他…
![[Kettle] 记录处理](https://img-blog.csdnimg.cn/1e1b115ef33b4f0592e66f626fada99d.png)
[Kettle] 记录处理
1.排序记录
排序是对数据中的无序记录，按照自然或客观规律，根据关键字段大小递增或递减的次序，对记录重新排列的过程
数据源
2019年11月月考数学成绩(Kettle数据集3).xlshttps://download.csdn.net/download/Hudas/88521681 2019年11月月考…
学习ETL利器kettle
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用。
参考资料…
![[Kettle] 字段处理](https://img-blog.csdnimg.cn/3e20a9b577be403185c95fdd73798344.png)
[Kettle] 字段处理
1.增加常量
常量是指在计算机程序运行过程中其值不能改变的量
常量可以是任何的数据类型，例如，圆周率"3.141159"、中国首都"北京"等都可以是常量
增加常量是指在数据中增加一个字段，并给字段设置一个固定的值
数据源…
Data Integration - Kettle 6.0下载安装
原文地址为：
Data Integration - Kettle 6.0下载安装曾经用过kettle 4.0版本，感觉挺简单的，组合各种模块就可以，不过自己只会简单的导入和导出。不过现在已经到6.x了，喜新厌旧，所以下载下来用用看。 官网地…
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
Kafka到HDFS，除了用Kafka API和flume之外，还可以用kettle，最大优点是不用写代码！
版本：Kettle版本：8.2、Hadoop版本：3.1.3
前提： 详情请看鄙人的一百零一、Kettle8.2.0连接Hive…
使用 Kettle 完成数据 ETL
文章目录 使用 Kettle 完成数据 ETL数据清洗数据处理 使用 Kettle 完成数据 ETL
现在我们有一份网站的日志数据集，准备使用Kettle进行数据ETL。先将数据集加载到Hadoop集群中，然后对数据进行清洗，最后加载到Hive中。
在本地新建一个数据集文…
一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）
一、目的
由于kettle的任务需要用到Hadoop（HDFS），所以就要连接Hadoop服务。
之前使用的是kettle9.3，由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包，无奈换成了kettle9.2，kettle9.2的安装…
一百四十九、Kettle——Linux上安装的kettle8.2创建共享资源库时遇到的问题（持续更新中）
一、目的
在kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后开始创建共享资源库，但是遇到了一些问题
二、Linux系统以及kettle版本
（一）Linux：CentOS 7 英文的图形化界面模式
&#…
记录kettle无法连接hive表异常
问题描述： 使用kettle连接hive2服务时遇到异常
错误连接数据库 [hive_default] : org.pentaho.di.core.exception.KettleDatabaseException:
Error occurred while trying to connect to the databaseError connecting to database: (using class org.apache.hive…
一百五十八、Kettle——Kettle各版本及其相关安装包分享（网盘链接，不需积分、不需验证码） 持续更新、持续分享
一、目的
最近因为kettle9.3的shim问题看了好多博客，都没有网盘分享。后来有一位博主分享了kettle9.2的shim安装包，已经很感谢他，但是是博客分享，下载还需要搞验证码下载码之类的。
kettle9.2的shim安装包下载好后，一…
kettle8.3表结构信息
长时间使用kettle,抽时间整理出8.3版本的表结构字段说明，欢迎同行指正交流，直接上文档。。。
数据库表目录 序号 表名 注释/说明 1 r_cluster 集群信息 2 r_cluster_slave 集群与主备设备关联 3 r_condition 条件表 4 r_database 数据库连…
大数据ETL工具对比（Sqoop, DataX, Kettle）
前言
在实习过程中，遇到了数据库迁移项目，对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成，公司和客户使用的比较多的是Sqoop, DataX和Kettle这三种工具。简单的对这三种ETL工具进行一次梳理。 ETL工具&…
Kettle 中表输入组件精度丢失的问题
Kettle 中表输入组件精度丢失的问题
作者：Grey
原文地址：Kettle 中表输入组件精度丢失的问题
kettle 的表输入组件，在默认状态下，查询的浮点数会默认帮你做一些操作（比如保留一位小数，或者四舍五入&…
windows下Kettle9.1连接oracle数据库报错
因为此时 kettle 的版本是最新的，所以理所应当要跟oracle的最新版 ojdbc.jar包配合使用。
步骤：oracle官网下载最新版 instantclient-basic-windows.x64-19.9.0.0.0dbru.zip ，解压得到 ojdbc8.jar，放到 kettle 的 data-integrati…
kettle利用excel文件增量同步一个库的数据(多表一次增量同步)
利用excel文件增量同步一个库的数据
现在有sqlserver和mysql两个库上的表在进行同步，mysql上的是源表，sqlserver上是目标表。
mysql : sqlserver :
可以看到sqlserver上表的最近一次同步日期分别是 pep表： 2022-10-23 14:19:00.000 stu_…
kettle的基础概念入门、下载、安装、部署
1、什么是ETL?
答：ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握…
Kettle打开后闪退，秒退 （Couldn‘t read the database cache）
我遇到的问题是，kettle执行较复杂脚本时秒退。之后打不开的问题 具体可以在运行日志中找到问题
2021/11/17 16:42:16 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Error starting Spoon shell
2021/11/17 16:42:16 …
kettle实现爬虫
步骤概览 获取请求 请求地址
东方财富网股票请求
自定义常量数据
获取HTTP请求之前，必须先定义一个URL常量作为HTTP client的输入 HTTP client 注：此处得到的数据并不是原生的json字符串，自己可以用文本文件输出测试以下。如下图 JavaScri…
国产化Kettle、JDK、MySQL下载安装操作步骤
一、Kettle下载安装 （一）、kettle的下载 1、登录https://sourceforge.net/projects/pentaho/
2、点击“Files”，进入Home / Data Integration 目录，下载需要的版本，以6.1为例。
3、点击“pdi-ce-6.1.0.1-196.zip”…
一百五十四、Kettle——Linux上安装Kettle9.3（踩坑，亲测有效，附截图）
一、目的
由于kettle8.2在Linux上安装后，共享资源库创建遇到一系列问题，所以就换成kettle9.3
二、kettle版本以及安装包网盘链接
kettle9.3.0安装包网盘链接
链接：https://pan.baidu.com/s/1MS8QBhv9ukpqlVQKEMMHQA?pwddqm0 提取码&…
解锁ETLCloud中Kettle的用法
随着大数据时代的到来，数据的处理和管理成为各行各业不可或缺的一环。ETL（Extract-Transform-Load）工具作为数据处理的重要环节，扮演着将数据从源端抽取出来、经过转换处理，最终加载至目标端的关键角色。在众多ETL工具…
4款免费可用的数据集成平台亮点
在众多免费的数据集成工具中，我们选出了四个平台，它们分别是Apache Nifi、FineDataLink、kettle、ETLCLoud。现在，让我们快速浏览一下这四个平台的亮点。 Apache Nifi：
Apache NiFi 是一款强大的数据集成和处理平台，它…
kettle pentaho log4j 日志记录
kettle pentaho log4j 日志记录
版本：kettle 4.1
需求描述：
使用java集成kettle插件，执行脚本时，控制台可以显示kettle和调用类的日志，但是日志文件却只能显示调用类的日志，kettle日志不显示。
需求分析…
一百五十三、Kettle——Linux上安装的kettle9.3启动后说缺少libwebkitgtk-1.0（真是坑爹啊，刚龟速下载又忍痛卸载）
一、问题
在kettle9.3可以在本地连接hive312后，在Linux中安装了kettle9.3，结果启动时报错WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下载libwebkitgtk的话也没有用
[roothurys22 data-integration]# yu…
kettle+jsoup解析网页url链接
用途
本文介绍如何使用kettle，遍历web页面中的url链接，并输出到文本文档。
技术
kettle javascript jsoup-1.11.3.jar
转换文件步骤 生成记录
此步骤用于设置需要访问的web地址，以sina为例：
JavaScript代码 源码如下&#…
一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效)
一、目的
由于先前使用的kettle8.2版本在Linux上安装后，创建共享资源库点击connect时页面为空，后来采用如下方法，在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码
<menuitem id"file-openZiyuanku" label&…
采用 Kettle 分页处理大数据量抽取任务
采用 Kettle 分页处理大数据量抽取任务
作者：Grey
原文地址：
博客园：采用 Kettle 分页处理大数据量抽取任务
CSDN：采用 Kettle 分页处理大数据量抽取任务
需求
将Oracle数据库中某张表历史数据导入MySQL的一张表里面。
源表…
一百二十、Kettle——用kettle把Hive数据同步到ClickHouse
一、目标
用kettle把hive数据同步到clickhouse，简单运行、直接全量导入数据
工具版本：kettle：8.2 Hive:3.1.2 ClickHouse21.9.5.16
二、前提
（一）kettle连上hive （二）kettle连上cli…
一百五十六、Kettle——Linux上安装的Kettle9.3连接ClickHouse数据库（亲测，附流程截图）
一、目标
kettle9.3在Linux上安装好后，需要与ClickHouse数据库建立连接
二、前提准备
（一）在Linux已经安装好kettle并可以启动kettle
（二）已知kettle和ClickHouse版本
1、kettle版本是9.3
2、ClickHouse版本是21…
kettle的基本介绍和使用
1、 kettle概述
1.1 什么是kettle
Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
1.2 Kettle核心知识点
1.2.1 Kettle工程存储方式
以XML形式存储以资源库方式存储…
Kettle 安装配置
文章目录 Kettle 安装配置Kettle 安装Kettle 配置连接 Hive Kettle 安装配置
Kettle 安装
在安装Kettle之前，需要确定已经安装Java运行环境。Kettle需要Java的支持才能运行，JDK的版本最好是8.x的太新的也会出现bug。Kettle的7.1版本的太旧了࿰…
kettle 同步gbase8t数据到mysql时clob类型乱码
一、问题
使用kettle 同步gbase8t数据到mysql时clob类型乱码。 varchar类型不乱码。
环境：win10 kettle:9.x
二、解决
1 （有效）修改kettle编码格式
打开kettle的安装目录，进入data-integration目录记事本编辑spoon.bat搜索PE…
二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
一、目的
需要用Kettle从Hive的DWS层库表数据增量同步到ClickHouse的ADS层库表中，不过这次的增量判断字段是day字段，不像之前的create_time字段
因为day字段需要转换类型，而 create_time字段字段不需要转换类型，因此两者的Kettl…
kettle分页抽取数据
背景
kettle抽取数据大家还是比较熟悉的，kettle在抽取数据的时候会开启很多通道，同时抽取，但是我现在遇到一个场景：
从一个mysql数据库里获取“已办”状态的数据id，然后拿这些id去一个oracle数据库里查询，…
kettle spoon创建带参数定时任务并关闭它
文章目录 ETL是什么下载安装kettle和mysql8资源下载 数据库连接方式已定义的数据库类型进行连接Generic Database方式连接JNDI方式 运行方式使用案例教程定时job执行增量插入转换新建转换新建定时任务job关闭定时任务job 命令行运行定时任务job命令行执行任务后台运行脚本文件设…
一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2
一、目标
Kettle9.2.0在Linux上安装好后，需要与Hive3.1.2数据库建立连接
之前已经在本地上用kettle9.2.0连上Hive3.1.2
二、各工具版本
（一）kettle9.2.0
kettle9.2.0安装包网盘链接
链接：https://pan.baidu.com/s/15Zq9w…
KETTLE 使用教程
Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。
Kettle简介：Kettle是一款国外开源的ETL工具ÿ…
一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本（持续更新追踪、持续完善）
一、目的
在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？
为了测试实际项目中的海豚定时调度从…
ZDH-大数据采集-支持KETTLE任务
目录
项目源码
预览地址
支持KETTLE介绍
新增KETTLE任务
配置调度KETTLE
重要说明
感谢支持 项目源码
zdh_web:GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台
预览地址
后台管理-登陆 用户名：zyc
密码：123456 支持KETTLE介绍
当前平台不…
一百五十一、Kettle——Linux上安装的kettle8.2开启carte服务以及配置子服务器
一、目的
kettle8.2在Linux上安装好可以启动界面、并且可以连接MySQL、Hive、ClickHouse等数据库后，准备在Linux上启动kettle的carte服务
二、实施步骤
（一）carte服务文件路径
kettle的Linux运行的carte服务文件是carte.sh （二…
Kettle7.0同步数据(简单操作步骤hive-hive)
一、Kettle说明介绍和原理说明 Kettle是一款免费的ETL工具。 ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写，也就是代表ETL过程的三个最主要步骤：“抽取”、“转换”、“装载”，但我们平时往往简称其为数据抽取。 ET…
Linux部署Kettle（pentaho-server-ce-9.4.0.0-343）记录/配置MySQL存储
下载地址
Kettle 是一个开源的数据集成工具，它是 Pentaho Data Integration（PDI）项目的一部分。要访问 Kettle 的官方网站，可以通过访问其母公司 Hitachi Vantara 的网站来找到相关信息 官方网站：https://www.hitachi…
Kettle REST Client获取token调用接口解析JSON入文件实战
Kettle REST Client通过GET获取token以POST方式请求接口解析JSON入文件完整实例
需求说明
通过kettle组件调用接口并解析JSON成结构化数据入文件。
完整实例 解决方法
利用生成记录组件定义URL参数通过REST ClENT组件请求得到TOKEN通过JSON INPUT组件解析接口请求的结果通过…
一百五十五、Kettle——Linux上安装的kettle9.3连接MySQL数据库
一、目的
kettle9.3在Linux上成功安装后，就建立数据库连接，第一个就是MySQL数据库
二、前提准备
提前准备好MySQL驱动包
（一）MySQL版本 （二）注意：由于我的MySQL版本比较高，所以特…
Java开源ETL工具-Kettle
一、背景 公司有个基于Kettle二次开发产品主要定位是做一些数据ETL的工作, 所谓的ETL就是针对数据进行抽取、转换以及加载的过程，说白了就是怎么对原始数据进行清洗，最后拿到我们需要的、符合规范的、有价值的数据进行存储或者分析的过程。 一般处理ETL的…
![[Kettle] Excel输入](https://img-blog.csdnimg.cn/6d317d3678314c1b84cf0b42006246c0.png)
[Kettle] Excel输入
Excel文件采用表格的形式，数据显示直观，操作方便
Excel文件采用工作表存储数据，一个文件有多张不同名称的工作表，分别存放相同字段或不同字段的数据
数据源
物理成绩(Kettle数据集2).xls https://download.csdn.net/download/H…
kettle 6.0安装并连接ORACLE,HADOOP CDH5.3.0以及hadoop客户端配置
到官网下载 下载完毕后解压,记得本机要有java环境并配置好 运行spoon.bat在linux下运行spoon.sh,亲测win7/centos6可以用 新建转换,选择输入拖出表输入,输出拖出表输出 双击设置 点击新建,建立一个oracle新连接 配置好后点击测试可以测试一下 显示测试成功 点击获取sql语句,可以…
一百八十二、大数据离线数仓完整流程——步骤一、用Kettle从Kafka、MySQL等数据源采集数据然后写入HDFS
一、目的
经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
二、项目背景
项目行业属于交通行业，因此数据具有很…
使用kettle批量加载数据到kadb
测试环境
达梦数据库版本：DM Database Server 64 V8 03134284132-20240115-215128-20081（官网测试版）KADB版本：KADB V003R002C001B0181Kettle版本：pdi-ce-9.4.0.0-343（官网下载）Python版本&…
二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）
一、目的
对于以month、year为分区字段的数据，不是像day字段分区那样每天增量插入更新即可，而是要以部分字段查询、部分字段更新，但是ClickHouse数据库并不适合更新操作，直接使用Kettle的插入更新控件会导致问题，必须…
kettle solr plugin
kettle solr plugin
项目概述：
基于kettle 4.1,solr 7.1 实现将数据写入到solr core的功能；
项目部署：
1、使用maven build->package ,生成 solr_plugin-0.0.1-SNAPSHOT.jar
2、在kettle目录 plugins\steps 下，新建 solr_…
kettle转换和作业介绍
转换和作业定义
转换（Transformation） 和 作业（Job）是Spoon设计器的核心两个内容，这两块内容构建了整个Kettle工作流程的基础。
1. 转换（Transformation）：主要是针对数据的各种处理…
ETL数据集成工具DataX、Kettle、ETLCloud特点对比
ETL数据集成工具
对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract) 、交互转换(transform) 、加载(load)至的端的过程当前的很多应…
kettle REST Client控件使用
kettle rest Client控件使用 场景：从数据库updataLevel中获取需要访问的City，通过rest Client获取level，将该level值插入updataLevel中。 环境：win 10 postgreSQL kettle DBeaver（链接数据库） Http接口&…
kettle——系统信息说明
系统信息默认值说明： 1、系统日期(可变)：系统时间，每次访问都在改变。 2、系统日期(固定)：系统时间，有转换开始来决定。即转换开始时间 3、开始日期范围(转换)：根据etl日志表的信息，确定日期范围…
数据科学低代码工具思考2—现状分析
数据科学工具伴随着计算机技术的发展也在持续的演进。数据库、大数据以及人工智能等时代标志性技术的出现，对数据科学工具的能力也有了更高的要求。一般而言，工具发展的趋势都是首先会出现一个能够支持数据科学计算的开发框架，方便用户能够更…
记一次，kettle执行JOB的一个BUG，linux下环境表输入(查询)卡住问题，windows环境下执行正常。
问题
采集数据，linux下执行JOB时。 发现表输入卡在，查询卡住，如图，11:37:19、11:37:42、 11:42:56 分别在40000、60000行的时候卡住，23s、5分14s。
拿出sql到pl/sql上查询，并查看执行计划，均…
kettle——数据清洗
实验步骤：
1.数据表（图片加分析，创建表的过程和对应的字段及记录）
①选择数据库 ②创建表结构 ③插入数据 2.kettle连接模块（图片加分析,每个模块实现的功能）
①新建“转换”文件,”文件”——>“新建…
kettle开发-Day42-远程执行作业
目录
前言： 一、远程执行 1、先看定义 2、前置条件 2.1网络畅通 2.2数据库DB连接一致 二、实战案例-Windows 1、初始配置-被远程端 1.1启动carte服务 1.2cmd 命令启动carte服务 2、初始化-远程端 3、实际应用 3.1、错误案例 3.2、正确案例 三、总结
前言&…
关于Kettle ETL java脚本编写遇到的一些问题记录
Kettle ETL java脚本编写遇到的一些问题记录
1.文本信息输出 使用方法**logBasic()**参数必须是字符串 这部分内容会在ETL的日志窗口显示 2.获取参数数据
1.获取上个节点传输的数据 可以直接在左侧双击获取 2.全局参数获取 在启动运行的变量设置参数 在java代码中获取方式 …
Kettle(9.3.0)连接ClickHouse
注意：低版本的kettle即使装ClickHouse驱动包后也不一定支持ClickHouse数据库连接（具体kettle从什么版本开始支持ClickHouse没测试过），只有高版本的kettle在安装ClickHouse驱动包后才支持ClickHouse数据库连接，因此这里…
ubuntu22安装和部署Kettle8.2
前提
kettle是纯java编写的etl开源工具，目前kettle7和kettle8都需要java8或者以上才能正常运行。所以运行kettle前先检查java环境是否正确配置，java版本是否是8或者以上。
kettle安装
1、创建kettle目录，并将kettle的zip包解压到kettle目…
10分钟数仓实战之kettle整合Hadoop
1.写在前面
很多朋友在做数仓的ETL的动作的时候，还是喜欢比较易上手的kettle
前面章节有介绍过安装kettle，可以参考
ETL工具--安装kettle_老码试途的博客-CSDN博客_spoon.bat 安装
kettle在Windows系统中对数据的转换、表和文件的转换等，…
kettle抽取数据提示标识符无效解决方案
执行后，报错ORA-00904，“XX”标识符无效，其中的XX不是表输出中标的字段。 解决方法：将表输出配置页面的specify database fields选上即可。
springboot整合kettle和xxljob
kettle 9.2.0.0-290
入门可以了解一下
本文只弄了ktr文件的执行，其他文件类似
先说一下分工springboot不用说
kettle主要是先配置出来ktr，配置完之后建议 先执行通过，确保ktr能正常使用
然后通过执行ktr把数据读取，处理&…
kettle 通过java实现正态分布密度函数调用
kettle版本
kettle 5.4
需求描述
excel中可以通过正态分布函数NORMDIST生成给定值的正态分布值，如下所示： 本文讲解如何通过kettle实现excel的NORMDIST函数。
实现效果 实现方式
1、生成记录
模拟数据输入
2、Java代码
使用注意： 如…
kettle使用（mysql导入MongoDB）
新建转换 表输入（mysql）–> 新建… 数据库连接：一般–mysql --> 连接参数 --> 测试连接正常sql查询，可多表 --> 预览 --> 确定
输出（MongoDB） --> 可以搜索（MongoDB在Big Da…
一百五十二、Kettle——Kettle9.3.0本地连接Hive3.1.2(踩坑，亲测有效，附截图)
一、目的
由于先前使用的kettle8.2版本在Linux上安装后，创建共享资源库点击connect时页面为空，后来采用如下方法，在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码
<menuitem id"file-openZiyuanku" label&…
kettle开发-Day37-SQ索引优化
前言：在上一个生产项目中，有个单表数据超249G了，里面存储的数据时间跨度就1年左右，那为啥会出现这种情况呢？数据来源为，一个生产基地所有电表的每分钟读数，一个基地大概500个电表左右࿰…
![[Kettle] 获取系统信息](https://img-blog.csdnimg.cn/aa0aa17db82e4de2a9ab4ea24e724b77.png)
[Kettle] 获取系统信息
系统信息是指Kettle系统环境的信息，包括了计算机系统的日期、星期等时间类型信息，计算机名称、IP地址等设备信息，Kettle系统转换过程中的信息等
需求：为方便读取计算机上的本月最后一天的交易数据文件，需要通过获取系…