使用Pentaho Kettle做了个数据抓取入库的程序,大致这个样:
使用文本调测的时候,速度大概7500条/秒,但是换上数据库后,速度只有150条/秒,对于20万左右的数据入库要超过20分钟,这让人没法接受。
使用批量插入好像也没什么效果,依然慢
求助Google,找到了2个参考:
参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html
参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9
描述的基本一致,根据参考调整了连接参数:
useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true
数据写入速度马上提升到2300条/秒左右,开3个线程,写入速度就与文本写入差不多了。
也算写了很长时间的代码,使用Kettle也算有一段时间,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,但这样的速度提升摆在面前,不熟悉这些性能参数,要想提高性能还真的不容易,写出来也是希望碰到相同问题时能有点参考,因为使用百度,完全搜索不到^_^,写点中文的,希望能被收录
相关推荐
pentaho kettle中文开发手册
pentaho kettle PDI 9.2下载
Pentaho Kettle Solutions中文版及随书代码
pentaho kettle-engine-8.3.0.0-371.jar
Pentaho Kettle Solutions: Building Open Source ETL Solutions with Pentaho Data Integration Matt Casters, Roland Bouman, Jos van Dongen ISBN: 978-0-470-63517-9 Paperback 720 pages September 2010
使用 Pentaho Kettle 8.1.0.0 源码编译的 Kettle ETL。
Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案.part1
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》主要介绍如何使用开源ETL工具来完成数据整合工作。 《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,...
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》后面章节介绍了如何在 Kettle 上开发插件,如何使用Kettle处理实时数据流,以及如何在Amazon AWS上运行Kettle 等一些高级主题。 除了介绍PDI(Kettle)工具的...
8.3.0.0-371 pentaho-kettle kettle-core
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
pentaho kettle PDI 9.2下载
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
Latest Pentaho Data Integration (aka Kettle) Documentation
本书介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据...
pentaho-Kettle安装及使用说明(例子). pentaho-Kettle安装及使用说明(例子).
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
Pentaho Kettle解决方案 使用PDI构建开源ETL解决方案,分享给所有需要的人!
pentaho-kettle-9.0.0.2源码