博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch
阅读量:5104 次
发布时间:2019-06-13

本文共 1742 字,大约阅读时间需要 5 分钟。

这里我演示的是在windows下的操作

首先下载logstash-5.6.1,直接去官网自行下载

1.需要创建如下jdbc.conf和myes.sql两个文件

input {    stdin {    }    jdbc {     jdbc_driver_library => "D:\jdbcconfig\sqljdbc4-4.0.jar"            jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"            jdbc_connection_string => "jdbc:sqlserver://127.0.0.1:1433;DatabaseName=abtest"            jdbc_user => "sa"            jdbc_password => "123456"                        # schedule => 分 时 天 月 年                          # schedule => * 22  *  *  *     //will execute at 22:00 every day            schedule => "* * * * *"            jdbc_paging_enabled => true            jdbc_page_size => 1000            clean_run => false            use_column_value => true             #设置查询条件的字段            tracking_column => lastedittime            record_last_run => true            last_run_metadata_path => "D:\jdbcconfig\data\station_parameter.txt"             #设置列名小写            lowercase_column_names => true            statement_filepath => "/jdbcconfig/myes.sql"            #索引的类型            type => "test"    }}filter {    json {        source => "message"        remove_field => ["message"]    }}output {    elasticsearch {         hosts => ["172.16.57.233:9200"]        action => "index"         #索引        index => "test"        document_id => "%{productid}"    }    stdout {        #codec => json_lines         #设置输出的格式        codec => line {            format => "productid: %{[productid]} isdeleted: %{[isdeleted]} lastedittime: %{[lastedittime]} "         }    }} 一定要注意配置的路径是否正确,否者执行会报错

myes.sql是里面你需要执行查询的SQL语句

SELECT *
FROM [dbo].test

首先要启动elasticsearch,

 

然后在logstash的bin目录下执行如下命令:logstash -f jdbcconfig/jdbc.conf

数据就开始同步了。。。。

转载于:https://www.cnblogs.com/ok123/p/7612125.html

你可能感兴趣的文章
练习2
查看>>
【ASP.NET】演绎GridView基本操作事件
查看>>
ubuntu无法解析主机错误与解决的方法
查看>>
尚学堂Java面试题整理
查看>>
08-【jsp重点】
查看>>
小记:xml画一个爱心。
查看>>
MySQL表的四种分区类型
查看>>
7.26
查看>>
dll--二进制层面的复用
查看>>
linux 压缩/解压缩/打包命令
查看>>
守护进程
查看>>
CLR 关于强命名程序集 .
查看>>
[BZOJ 3489] A simple rmq problem 【可持久化树套树】
查看>>
如何制作并更改项目icon文件
查看>>
设计模式:迭代器模式(Iterator)
查看>>
cmd批处理常用符号详解
查看>>
关于给构造函数传达参数方法
查看>>
mysql忘记密码时如何修改root用户密码
查看>>
STM32单片机使用注意事项
查看>>
在linux中出现there are stopped jobs 的解决方法
查看>>