博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用flink实现读取并放入mysql中
阅读量:3986 次
发布时间:2019-05-24

本文共 1700 字,大约阅读时间需要 5 分钟。

1.读取文件中的内容

//创建环境ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();        DataSet
text = env.readTextFile("文件路径"); //读取文件,对文件中的单词进行计数 DataSet
> counts = text.flatMap(new Tokenizer()) // group by the tuple field "0" and sum up tuple field "1" .groupBy(0) .sum(1); *//使用flink进行存储mysql时,必须使用row的泛型进行存储,这里将处理的结果进行转化 DataSet
map = counts.map(new MapFunction
, Row>() { @Override public Row map(Tuple2
t) throws Exception { Row row = new Row(2); row.setField(0, t.f0.getBytes("UTF-8")); row.setField(1, t.f1); return row; } });

2.使用output将数据写入mysql数据库

//mysql连接 String driverClass = "com.mysql.cj.jdbc.Driver";        String dbUrl = "jdbc:mysql://localhost:3306/数据库?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true ";        String userNmae = "用户名";        String passWord = "密码";        String sql = "insert into 表名 (name,age) values (?,?)";        //将数据写入mysql数据库map.output(JDBCOutputFormat.buildJDBCOutputFormat()                .setDrivername(driverClass)                .setDBUrl(dbUrl)                .setUsername(userNmae)                .setPassword(passWord)                .setQuery(sql)                .finish());        //这个必须要执行,否则看不到结果        env.execute("insert into mysql");

3.执行结果如图

在这里插入图片描述

4.使用http来执行flink job

1.将flink  job部署,将jar包上传即可,可上传名字相同的jar,他们会有不同的id

在这里插入图片描述

2.查看jar的id	访问http://localhost:8081/jars 地址即可看到3.使用postman 进行测试

在这里插入图片描述

entryClass 定位到要执行的job类,programArgs 请求的参数。
返回jobid说明任务执行成功,数据库可看到结果。请求地址使用的是id进行访问的,官网说明使用jar id。请求的参数在官网的api有详细说明。
欢迎评论交流!!!

转载地址:http://faxui.baihongyu.com/

你可能感兴趣的文章
linux下导出导入.sql文件
查看>>
linux下安装jdk及tomcat
查看>>
TCP 协议-滑动窗口
查看>>
浅谈Nginx负载均衡与F5的区别
查看>>
登五云山
查看>>
linux下安装zookeeper
查看>>
Go学习(1):简介和配置
查看>>
Go学习(2):基本语法
查看>>
Go学习(3):分支循环
查看>>
Go学习(4):数组和切片
查看>>
数据结构和算法(3)-向量,列表与序列
查看>>
Go学习(5):集合
查看>>
《码农翻身》各章节阅读链接
查看>>
数据结构和算法(4)-树
查看>>
数据结构和算法(5)-树
查看>>
MVC,MVP 和 MVVM 的图示
查看>>
js中判断字符串相等使用==
查看>>
数据结构和算法(5)-二叉树
查看>>
js获取当前日期
查看>>
js点击select触发onchange函数
查看>>