【Flink实战系列】Flink 如何读取 excel 文件并注册成表处理数据

news/2024/7/21 4:55:49 标签: Flink, excel

Flink提供了一个CsvTableSource来读取scv文件,返回的是CsvTableSource,然后利用registerTableSource注册为一张表,我们就可以写sql操作这张表了,非常的方便,废话不多说了,直接看下面的demo

package flink.table

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.table.api.{TableEnvironment, Types}
import org.apache.flink.table.sinks.CsvTableSink
import org.apache.flink.table.sources.CsvTableSource

/**
  * Flink读取csv文件注册为表
  */
object flinkTable {
  def main(args: Array[String]): Unit = {
    val env =  ExecutionEnvironment.getExecutionEnvironment
    val tableEnv = TableEnvironment.getTableEnvironment(env)
    // 设置表的字段;
    val csv = CsvTableSource.builder()
      .path("D:/xxx.csv")
      .field("id",Types.INT)
      .field("url",Types.STRING)
      .field("p_name",Types.STRING)
      .field("price",Types.DOUBLE)
      .field("class_one",Types.INT)
      .field("class_two",Types.INT)
      .fie

http://www.niftyadmin.cn/n/616556.html

相关文章

Java设计模式精讲—课程笔记7(第15章 桥接模式 + 第16章 代理模式 + 第17章 模板方法模式)

Java设计模式精讲—课程笔记715 桥接模式讲解Coding源码解析15.1 桥接模式讲解15.2 桥接模式Coding15.3 桥接模式源码解析(jdk)16 代理模式讲解Coding源码解析16.1 代理模式讲解16.2 代理模式Coding-静态代理16.3 代理模式Coding-动态代理16.4 代理模式源…

在idea里面怎么远程提交spark任务到yarn集群

很久没有更新了,因为最近一段时间有点小忙,最近也是有同学问我说自己在idea里面写spark程序测试,每次都要打包然后上传到集群,然后spark-submit提交很麻烦,可不可以在idea里面直接远程提交到yarn集群呢? 当然是可以的,今天就给大家分享一下具体的操作过程. 那先来说一下spark任…

Java设计模式精讲—课程笔记8(第18章 迭代器模式 + 第19章 策略模式 + 第20章 解释器模式)

Java设计模式精讲—课程笔记818 迭代器模式讲解源码解析18.1 迭代器模式讲解18.2 迭代器模式代码解析18.3 迭代器模式源码解析(jdkmybatis)19 策略模式讲解Coding源码解析19.1 策略模式讲解19.2 策略模式coding19.3 策略模式源码解析(jdkspri…

【Spark实战系列】idea 里面远程提交 spark 任务到 yarn 集群

直接看我的公众号吧不想在复制了: https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg 欢迎大家关注我的公众号: 如果有写的不对的地方,欢迎大家指正,如果有什么疑问,可以加QQ群:340297350,更多的Flink和spark的干货可以加入下面的星球

LeetCode—236.二叉树的最近公共祖先(Lowest Common Ancestor of a Binary Tree)——分析及代码(C++)

LeetCode—236.二叉树的最近公共祖先[Lowest Common Ancestor of a Binary Tree]——分析及代码[C]一、题目二、分析及代码1. 递归(1)思路(2)代码(3)结果2. 中序遍历(1)思路&#xf…

【Flink实战系列】Flink 1.9.0 on yarn 集群搭建过程报错

最近在搭建最新版本的Flink1.9.0 on yarn的过程中遇到这样一个报错. Exception Details:Location:scala/collection/immutable/HashMap$HashTrieMap.split()Lscala/collection/immutable/Seq; @249: gotoReason:Error exists in the bytecodeBytecode:0000000: 2ab6 0064 04a0…

LeetCode—238.除自身以外数组的乘积(Product of Array Except Self)——分析及代码(C++)

LeetCode—238.除自身以外数组的乘积[Product of Array Except Self]——分析及代码[C]一、题目二、分析及代码1. 依次相乘并记入答案(1)思路(2)代码(3)结果三、其他一、题目 给定长度为 n 的整数数组 num…

LeetCode—239.滑动窗口最大值(Sliding Window Maximum)——分析及代码(C++、Java)

LeetCode—239.滑动窗口最大值[Sliding Window Maximum]——分析及代码[C、Java]一、题目二、分析及代码1. 双向队列(1)思路(2)代码(C)(3)结果(C)&#xff08…