tnblog
首页
视频
资源
登录

Docker容器部署Flink(学习笔记)

Docker容器部署Flink(学习笔记)[TOC] 什么是Flink简单介绍 Flink 是一个开源的分布式流处理框架,支持高吞吐、低延迟的实时数据处理。提到 Flink 的核心特性:流处理、批处理、状态管理、容错性等。引出为什么 Flink 在大数据生态系统中越来越重要。为什么选择 Flink?与其他工具(如 Spark Streaming)的对...

2025-04-11 浏览(2244)

Doris 中join的优化原理(学习笔记)

Doris 中join的优化原理(学习笔记)[TOC] Shuffle Join(Partitioned Join)Shuffle Join 是:把 A 表和 B 表的数据都根据 Join Key 做一次大洗牌,送到对应分区的节点上,然后在本地做 Join,再把结果返回。 订单明细表:CREATE TABLE test.order_info_shuffle ( `order_id` varchar(20) COMMENT &quot...

2025-04-06 浏览(2271)

Doris 物化视图(学习笔记)

Doris 物化视图(学习笔记)[TOC] 就是查询结果预先存储起来的特殊的表。物化视图的出现主要是为了满足用户,既能对原始明细数据的任意维度分析,也能快速的对固定维度进行分析查询。优势1.可以复用预计算的结果来提高查询效率 ==> 空间换时间2.自动实时的维护物化视图表中的结果数据,无需额外人工成本(自...

2025-04-06 浏览(3378)

Doris Rollup(学习笔记)

Doris Rollup(学习笔记)[TOC] ROLLUP 在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合。之前的聚合模型: 1.求每个城市的每个用户的每天的总销售额select user_id,city,date, sum(sum_cost) as sum_cost from t group by user_id,city,date 2.求每个用户、每个城市的总...

2025-04-03 浏览(5417)

Doris 索引(学习笔记)

Doris 索引(学习笔记)[TOC] 索引索引用于帮助快速过滤或查找数据。目前 Doris 主要支持两类索引:● 内建的智能索引:包括前缀索引和 ZoneMap 索引。● 用户创建的二级索引:包括 Bloom Filter 索引 和 Bitmap倒排索引。其中 ZoneMap 索引是在列存格式上,对每一列自动维护的索引信息,包括 Min/Max,Null ...

2025-04-02 浏览(2770)

Doris 作业案例

Doris 作业案例[TOC] 打地鼠案例需求:连续4次命中的人seq:第几次打地鼠m:是否命中,1-> 命中,0 -> 未命中下面是hit_mouse.txt数据文件:uid,seq,m u01,1,1 u01,2,0 u01,3,1 u01,6,1 u02,5,1 u02,6,0 u02,7,0 u02,1,1 u02,2,1 u03,4,1 u03,5,1 u03,6,0 u02,3,0 u02,4,1 u02,8,1 u01,4...

2025-04-02 浏览(1919)

Doris 查询

Doris 查询[TOC] Doris的查询语法SELECT [ALL | DISTINCT | DISTINCTROW ] -- 对查询字段的结果是否需要去重,还是全部保留等参数 select_expr [, select_expr ...] -- select的查询字段 [FROM table_references [PARTITION partition_list] -- from 哪个库里面的...

2025-03-10 浏览(2888)

Doris 突然内存升高解决方案

Doris 突然内存升高解决方案[TOC] 发现频繁refresh catalog xxx 会强制使对象相关的Cache失效,默认开启的采样也比较耗费资源,然后就将代码中refresh catalog全部注释掉,我们通过下面的方式解决:docker exec -it fe-01 /bin/bash vim fe/conf/fe.conf 添加如下配置wait_timeout = 300 保存后执行...

2025-03-05 浏览(2561)

Doris 数据的导入导出(学习笔记)

Doris 数据的导入导出(学习笔记)[TOC] 使用 Insert 方式同步数据用户可以通过 MySQL 协议,使用 INSERT 语句进行数据导入。INSERT 语句的使用方式和 MySQL 等数据库中 INSERT 语句的使用方式类似。 INSERT 语句支持以下两种语法:* INSERT INTO table SELECT ... * INSERT INTO table VALUES(...) 对于 ...

2025-03-05 浏览(2883)

Doris 三种模型(学习笔记)

Doris 三种模型(学习笔记)[TOC] Aggregate聚合键模型是相同key的数据进行自动聚合的表模型。表中的列按照是否设置了 AggregationType,分为 Key(维度列)和 Value(指标列),没有设置 AggregationType 的称为 Key,设置了 AggregationType 的称为 Value。当我们导入数据时,对于 Key 列相同的行会聚合成一...

2025-03-03 浏览(5560)

Doris 分区与桶(学习笔记)

Doris 分区与桶(学习笔记)[TOC] OLTP和OLAPOLTP联机事务处理OLTP(On-Line Transaction Processing) 公司针对自己公司的业务构建出来的系统化 ○ 公司业务系统使用数据库的场景,针对业务系统数据库有大量随机的增删改查 ○ 高并发 ○ 速度要快 ○ 支持事务OLAP联机分析处理OLAP(On-Line Analytical Proc...

2025-03-01 浏览(3101)

Windows Docker Doris 容器部署

Windows Docker Doris 容器部署[TOC] 引言Doris 是一款高性能、分布式、可扩展的分析型数据库,适用于海量数据的存储和分析。在本文中,我们将详细介绍如何在 Windows 系统上使用 Docker 部署 Doris 容器。Doris中BE和FE介绍BE(Backend)存储与计算执行者:BE是Doris中负责存储数据和执行计算任务的核心组件...

2025-02-28 浏览(5098)

;
十年进阶:从.NET程序员迈向嵌入式AI的AIOPS之旅
排名
6
文章
6
粉丝
16
评论
8
{{item.articleTitle}}
{{item.blogName}} : {{item.content}}
ICP备案 :渝ICP备18016597号-1
网站信息:2018-2026TNBLOG.NET
技术交流:群号656732739
联系我们:contact@tnblog.net
公网安备:50010702506256
欢迎加群交流技术