Docker容器部署Flink(学习笔记)[TOC]
什么是Flink简单介绍 Flink 是一个开源的分布式流处理框架,支持高吞吐、低延迟的实时数据处理。提到 Flink 的核心特性:流处理、批处理、状态管理、容错性等。引出为什么 Flink 在大数据生态系统中越来越重要。为什么选择 Flink?与其他工具(如 Spark Streaming)的对...
2025-04-11
浏览(2244)
Doris 中join的优化原理(学习笔记)[TOC]
Shuffle Join(Partitioned Join)Shuffle Join 是:把 A 表和 B 表的数据都根据 Join Key 做一次大洗牌,送到对应分区的节点上,然后在本地做 Join,再把结果返回。
订单明细表:CREATE TABLE test.order_info_shuffle
(
`order_id` varchar(20) COMMENT "...
2025-04-06
浏览(2271)
Doris 物化视图(学习笔记)[TOC]
就是查询结果预先存储起来的特殊的表。物化视图的出现主要是为了满足用户,既能对原始明细数据的任意维度分析,也能快速的对固定维度进行分析查询。优势1.可以复用预计算的结果来提高查询效率 ==> 空间换时间2.自动实时的维护物化视图表中的结果数据,无需额外人工成本(自...
2025-04-06
浏览(3378)
Doris Rollup(学习笔记)[TOC]
ROLLUP 在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合。之前的聚合模型:
1.求每个城市的每个用户的每天的总销售额select
user_id,city,date,
sum(sum_cost) as sum_cost
from t
group by user_id,city,date
2.求每个用户、每个城市的总...
2025-04-03
浏览(5417)
Doris 索引(学习笔记)[TOC]
索引索引用于帮助快速过滤或查找数据。目前 Doris 主要支持两类索引:● 内建的智能索引:包括前缀索引和 ZoneMap 索引。● 用户创建的二级索引:包括 Bloom Filter 索引 和 Bitmap倒排索引。其中 ZoneMap 索引是在列存格式上,对每一列自动维护的索引信息,包括 Min/Max,Null ...
2025-04-02
浏览(2770)
Doris 作业案例[TOC]
打地鼠案例需求:连续4次命中的人seq:第几次打地鼠m:是否命中,1-> 命中,0 -> 未命中下面是hit_mouse.txt数据文件:uid,seq,m
u01,1,1
u01,2,0
u01,3,1
u01,6,1
u02,5,1
u02,6,0
u02,7,0
u02,1,1
u02,2,1
u03,4,1
u03,5,1
u03,6,0
u02,3,0
u02,4,1
u02,8,1
u01,4...
2025-04-02
浏览(1919)
Doris 查询[TOC]
Doris的查询语法SELECT
[ALL | DISTINCT | DISTINCTROW ] -- 对查询字段的结果是否需要去重,还是全部保留等参数
select_expr [, select_expr ...] -- select的查询字段
[FROM table_references
[PARTITION partition_list] -- from 哪个库里面的...
2025-03-10
浏览(2888)
Doris 突然内存升高解决方案[TOC]
发现频繁refresh catalog xxx 会强制使对象相关的Cache失效,默认开启的采样也比较耗费资源,然后就将代码中refresh catalog全部注释掉,我们通过下面的方式解决:docker exec -it fe-01 /bin/bash
vim fe/conf/fe.conf
添加如下配置wait_timeout = 300
保存后执行...
2025-03-05
浏览(2561)
Doris 数据的导入导出(学习笔记)[TOC]
使用 Insert 方式同步数据用户可以通过 MySQL 协议,使用 INSERT 语句进行数据导入。INSERT 语句的使用方式和 MySQL 等数据库中 INSERT 语句的使用方式类似。 INSERT 语句支持以下两种语法:* INSERT INTO table SELECT ...
* INSERT INTO table VALUES(...)
对于 ...
2025-03-05
浏览(2883)
Doris 三种模型(学习笔记)[TOC]
Aggregate聚合键模型是相同key的数据进行自动聚合的表模型。表中的列按照是否设置了 AggregationType,分为 Key(维度列)和 Value(指标列),没有设置 AggregationType 的称为 Key,设置了 AggregationType 的称为 Value。当我们导入数据时,对于 Key 列相同的行会聚合成一...
2025-03-03
浏览(5560)
Doris 分区与桶(学习笔记)[TOC]
OLTP和OLAPOLTP联机事务处理OLTP(On-Line Transaction Processing) 公司针对自己公司的业务构建出来的系统化 ○ 公司业务系统使用数据库的场景,针对业务系统数据库有大量随机的增删改查 ○ 高并发 ○ 速度要快 ○ 支持事务OLAP联机分析处理OLAP(On-Line Analytical Proc...
2025-03-01
浏览(3101)
Windows Docker Doris 容器部署[TOC]
引言Doris 是一款高性能、分布式、可扩展的分析型数据库,适用于海量数据的存储和分析。在本文中,我们将详细介绍如何在 Windows 系统上使用 Docker 部署 Doris 容器。Doris中BE和FE介绍BE(Backend)存储与计算执行者:BE是Doris中负责存储数据和执行计算任务的核心组件...
2025-02-28
浏览(5098)
;