vitalyinc
本站致力于IT相关技术的分享
  文章分类
DevSecOps 1 软件工程与架构 2 DevOps 1 前端工程 1 架构与设计 1 架构设计 2 分布式架构 3 后端架构 4 平台工程 1 数据工程 2 分布式系统 3 云原生 3 可观测性与韧性工程 1 云原生安全 1 数据工程与存储 1 前端架构 1 Web架构 1 全栈开发 1
在Kubernetes上使用C++构建一个管理Delta Lake高频写入的Operator 在Kubernetes上使用C++构建一个管理Delta Lake高频写入的Operator
我们面临一个棘手的场景：一个需要以每秒数百次到数千次的频率，将小批量（几KB到几MB）数据写入同一个Delta Lake表的系统。传统的Spark Streaming或Flink作业，由于其微批处理的调度延迟和JVM启动/预热的开销，对于这
2023-10-27 数据工程
Delta Lake Kubernetes C++ Operator S3
构建基于Scala与Fluentd的弹性数据管道以解决AWS数仓写入瓶颈 构建基于Scala与Fluentd的弹性数据管道以解决AWS数仓写入瓶颈
系统报警的时候是凌晨三点。PagerDuty的呼叫粗暴地把人从深度睡眠中拽出来，屏幕上闪烁着刺眼的红色告警：Redshift_Write_Queue_Length_High 和 Kinesis_Iterator_Age_High。这不是第一
2023-10-27 数据工程
Scala AWS Fluentd Data Warehouse