2025年12月06日
|
阅读量
kata这样的所谓的安全容器，密码也一览无余
# pid=$(ps -ef | grep qemu | grep -v grep | sort -k4,4r | head -n 1 | awk '{print $2}')
# ./peekPID.sh $pid
[New LWP 1361141]
[New L...
阅读更多
2025年12月06日
|
阅读量
背景
最近发现监控偶尔集中出现接口异常、超时等报警，查询日志发现是调用接口超时，由于每次出现的报警时间都不一致，并且也很快恢复，以为是偶发的大批量任务导致的，因此没有进行集中排查。直到发现基本每天都开始出现，并且也逐渐影响到其他业务线获取数据，开始仔细观察排查原因。
排查到具体现象如下，每次出现超时，GC监控...
阅读更多
2025年12月03日
|
阅读量
反压机制：
1：数据接受速率 大于 数据输出速率，压力往上游一步步传导，直到source
2：压力传递的细节：
1 输出缓冲区：resultpartition -> local bufferpool -> network bufferpool
2 输入缓冲区：inputgate...
阅读更多
2025年12月01日
|
阅读量
背景抽象：
在物流系统中，上游业务系统向消息队列发送的运单和包裹数据可能存在：
短时间内（1秒或几秒）产生万级重复数据，维度关联导致笛卡尔积倍增，形成”大包裹数据”
导致下游Flink作业消费时出现数据倾斜，卡CP、OOM等问题。
需要在各作业中监控热点key以实现预警功能。
卡点：
通常会将每条数据...
阅读更多
2025年11月30日
|
阅读量
数据异构
使用MySQL 的 Binlog 日志实时采集、统一分发、消息订阅和监控服务进行数据异构，即通过订阅 MySQL 的 Binlog 日志，通过接收 MQ 进行数据异地构建存储。
数据异构主要有两种方式，一种是顺序消费、另一种是并行消费。其中，在进行订单、订购的数据异构时是要求保证严格的顺序性的，因为...
阅读更多
2025年11月30日
|
阅读量
这里主要是简单记录使用nginx+lua+redis实现灰度
灰度方案：
常见的灰度实现方案:
1.请求路由：通过请求中的标识（如用户ID、设备ID、请求头等）来决定是否将请求路由到灰度环境。可以使用反向代理（如Nginx、Envoy）或API网关（如Kong、Apigee）来实现路由规则。
2.权重控制：...
阅读更多
2025年11月29日
|
阅读量
整体架构
JobManager
管理节点，每个集群至少一个（可以选择设置多个以保证集群高可用），管理整个集群计算资源，Job管理于调度执行，以及Checkpoint协调。
主要行动及组件：
Checkpoint Coordinato...
阅读更多
2025年11月26日
|
阅读量
Container（容器）中的磁盘文件是短暂的，当容器崩溃时，kubelet会重新启动容器，但最初的文件将丢失，Container会以最干净的状态启动。另外，当一个Pod运行多个Container时，各个容器可能需要共享一些文件。Kubernetes Volume可以解决这两个问题。
1 卷的类型
K...
阅读更多