基于 Binlog + Flink 实现多表数据同构 异构方案

数据异构 使用MySQL 的 Binlog 日志实时采集、统一分发、消息订阅和监控服务进行数据异构,即通过订阅 MySQL 的 Binlog 日志,通过接收 MQ 进行数据异地构建存储。 数据异构主要有两种方式,一种是顺序消费、另一种是并行消费。其中,在进行订单、订购的数据异构时是要求保证严格的顺序性的,因为...

阅读更多

nginx+lua+redis实现灰度发布

这里主要是简单记录使用nginx+lua+redis实现灰度 灰度方案: 常见的灰度实现方案: 1.请求路由:通过请求中的标识(如用户ID、设备ID、请求头等)来决定是否将请求路由到灰度环境。可以使用反向代理(如Nginx、Envoy)或API网关(如Kong、Apigee)来实现路由规则。 2.权重控制:...

阅读更多

kubernetes volume

Container(容器)中的磁盘文件是短暂的,当容器崩溃时,kubelet会重新启动容器,但最初的文件将丢失,Container会以最干净的状态启动。另外,当一个Pod运行多个Container时,各个容器可能需要共享一些文件。Kubernetes Volume可以解决这两个问题。 1 卷的类型 K...

阅读更多

Kubernetes Taint & Toleration

Taint能够使节点排斥一类特定的Pod,Taint和Toleration相互配合可以用来避免Pod被分配到不合适的节点,比如Master节点不允许部署系统组件之外的其他Pod。每个节点上都可以应用一个或多个Taint,这表示对于那些不能容忍这些Taint的Pod是不会被该节点接受的。如果将Tolerati...

阅读更多

Kubernetes RBAC

1 RBAC基本概念 RBAC(Role-Based Access Control,基于角色的访问控制)是一种基于企业内个人用户的角色来管理对计算机或网络资源的访问方法,其在Kubernetes 1.5版本中引入,在1.6时升级为Beta版本,并成为Kubeadm安装方式下的默认选项。启用RBAC需要在启动AP...

阅读更多

k8s-scheduler调度规则

在 Kubernetes 项目中,默认调度器的主要职责,就是为一个新创建出来的 Pod,寻找一个最合适的节点(Node)。 从集群所有的节点中,根据调度算法挑选出所有可以运行该 Pod 的节点 从第一步的结果中,再根据调度算法挑选一个最符合条件的节点作为最终结果。 预选,优选,绑定三个阶段 预选阶段 K...

阅读更多

Web3借贷DeFi安全问题

问题: 传统金融系统的核心问题:中心化、不透明、高门槛、低效率。权力集中在少数机构手中,用户对自己的资产和数据没有绝对控制权。 变革: Web3的浪潮正是在这样的背景下涌现,它承诺构建一个更加开放、透明且用户自主的互联网。而实现这一愿景的核心建筑模块,就是DApp。 DApp,即去中心化应...

阅读更多

RAG 分块策略

AI中的分块是指将大型文档分割成称为“chunk”的较小片段。这些片段可以是段落、句子、词组或受token限制的片段,这使得模型能更轻松地仅搜索和检索所需内容。这种分块技术对于优化检索增强生成(RAG)的性能至关重要。 在RAG中,检索到正确的信息是关键,但当知识库非常庞大,可能包含数百万字或文档时,使用有效的...

阅读更多