Flink Runtime架构及部署模式

整体架构 JobManager 管理节点,每个集群至少一个(可以选择设置多个以保证集群高可用),管理整个集群计算资源,Job管理于调度执行,以及Checkpoint协调。 主要行动及组件: Checkpoint Coordinato...

阅读更多

kubernetes volume

Container(容器)中的磁盘文件是短暂的,当容器崩溃时,kubelet会重新启动容器,但最初的文件将丢失,Container会以最干净的状态启动。另外,当一个Pod运行多个Container时,各个容器可能需要共享一些文件。Kubernetes Volume可以解决这两个问题。 1 卷的类型 K...

阅读更多

Kubernetes Taint & Toleration

Taint能够使节点排斥一类特定的Pod,Taint和Toleration相互配合可以用来避免Pod被分配到不合适的节点,比如Master节点不允许部署系统组件之外的其他Pod。每个节点上都可以应用一个或多个Taint,这表示对于那些不能容忍这些Taint的Pod是不会被该节点接受的。如果将Tolerati...

阅读更多

Kubernetes RBAC

1 RBAC基本概念 RBAC(Role-Based Access Control,基于角色的访问控制)是一种基于企业内个人用户的角色来管理对计算机或网络资源的访问方法,其在Kubernetes 1.5版本中引入,在1.6时升级为Beta版本,并成为Kubeadm安装方式下的默认选项。启用RBAC需要在启动AP...

阅读更多

k8s-scheduler调度规则

在 Kubernetes 项目中,默认调度器的主要职责,就是为一个新创建出来的 Pod,寻找一个最合适的节点(Node)。 从集群所有的节点中,根据调度算法挑选出所有可以运行该 Pod 的节点 从第一步的结果中,再根据调度算法挑选一个最符合条件的节点作为最终结果。 预选,优选,绑定三个阶段 预选阶段 K...

阅读更多

Web3借贷DeFi安全问题

问题: 传统金融系统的核心问题:中心化、不透明、高门槛、低效率。权力集中在少数机构手中,用户对自己的资产和数据没有绝对控制权。 变革: Web3的浪潮正是在这样的背景下涌现,它承诺构建一个更加开放、透明且用户自主的互联网。而实现这一愿景的核心建筑模块,就是DApp。 DApp,即去中心化应...

阅读更多

Spring @Async 异步线程池选择

故障 上线一个与下述定时任务无关的新需求,定时任务流程陷入卡死状态,具体表现为: •提交 2 条 任务后,任务未执行且无任何报错日志,系统阻塞无响应 •线程池监控数据显示:业务线程池ocrTaskExecutor活跃线程数 = 2(已达最大线程数上限),队列等待任务数持续增加至 10+ •业务日志仅打印任务...

阅读更多

RAG 分块策略

AI中的分块是指将大型文档分割成称为“chunk”的较小片段。这些片段可以是段落、句子、词组或受token限制的片段,这使得模型能更轻松地仅搜索和检索所需内容。这种分块技术对于优化检索增强生成(RAG)的性能至关重要。 在RAG中,检索到正确的信息是关键,但当知识库非常庞大,可能包含数百万字或文档时,使用有效的...

阅读更多