分布式系统

分布式系统原理---CBCAST算法

ISIS中定义了三种通信原理ABCAST，CBCAST，GBCAST。ABCAST提供松散同步通信，用于向组成员传送消息；CBCAST提供虚拟同步通信，也用于向组成员传送消息；GBCAST与ABCAST类似，用于管理组内成员而不传送…

MapReduce [OSDI‘04] 论文阅读笔记

原论文：MapReduce: Simplified Data Processing on Large Clusters (OSDI’04) 1. Map and Reduce Map：处理键值对，生成一组中间键值对Reduce：合并与同一中间键相关的所有中间值process overview：分割输入数据&#x…

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。 CAP理论概述 CAP理论&a…

【面试突击】网关系统面试实战

🌈🌈🌈🌈🌈🌈🌈🌈 欢迎关注公众号（通过文章导读关注：【11来了】），及时收到 AI 前沿项目工具及新技术的推送发送资料可领取深入理…

Google MapReduce 总结

Google MapReduce 总结 MapReduce 编程模型总的来讲，Google MapReduce 所执行的分布式计算会以一组键值对作为输入，输出另一组键值对，用户则通过编写 Map 函数和 Reduce 函数来指定所要进行的计算。由用户编写的Map 函数将被应用在每一个…

一文了解大数据生态

大数据一词最早指的是传统数据处理应用软件无法处理的过于庞大或过于复杂的数据集。现在，对“大数据”一词的使用倾向于使用预测分析、用户行为分析或者其他一些从大数据中提取价值的高级数据分析方法，很少用于表示特定规模的数据集。定义大数据是…

分布式系统架构的优缺点

分布式系统架构的特点： 1、吞吐量更大、执行效率更高（水平拓展、垂直分层） 2、高可用（消除单点、冗余备份） 3、拓展性更高 4、难在系统设计、管理和运维。因为更加开放，技术多样、插件丰富，…

如何设计真正高性能高并发分布式系统?

1 、引子软件复杂性来源于几个方面：高并发高性能、高可用、可扩展、低成本、低规模、可维护、安全等。架构演化、发展都是为了试图降低复杂性： 高并发、高性能：互联网系统特点，用户量大，请求量大，高并发高…

Google File System 学习总结

趁着4月份找实习的契机，学习了MIT 6.824的课程推荐论文Google File System。篇幅很长，感觉不是完全理解了，先转载了一篇觉得整理得比较好的笔记，方便后续的进一步学习。 GFS 的主要需求在学习 GFS 的原理前，首先我们…

开放API网关的实践

随着业务发展，系统索要对接的第三方会越来越多，那么如何让第三方快速安全的接入，就会成为各业务系统面临的问题。设计一个具备鉴权、限流、熔断等功能的API网关就显得至关重要，本文的文章目录如下。文章目录API网关作用总体设计1…

【学习笔记】深度学习分布式系统

深度学习分布式系统前言1. 数据并行：参数服务器2. 流水线并行：GPipe3. 张量并行：Megatron LM4. 切片并行：ZeRO5. 异步分布式：PATHWAYS总结参考链接前言最近跟着李沐老师的视频学习了深度学习分布式系统的发展。这里…

分布式系统常用的模式

分布式系统常用的模式 Ambassador 名称：“大使”模式介绍：作为应用程序和其他服务的“中间人”，负责应用程序和其他服务之间的通信，包括日志、监控或重试处理等任务。举例：K8S使用Envoy作为一个“大使”来简化服务…

RocketMQ高级原理：深入剖析消息系统的核心机制

一、基础概念： 1. 消息模型 RocketMQ基于Producer、Broker、Consumer三部分构建。其中，Producer负责生成消息，Consumer处理消息，而Broker则承担消息存储的角色。Broker服务器可以存储多个Topic的消息，并支持消息在不同…

分布式系统容灾部署方案

本文主要以OceanBase部署来说明分布式系统容灾部署方案分布式系统提供持续可用的服务尤为重要。好的分布式系统根据需求提供不同等级的的高可用与容灾级别。而在分布式系统中，数据库系统又是最核心最关键的系统。我们以数据库分布式系统为主，考虑…

架构设计系列之分布式系统概论

今天开始我们进入架构设计系列中的分布式系统主题部分咯～继续坚持～ 前面的几部分介绍了关于软件架构设计的基本概念、基本理论、演化史、常见架构相关的内容，同时还专门介绍了架构设计相关的组织文化保障、遵循定律以及一个程序员应该如何转型…

分布式系统之CAP理论学习

1、分布式系统中CAP分别代表什么？对它们的理解？ CAP即一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）。一致性（Consistency&#xff0…