37__主流的Kafka监控框架
你好,我是胡夕。今天我要和你分享的主题是:那些主流的 Kafka 监控框架。
在上一讲中,我们重点讨论了如何监控 Kafka 集群,主要是侧重于讨论监控原理和监控方法。今天,我们来聊聊具体的监控工具或监控框架。
你好,我是胡夕。今天我要和你分享的主题是:那些主流的 Kafka 监控框架。
在上一讲中,我们重点讨论了如何监控 Kafka 集群,主要是侧重于讨论监控原理和监控方法。今天,我们来聊聊具体的监控工具或监控框架。
36丨数据分析算法篇答疑
算法篇更新到现在就算结束了,因为这一模块比较难,所以大家提出了形形色色的问题。我总结了同学们经常遇到的问题,精选了几个有代表性的来作为答疑。没有列出的问题,我也会在评论区陆续解答。
36丨数据库没有备份,没有使用Binlog的情况下,如何恢复数据?
我们上节课讲解了 MySQL 的复制技术,通过主从同步可以实现读写分离,热备份,让服务器更加高可用。MySQL 的复制主要是通过 Binlog 来完成的,Binlog 记录了数据库更新的事件,从库 I/O 线程会向主库发送 Binlog 更新的请求,同时主库二进制转储线程会发送 Binlog 给从库作为中继日志进行保存,然后从库会通过中继日志重放,完成数据库的同步更新。这种同步操作是近乎实时的同步,然而也有人为误操作情况的发生,比如 DBA 人员为了方便直接在生产环境中对数据进行操作,或者忘记了当前是在开发环境,还是在生产环境中,就直接对数据库进行操作,这样很有可能会造成数据的丢失,情况严重时,误操作还有可能同步给从库实时更新。不过我们依然有一些策略可以防止这种误操作,比如利用延迟备份的机制。延迟备份最大的作用就是避免这种“手抖”的情况,让我们在延迟从库进行误操作前停止下来,进行数据库的恢复。 当然如果我们对数据库做过时间点备份,也可以直接恢复到该时间点。不过我们今天要讨论的是一个特殊的情况,也就是在没做数据库备份,没有开启使用 Binlog 的情况下,尽可能地找回数据。 今天的内容主要包括以下几个部分:
你好,我是蔡元楠。
时间过的真快,转眼间我们已经结束了前五个模块的学习,来到了最后一个模块“大规模数据的挑战和未来”。
一门技术类课程的常见学习路线就是“过去→现在→未来”。这个专栏也是如此,我们首先研究了大数据处理技术的发展历程,从 MapReduce 出发,深入剖析了它的设计思路和优缺点。接下来结合具体的例子,一起学习了当下最流行的数据处理框架 Spark 和 Apache Beam。
36 | Pandas & Numpy: 策略与回测系统
大家好,我是景霄。
上节课,我们介绍了交易所的数据抓取,特别是 orderbook 和 tick 数据的抓取。今天这节课,我们考虑的是,怎么在这些历史数据上测试一个交易策略。
36 | 产品案例分析:解读知识星球
知识星球的创始人吴鲁加老师曾这样介绍这款 App :“你可以把知识星球理解为一个手机版的论坛。”
他的产品机制设计非常聪明,从哪里看都像是论坛,但众多细节差异又使得它似乎变成了另外一个物种。
你好,我是 LMOS。
上节课我们对一次请求到响应的过程积累了一些宏观认识,相信你已经对整个网络架构有了一个整体蓝图。这节课,让我们来仔细研究一下网络数据是如何在内核中流转的,让你开阔视野,真正理解底层工程的实现思路。
一听交通事故,很多人的第一反应估计是,事故,那么严重?关我啥事?其实,不管是大型车祸发生还是小的擦蹭问题,都可能牵扯出一连串的纠纷。
交通事故,其实是每个人都无法回避的问题。知道事故相关的法律知识,以及事故发生后该怎么做,都是很有必要的。今天我就来现身说法,做一下今天故事的主人公。
你好,我是宫文学。
对泛型的支持,是现代语言中的一个重要特性。它能有效地降低程序员编程的工作量,避免重复造轮子,写很多雷同的代码。像 C++、Java、Scala、Kotlin、Swift 和 Julia 这些语言都支持泛型。至于 Go 语言,它的开发团队也对泛型技术方案讨论了很久,并可能会在 2021 年的版本中正式支持泛型。可见,泛型真的是成为各种强类型语言的必备特性了。
36 | 管理五模式:高手常用的管理模式有哪些?
你好,我是华仔。
上一讲我介绍了管理四象限,帮你明确了管理的工作范畴,带你熟悉了各项工作的关键点。但是在具体开展工作的时候,往往并不是管理者一个人规划好各项工作内容,然后交给团队去执行就可以了。原因有三点: