119_数据科学家必备套路之一搜索套路

122 | 数据科学家必备套路之一:搜索套路

到目前为止,我们已经完整地介绍了搜索、推荐和广告的主流技术,为你呈现了这些产品技术方向的整个生态系统。在这些系列的分享里,我们重点介绍了这些技术方向的基本模型,然后花了不少篇幅讲如何评测模型的好坏,包括如何进行线下评测以及线上评测。同时,我们从传统的经典模型讲到最近几年利用深度学习对这些技术方向的提升,帮助你理顺了这些技术发展的脉络。

11K8Service:轻松搞定服务发现和负载均衡

经过前面几节课的学习,我们已经可以发布高可用的业务了,通过 PV 持久化地保存数据,通过 Deployment或Statefulset 这类工作负载来管理多实例,从而保证服务的高可用。

11WebFlux(下):如何使用函数式编程模型构建异步非阻塞服务?

上一讲,我们引入了 Spring 框架中专门用于构建响应式 Web 服务的 WebFlux 框架,同时我也给出了两种创建 RESTful 风格 HTTP 端点实现方法中的一种,即注解编程模型。今天,我将介绍另一种实现方法——如何使用函数式编程模型创建响应式 RESTful 服务,这种编程模型与传统的基于 Spring MVC 构建 RESTful 服务的方法有较大差别。

11案例:如何结合Jenkin完成持续化集成和自动化测试?

今天我们主要来介绍如何结合 Jenkins 完成持续化集成和自动化测试的案例。

在微服务开发团队中,一般会采用敏捷开发这类增长式的开发方式,这能有效提高各个微服务的迭代效率。为了让完成的代码能够尽快得到反馈,我们建议尽早将完成的代码提交到代码库中被集成部署,每天一次甚至一天多次,通过自动构建和自动化测试,尽早检测出集成的错误,从而确保错误被尽快发现和纠正。

11案例分析:如何用设计模式优化性能


title: “11案例分析:如何用设计模式优化性能” draft: false date: 2024-06-14 keywords: [11案例分析:如何用设计模式优化性能, Java 性能优化实战21讲, 极客时间] categories: [Java 性能优化实战21讲] tags: [极客时间] comment: true toc: true autoCollapseToc: true

代码的结构对应用的整体性能,有着重要的影响。结构优秀的代码,可以避免很多潜在的性能问题,在代码的扩展性上也有巨大的作用;结构清晰、层次分明的代码,也有助于帮你找到系统的瓶颈点,进行专项优化。

11编排治理:如何实现分布式环境下的动态配置管理?

随着分布式系统和微服务架构的持续发展,对系统中存在的各种服务和资源进行统一治理已经成为系统架构设计过程中的一个基础要点。ShardingSphere 作为一款分布式数据库中间件,同样集成了编制治理方面的功能。

11房价的“成长史”

我在清华教书的时候,经常有学生问我:老师,中国的房价到底会不会跌啊? 还有人问:我想买房子,现在能买吗,还是再等等?, , 那么今天我们就来聊一聊关于“买房”的事情,以及中国的房价到底是会跌还是会涨?, , 聊聊中国房价变迁, , 前不久我在网上看到一个段子。2005 年的时候,有一个叫马库斯的德国人,他拖着一只箱子,带着 300 万元存款,从德国到上海浦东创业。他用了 200 万元经营红酒生意,剩下的 100 万买了一个房子。, , 十多年过去后,200 万的生意被他亏空了。他又准备把房子卖掉回德国,此时他当初花 100 万买的房子升值了,卖到 1125 万元人民币。他做梦都没想到,自己通过买房发了大财。回国前他耸耸肩说道,中国真是一个神奇的国度。我本想开酒吧,靠卖红酒赚钱,忙乎了十年,赔个底朝天。但我买了房子,什么都没干,却让我赚了 10 倍钱。他准备回国,给德国人讲讲,自己在中国的创业故事。, , 我们说,德国人马库斯正好赶上中国房价十年的暴涨,如果这10年他待在德国,未必能这么好运了,因为德国房价没有这么涨过。, , 1991 年清华大学派我去德国读书,我对那里的房价感受特别深刻。我一到那就有德国同事问我:你在中国挣多少钱?我顿时觉得头上冒汗,如实说:月薪 100 元。100 元?他们的眼睛瞪得大大,100 元你怎么生活?, , 我说,每月房租才 2 元钱,生活开支特别低,物价也非常便宜,我生活得很好。你猜猜看,在德国租一间房,月租是多少钱?要 400 马克!合 1200 元人民币。这可是我在国内一年的工资收入。幸亏我有奖学金,否则我在德国根本就无法生存。, , 你看,2 元与 1200 元,差了 600 倍。这就是当年德国和中国租房的价格之差。当时在德国很多中国留学生和我一样,租不起房;而现在在中国,很多人又面临着另外一个问题:买不起房。, , 90 年代初,中国还没有这么突出的买房问题,都是单位分房。1996 年我回国后住房制度开始改革,单位不再分房,有了公积金,实行贷款买房。1998 年 7 月国务院发文,取消福利住房制度,实行住房分配的货币化。从那时起,中国就进入了买房时代。从 1998 到 2018 年,整整过去了 20 年。, , 刚开始,北京的商品房对我来说简直就是天价:1 平方米售价 1000 元人民币。房子太贵了,我每月工资 496 元,一套房 10 万元,我肯定买不起。后来涨到一平米 5000 元,再涨到 10000 元,等房价涨过 15000 元时,我基本没什么想法了。对很多人来说,似乎永远追不上房价的上涨速度。, , 2007 年房价开始猛涨,再到 2017 年,北京房价均价突破 5 万。照这样涨下去,普通打工族,何时能在北京买上房子?难道只有北京是这样的吗?, , 不是的。这些年我讲课走遍祖国各地,到处普及宏观经济知识,我每到一处看到变化最大就是房价。前年一个价、去年一个价,今年又是一个价。所到之处,房价都是翻了番的上升。, , 2004 年我去南宁讲课,在南宁市中心地段非常好的邕江两岸,特别漂亮的水景房才 3000 多元 1 平方米。在课上我说,这里房价便宜,大家可以买房。此后第二次去讲课的时候,房价已经涨至 4000 元。等到第三次我再来南京,房价猛涨到 5000 元,2018 年南宁房价突破 1 万元大关。, , 你可能会问新疆呢?边远地区的房价是不是也这样涨?, , 我告诉你新疆也是一样。2006 年 10 月我询问了乌鲁木齐的房价,他们说不贵,1 平方米 2000 元左右。2007 年我又到乌鲁木齐讲课,新疆学员说:乌鲁木齐的房价涨到 4000 元了,一年就涨了1倍。到 2018 年乌鲁木齐的房价已经涨到了 1 万元了。所以说这些年,一二线城市房价猛涨。, , 先看一线城市北京的房价,2005 年是 6000 元左右,到 2018 年均价 5 万元,涨了8倍。再看二线城市的房价,郑州与合肥房价十年涨了 5 倍,长沙和武汉十年涨了 3 倍。, , 说到武汉,我和你说一个与武汉有关的故事。我在清华教工商管理硕士(MBA),课后我们经常办沙龙,一起探讨中国经济的发展问题。2007 年夏天的一个晚上,我们一帮人,在北京什刹海的游船上,一边看着风景,一边聊着楼市的话题。一个研究生说,我家是武汉的,我来给你们说说,我家乡的房地产。, , 他说武汉有一房地产开发商,2007 年初卖房是 3000 元 1 平方米,一开盘就卖光了。老板拍大腿说:哎呀,卖亏了!卖亏了!下次开盘一定要卖 6000 元。3 个月后开盘就卖 6000 元,结果一开盘又卖光了。老板又拍大腿说,哎呀,卖亏了!卖亏了!下次开盘咱卖 9000 元。结果 9000 元开盘还是一抢而空。老板最后发话说,这房子咱先不卖了,2008 年一开盘就卖 13000 元,把房价提的高高的,涨得谁都买不起。反正咱们手里地也不多了。囤房卖高价!, , 听完这个故事你肯定要问,房地产商这么弄,咱们的政府就不管吗?当然不是,听我跟你说。, , 政府对楼市的宏观调控, , 从 2003–2013 年,是中国房地产发展最快的阶段,也被称为房地产的黄金十年。, , 2003 年中国爆发了非典疫情,非典之后为了拉动中国经济的增长,就出台了《国务院关于促进房地产市场,持续健康发展的通知》,把房地产作为中国支柱性行业,从此开始拉开了房地产市场的大幕。, , 在 2003 年政府意识到,以前协议转让土地的做法存在很多问题。让开发商便宜拿土,这让政府税收减少不说,房价还控制不住,都是因为地价太便宜。结果一个重要转折点出现:就是“8.31 大限”。, , 2004 年 8 月 31 日,这是中国所有房地产商都难忘日子。协议出让土地使用权最后的期限。在这之后,所有的建设用地,都必须通过招标、拍卖、挂牌的形式出让。这是中国土地政策的一个历史性转折点。, , 政府的想法很清楚,就是要抑制房地产商的投资热。土地价格高了、银行贷款难了、房地产商自然就望而却步。或者说,你买地建房,房价高了大家买不起;按揭贷款首付比例相应提高,买房也难了,房地产商卖不出去房,你自然就不会玩命的建房。, , 可是呢,政府的想法往往事与愿违!, , 为什么说事与愿违?没想到这十年来,政府对房地产行业年年出台新政策,试图调控房价。从 2005 年的国八条,到 2013 年的新国五条。出台了 37 次行政命令,来调控楼价。结果却是:出台一次政策,房价就涨一轮,再出台一次,又再涨一轮,直涨到今天。, , 给大家的感受是:房价越调越高。北上深广这些大城市更是以十倍价格往上涨。房价真是高不可攀。今天回过头看,我觉得是:政府过于低估了市场需求。, , 既然土地政策紧缩了,银行信贷也紧缩了,那给市场信号是什么呢?就是房子供应会减少,可买房的需求却一点不少,这样一来,房价就会升。我们说,买房需求可以一夜之间爆发出来,但房子的供给却不能迅速增加,因为一夜之间盖不出一栋楼来!造成的结果就是:钱太多房太少,房价猛涨!, , 房价为什么涨?, , 我国政府宏观调控了这么多年,房价都没有调控下来,其实用经济学原理,可以很简单地解释清楚。, , 首先,从需求看。, , 投资渠道少,股市又跌,大量资金没有去处。, , 通胀担忧,不买房,钱放着就贬值。, , 买涨不买跌,越高越追,越追越高。, , 其次,从供给看。, , 土地供应减少。以一线城市举例,北京四环以内已经没有了土地供应了,不拆房就不能建新房;深圳没有了空余土地,只能通过填海来获得土地,土地没有增量,新建房源少,房子价格就上去了;上海和广州土地供应更加紧张。特大城市土地供应无法增加,地价贵,那房价怎么降下来呢?, , 地方政府有卖地冲动。地方政府希望地价拍得越高越好,为了维持地方财政收入,中央政府和地方政府在利益上博弈;地方政府和开发商博弈;开发商之间相互竞争,谁出价高地就被谁拿走。三方博弈,地价降不下来。房价又怎能降下来?, , 所以,纵观中国楼市 20 年的历史,中国房价经历了一个由低到高的过程,虽然政府一直不断调控房地产市场,但中国的楼价一直没有降下来。目前中国楼市的现状是:一线城市房价跌,二线城市房价平,三线城市房价涨。, , 那你可能又会问了,中国楼市现在这种状况,是哪儿出现了问题?这是政府的问题,还是市场的问题呢?中国楼市的价格究竟该由谁来决定呢?, , 别着急,下一讲我们就来揭晓答案。, , -– ### 精选评论 ##### Kevin Liao: > 赞👍

11关联图谱分析:如何用Lambda架构实现实时的社交网络分析?

今天,我们来讨论实时流计算中第三类非常常见的算法,即关联图谱分析。

关联图谱是一种在许多业务场景下都需要使用的算法,比如社交关系、金融风控等。相比第 10 课时中时间维度聚合值的计算,实时计算关联图谱会复杂很多。这主要是因为“关联图谱”需要使用“图”这种数据结构来表示实体之间的关联关系。