【全网营销杨砚儒】搜索引擎实时秒级更新
搜索是很多用户在天猫购物时的第一入口，搜索结果会根据销量、库存、人气对商品进行排序，而商品的显示顺序往往会决定用户的选择，所以保证搜索结果的实时性和准确性非常重要。在电商系统中，特别是在“双十一”这样的高并发场景下，如何准确展示搜索结果显得尤为重要。在今年的“双十一”活动中，InfoQ有幸采访到了阿里巴巴集团搜索引擎的三位负责人仁基、桂南和悾傅，与他们共同探讨了搜索引擎背后的细节。以下内容根据本次采访整理而成。
阿里巴巴的搜索引擎承担着全集团的搜索业务，包括淘宝、天猫、1688等系统，对比传统的搜索引擎，阿里集团的搜索引擎有一些比较大的突破性、创造性的工作。传统的搜索引擎，只可以做到离线全量、增量构建索引，而阿里的搜索引擎已经是演变成为一个能够做到离线、增量、实时三个等级的搜索引擎。电商平台最大的一个特点就是短时高并发，像双十一这样的活动中，搜索引擎需要考虑如何让流量发挥更大的价值。传统的搜索引擎解决短时高并发的思路是添加缓存层以减少搜索引擎的访问量，而这样的解决方案，天猫之前也有使用，但是缓存会有延迟，实时搜索的需求根本无法满足。所以为了解决实时的问题，阿里的搜索引擎去掉了应用层和业务层的缓存，重点优化和提升引擎层的服务能力。为了兼顾实时性和吞吐量，搜索引擎实现了全量、增量、实时三种更新通路。通过三种方式的灵活组合，在保证了海量数据定期全量更新的同时提供了秒级实时更新能力，避免了数据延迟，提升了用户体验。
从整体上来看，阿里搜索引擎的架构图如下。从上到下，分别是应用层、业务层、搜索引擎层、离线处理层和DB层，应用层其实就是调用方，大的来看可以分为Web、App、Wap。业务层会针对相应的业务对搜索结果进行整理，如Android和iOS的搜索结果显示是不一样的。搜索引擎层有点类似传统系统的搜索引擎，阿里巴巴的搜索引擎会在搜索的基础上根据用户习惯提供个性化的搜索结果。索引层主要包括全量索引和流式计算，全量索引其实就是一个基于Hadoop/HBase的离线集群，而流式计算是阿里自己研发的一套系统。之所以没有选用Storm，是因为在这一层中，光有计算是不够的，还需要有数据的存储（开源解决方案HBase）。如果使用Storm，接下来会面临一个问题，Storm是一个集群，HBase又会是一个集群，这样，Storm的Disk以及HBase的CPU其实都没有充分利用到，所以阿里的方案是Hadoop Yarn与HBase混合部署，把两个集群合并在一起，既可以做大规模的数据处理，也可以做流式计算，通过这样的方式，可以将离线和实时计算更好地融合。最底层的数据源层会把用户、商品、交易信息同步到上层的HBase集群中。
http://qiyewangluoyouhua.878wd.com/http://wangzhansuduyouhua.878wd.com/
http://youhuaguanjianci.878wd.com/
http://wangzhanpaimingtisheng.878wd.com/
http://wangzhanguanjianciyouhuagongju.878wd.com/
http://sousuoyinqinghexinjishu.878wd.com/