3tb日增量200gb的es搜索面试题

第一题：分片容量设计（P7必考）

面试官：
“现有3TB商品数据，日均增长200GB，要求支持万级QPS搜索，如何设计分片策略？”

技术拆解：

避坑指南：

错误案例：某公司直接设置number_of_shards=5导致单分片超过200GB

正确公式：主分片数 = ⌈总数据量 * 1.2 / 30GB⌉

动态扩容方案：

1	# 通过_split API扩容POST /products/_split/products_v2{ "settings": { "number_of_shards": 12 }}

冷热数据分离架构：

第二题：深度分页性能压榨（P6+高频考点）

面试场景：
“用户投诉翻到第50页时系统卡死，日志显示from 10000查询耗时8秒，如何优化？”

技术解析：

优化方案对比：

代码级优化：

// 使用Search After实现深度分页
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.sort(SortBuilders.scoreSort());
sourceBuilder.sort(SortBuilders.fieldSort("_id"));
sourceBuilder.searchAfter(new Object[]{lastScore, lastId});

第三题：缓存穿透（P7+设计题）

架构题：
“突发流量导致大量product_id=-1的恶意查询，ES集群CPU飙升到95%，如何设计防御体系？”

分层架构：

***代码级防御*：

// 布隆过滤器校验
if(!bloomFilter.mightContain(queryKey)){    
return emptyResult();
}
// ES层面设置索引级熔断
PUT /_cluster/settings{  "persistent": {    "indices.breaker.request.limit": "60%"  } }

架构题：
“设计百万QPS商品搜索系统的多级缓存方案，要求命中率>85%”

分层架构：

***关键技术点*：

布隆过滤器防穿透：

1
2
3

# 初始化布隆过滤器
    from pybloom_live import ScalableBloomFilterbloom = ScalableBloomFilter(initial_capacity=1000000, error_rate=0.001)
# 数据预热时添加合法Keyfor item in all_items:    bloom.add(item.id)

热点数据自动发现：

1 2	# 通过慢查询日志分析热点 POST /_sql?format=txt{ "query": "SELECT query, COUNT() as cnt FROM "logs-" WHERE latency > 1000 GROUP BY query ORDER BY cnt DESC LIMIT 10"}