来自 www.56.net 2019-05-09 17:43 的文章
当前位置: 56net亚洲必赢 > www.56.net > 正文

每个分片1GB的数据大小

  天猫商城转让了解到近日,第三届阿里中间件性能挑战赛内部总决赛在西溪园区举行,经过前期线上比赛和现场解题思路答辩,来自阿里云数据库技术团队的资深专家曹伟(鸣嵩)获得本次比赛总冠军并揽得大奖。

  淘店家得到的消息是线上比赛阶段得分屡创新高,现场解题思路答辩交流活跃,气氛热烈,精彩纷呈的内部赛为今年的中间件性能挑战赛开了一个好头,期待在接下来的外部赛上涌现出更多好成绩和令人耳目一新的工程创新。

  作为阿里中间件(Aliware)举办的历史最悠久的工程视角赛事,淘宝店铺转让得知自举办以来,受到业界工程师和高校技术爱好者的一贯支持和好评。2014年中间件性能挑战赛作为初创赛事,主要面向集团内部;2015和2016年又连续举办了两届,面向群体扩充到高校学生和社会参赛选手。今年单独设置了内部赛,单独出题和比赛,并最终和外部赛的同学在总决赛前的极客挑战赛上一决高低。据悉本次内部赛报名参赛的规模创历年新高。

  网店转让平台得知本次挑战赛的主题为“挑战双十一万亿级消息引擎”,比赛场景当然离不开大家最熟悉的阿里双11,海量业务场景下的技术需求模拟,赛题本身具有非常强的实战意义。本次内部赛题目主要解决的是NewSQL领域中使用最频繁的一个场景--分页排序,其对应的SQL执行为order by id limit k,n。

  网店过户认为主要的技术挑战为分布式的策略,赛题中使用多个文件模拟多个数据分片。简单来说,就是通过10个文件模拟了数据的分片,每个分片1GB的数据大小,给定的机器配置是24核,JVM堆内存限制2.5G,磁盘读写为490-500MB/s左右。在这样给定资源限制的情况下,如何快速建索引支持分页查询top(k,n)场景。

  看似一个简单的问题,但要取得好成绩淘店家认为需要多方面的综合实力,首先选手要了解硬件,需要考虑IO和内存优化,毕竟10GB文件顺序读取理论值可能就在20秒左右,内存上的一些约束也促使选手需要考虑更好的数据压缩。

  同时选手也需要在数据结构和算法上有一个比较好的设计思路,构建类似的索引信息来满足多次的top(k,n)的查询。综合来看,需要选手具有比较强的系统优化和算法设计能力,另外赛题基本是参考了NewSQL领域的一个真实业务场景,整个比赛的优化思路也对真实业务有一定的借鉴性。

  本次大赛冠军获得者鸣嵩同学,在阿里内部也是一位技术大神,网店转让平台得知他的座右铭就是Linux创始人Linus Torvalds在邮件列表里说过的那句名言:“Talk is cheap. Show me the code. ”,在公司内部各种安全、算法、文件系统方面的比赛总是名列前茅。

  说来也巧,鸣嵩同学还是第一届中间件性能挑战赛的冠军获得者,这次夺冠是时隔两年后的卫冕。作为一名中间件性能挑战赛的老司机,鸣嵩同学表示和评委都很熟,但比赛成绩还是靠实力说话!

  鸣嵩同学计算机体系架构方面科班出身,淘店家了解到他毕业后就直接投身软件行业,先是从事搜索技术研发,2001年加入阿里做数据库研发和支持工作,长期在一线解决出现的各种工程问题和BUG,累计了大量的实战经验。正是这样的学习和工作经历,锻炼了他的技术功底和综合的实力,在面对上述的问题,能够拿出更好更加全面考虑的解决方案。

  广州办公地址:广东省广州市海珠区新港东路1066号中洲中心南塔C座12楼1212号

  杭州办公地址:浙江省杭州市滨江区秋溢路289号上峰产业园绿城电商馆2楼B区209号

http://www.111-elevator.com/www_56_net/1593.html