索鸟网

  1. 首页
  2. 剖析大数据实时olap数据的实现:Druid源码导读

剖析大数据实时olap数据的实现:Druid源码导读

Druid(druid.io)是一款开源的时序数据库,它解决问题的领域是大数据实时分析OLAP。Druid的代码写得非常优秀,脉络清晰,非常适合初学者阅读,理论联系实践的方式掌握数据库实现以及分布式系统的知识。此次分享适合对Druid有一定了解的观众。曾经在Druid中国用户组第四次Meetup上分享过一次内容,但是对于源码导读来说PPT分享还是过于抽象,不能很好地理解。近期经博文视点的策划编辑推

Druid(druid.io)是一款开源的时序数据库,它解决问题的领域是大数据实时分析OLAP。Druid的代码写得非常优秀,脉络清晰,非常适合初学者阅读,理论联系实践的方式掌握数据库实现以及分布式系统的知识。此次分享适合对Druid有一定了解的观众。曾经在Druid中国用户组第四次Meetup上分享过一次内容,但是对于源码导读来说PPT分享还是过于抽象,不能很好地理解。近期经博文视点的策划编辑推

  • 快速了解Druid——实时大数据分析软件

    Druid 是什么  Druid 单词来源于西方古罗马的神话人物,中文常常翻译成德鲁伊。   本问介绍的Druid 是一个分布式的支持实时分析的数据存储系统(Data Store)。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目,并且于2012 年晚期开源了Druid 项目。Druid 设计之初的想法就是为分析而生,它在处理数据的规模、数据
  • 如何给 8000 人开一张报表的权限?苏宁多维报表平台应用实践!

    伴随“大数据”浪潮的来临,数据决定成败的观念已波及社会的各行各业,深刻影响和改变着人们的思维。在工业界,数据已成为企业核心竞争力之一,越来越多的企业已经开始不满足于单纯的收集存储数据,都开始尝试通过不同的途径发掘数据宝藏。假设数据有 10 个维度,每个维度有 10 种取值,如何做到任意组合、任意视角的分析?这正是多维分析平台要解决的问题。这两年,涌现了不少的优秀开源产品:如 ky
  • Druid 在小米公司部分技术实践

    引言:Druid作为一款开源的实时大数据分析软件,自诞生以来,凭借自己优秀的特质,不仅逐渐在技术圈收获了越来越多的知名度与口碑,并且陆续成为了很多技术团队解决方案中的关键一环,从而真正在很多公司的技术栈中赢得了一席之地。   本文通过对小米公司技术团队对Druid 的实践案例与经验的介绍,让大家对Druid有更加全面和深入的了解,希望能够帮助你事半功倍地学习Druid 这项年轻的
  • 大数据实践总结---一点思考

    本文算是一个阶段总结吧!总算是把MapReduce给搞完了。细想这三周来的收获,可能除了代码,更多的是逻辑上的提高吧!下边就以之前只会理论时的一些问题来开启本文吧!1,大数据架构师,产品经理需要写代码吗?  需要,只不过写代码的程度不同。大数据架构师要详细了解大数据的各个模块功能,相关的接口参数。可以说,架构师要对代码有很详细的了解。大数据的相关工作中,架构,开发,运维
  • 大数据实践总结--两个故障的处理及思路总结

        已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细谈这个内容)。    而且最近,把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利,但没想到,还是出了许多问题。一些简单的问题就直接
  • rsync+inotify实现数据实时同步备份

    在实际生产环境当中,我们总会遇见需要把一些重要数据进行备份,且随着应用系统规模的增大,对数据的安全性、可靠性、时效性要求还是比较高的,因此我自己有在用rsync+inotify来实现数据实时同步备份,下面记录下操作步骤,以防日后自己忘记。实验背景:操作系统          IP       &nbs
  • 动态数据源@四种实现方案对比

    简单描述需求,当前我们的分析型数据都是不可变的,且每次的分析都是要将整体数据都加载到计算节点进行分析计算,所以基础的存储和缓存都是面向文件的,并不支持对某一行的修改,如果需要Update某些行或者插入新的记录,需要将增量修改与原数据源联合进行复杂的合并操作,对于经常需要修改的数据源尤其是更新某些行的属性值不那么方便,如果只是Append还好,并且还有对这