数据库系统中 OLTP和OLAP OLTP和OLAP系统表面上看都是数据库系统,但是这两种系统的功能和设计有着非常大的区别。 OLTP的基础就是我们通常所说的数据库系统,通常我们会假设OLTP系统会作为OLAP系统对数据进行分析的数据源来使用。 什么是OLTP? OLTP(Online Transactional Processing) 是一类数据处理过程,通常关注于事务性数据任务的执行。OLTP的一次作业可以简单理解为数据库操作一次前后关联的几个Insert, Update和Delete命令的执行。OLTP系统通…

2021年02月12日 0条评论 446点热度 3人点赞 阅读全文

Kafka作为使用最广泛的流消息系统,被广泛应用企业流数据处理和互联网实时处理平台,可以在该平台传输各种类型的数据。但是Kafka对其处理的消息大小是有限制的。在最近的版本中,其最大消息大小被限制在2GB以下。官方建议最好是把单个消息的大小限制在10k左右,Kafka的设计本来就是为了处理巨量的消息,而不是用来传输大型的消息的。 我们可以通过以下的配置修改消息的大小,但是强烈不建议这样做。在Kafka系统上传输大型的消息会对整个系统的性能造成很大的负面影响,很有可能把整个系统搞崩溃。 broker message.…

2020年01月20日 1条评论 1011点热度 0人点赞 阅读全文

Uber是全球最大的打车软件公司,而且正在发展为最大的车辆共享软件公司。对于Uber这样的公司来说,对巨量的实时流数据的处理的能力是至关重要的,其实时流数据的处理能力,效率和质量直接关系到公司核心业务的服务质量和用户的满意度。不知道滴滴在技术上是不是可以和Uber一拼,这里没有可能有挑战的意味:)。这篇文章通过研究Uber程序员在Devoxx,WSO2Con, DataWorks Summit等会议上的分享来分析其实时流数据分析的体系架构。也作为今年技术研究的一个方向做一个分析。 ​ 可以看到其实时流系统是采用的K…

2020年01月19日 0条评论 370点热度 0人点赞 阅读全文

鉴于Kafka在如今大数据处理领域的重要地位,还是写一篇文章来简单介绍一下kafka吧。本文只谈基础概念,也算是个小界,大神请绕道。这篇文章主要涉及一下几个方面: 什么时Kafka 熟悉Kafka的基本概念 创建一个单节点的集群 Kafka是什么? 简单来说,Kafka是一个高性能,可扩展和稳定的消息系统。这是一个开源的流数据处理平台。Apache Kafka最初由LinkedIn开发和维护,后来在2011年成为Apache基金会的开源项目,2012年成为Apache基金会的顶级开源项目。Kafka用Scala和J…

2020年01月19日 0条评论 386点热度 1人点赞 阅读全文