Kafka作为使用最广泛的流消息系统，被广泛应用企业流数据处理和互联网实时处理平台，可以在该平台传输各种类型的数据。但是Kafka对其处理的消息大小是有限制的。在最近的版本中，其最大消息大小被限制在2GB以下。官方建议最好是把单个消息的大小限制在10k左右，Kafka的设计本来就是为了处理巨量的消息，而不是用来传输大型的消息的。 我们可以通过以下的配置修改消息的大小，但是强烈不建议这样做。在Kafka系统上传输大型的消息会对整个系统的性能造成很大的负面影响，很有可能把整个系统搞崩溃。 broker message.…

Uber是全球最大的打车软件公司，而且正在发展为最大的车辆共享软件公司。对于Uber这样的公司来说，对巨量的实时流数据的处理的能力是至关重要的，其实时流数据的处理能力，效率和质量直接关系到公司核心业务的服务质量和用户的满意度。不知道滴滴在技术上是不是可以和Uber一拼，这里没有可能有挑战的意味：）。这篇文章通过研究Uber程序员在Devoxx，WSO2Con， DataWorks Summit等会议上的分享来分析其实时流数据分析的体系架构。也作为今年技术研究的一个方向做一个分析。 ​ 可以看到其实时流系统是采用的K…

鉴于Kafka在如今大数据处理领域的重要地位，还是写一篇文章来简单介绍一下kafka吧。本文只谈基础概念，也算是个小界，大神请绕道。这篇文章主要涉及一下几个方面： 什么时Kafka 熟悉Kafka的基本概念 创建一个单节点的集群 Kafka是什么？ 简单来说，Kafka是一个高性能，可扩展和稳定的消息系统。这是一个开源的流数据处理平台。Apache Kafka最初由LinkedIn开发和维护，后来在2011年成为Apache基金会的开源项目，2012年成为Apache基金会的顶级开源项目。Kafka用Scala和J…