Kafka作为使用最广泛的流消息系统,被广泛应用企业流数据处理和互联网实时处理平台,可以在该平台传输各种类型的数据。但是Kafka对其处理的消息大小是有限制的。在最近的版本中,其最大消息大小被限制在2GB以下。官方建议最好是把单个消息的大小限制在10k左右,Kafka的设计本来就是为了处理巨量的消息,而不是用来传输大型的消息的。 我们可以通过以下的配置修改消息的大小,但是强烈不建议这样做。在Kafka系统上传输大型的消息会对整个系统的性能造成很大的负面影响,很有可能把整个系统搞崩溃。 broker message.…

2020年01月20日 1条评论 1011点热度 0人点赞 阅读全文

Uber是全球最大的打车软件公司,而且正在发展为最大的车辆共享软件公司。对于Uber这样的公司来说,对巨量的实时流数据的处理的能力是至关重要的,其实时流数据的处理能力,效率和质量直接关系到公司核心业务的服务质量和用户的满意度。不知道滴滴在技术上是不是可以和Uber一拼,这里没有可能有挑战的意味:)。这篇文章通过研究Uber程序员在Devoxx,WSO2Con, DataWorks Summit等会议上的分享来分析其实时流数据分析的体系架构。也作为今年技术研究的一个方向做一个分析。 ​ 可以看到其实时流系统是采用的K…

2020年01月19日 0条评论 370点热度 0人点赞 阅读全文

鉴于Kafka在如今大数据处理领域的重要地位,还是写一篇文章来简单介绍一下kafka吧。本文只谈基础概念,也算是个小界,大神请绕道。这篇文章主要涉及一下几个方面: 什么时Kafka 熟悉Kafka的基本概念 创建一个单节点的集群 Kafka是什么? 简单来说,Kafka是一个高性能,可扩展和稳定的消息系统。这是一个开源的流数据处理平台。Apache Kafka最初由LinkedIn开发和维护,后来在2011年成为Apache基金会的开源项目,2012年成为Apache基金会的顶级开源项目。Kafka用Scala和J…

2020年01月19日 0条评论 386点热度 1人点赞 阅读全文