如何在Kafka中发送和接收XML格式的消息

Kafka可正常收发XML消息,关键在序列化与反序列化:发送端用StringSerializer将规范XML字符串(UTF-8编码)发送;接收端用StringDeserializer获取字符串后,再用Jackson XML等解析为对象;需统一编码、注意字符转义、避免超大消息。

Kafka本身不关心消息内容格式,XML消息可以像字符串或字节数组一样正常收发,关键在于序列化与反序列化环节的正确处理。

发送端:把XML转成String或byte[]再发

推荐使用 StringSerializer,前提是XML内容不含非法控制字符且编码统一(如UTF-8):

  • 构造XML字符串时确保格式规范,例如用 123张三
  • application.yml 中配置生产者序列化器:
    spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
  • 调用 kafkaTemplate.send(topic, xmlString) 即可,无需额外编码转换

接收端:按String接收后解析XML

消费者同样用 StringDeserializer,拿到字符串后再用标准XML解析器处理:

  • 配置项:
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
  • @KafkaListener 方法中直接接收 String 类型参数
  • DocumentBuilderJAXBJackson XML Module 解析字符串为对象,例如:
    JacksonXmlModule module = new JacksonXmlModule();
    XmlMapper mapper = new XmlMapper(module);
    User user = mapper.readValue(xmlString, User.class);

注意事项:避免常见坑

XML消息虽简单,但几个细节容易出错:

  • 编码必须一致:生产端写入和消费端读取都用 UTF-8,否则中文变乱码
  • 不要手动base64或gzip封装:除非业务强制要求,否则增加复杂度且无必要
  • 注意特殊字符转义:如 & 要写成 &,否则XML解析失败
  • 大XML慎用:单条消息建议不超过1MB(Kafka默认限制),超长需分片或存OSS后传URL

进阶:用自定义序列化器统一处理XML

若项目中XML消息频繁出现,可封装复用逻辑:

  • 实现 SerializerDeserializer
  • 内部用 XmlMapper 完成对象 ↔ XML字符串 ↔ byte[] 的双向转换
  • 注册到 ProducerFactory / ConsumerFactory 中,后续直接发送/接收对象