filebeat吃爆内存问题

filebeat吃爆内存,直接导致了系统OOM

管理员
2025年6月20日· 已更新
运维
log

filebeat吃爆内存,直接导致了系统OOM


原因分析:

https://developer.aliyun.com/article/241161#slide-0


官网配置文件解析:

https://www.elastic.co/docs/reference/beats/filebeat/filebeat-reference-yml


定义每个采集器在获取文件时使用的缓冲区大小

# Defines the buffer size every harvester uses when fetching the file

#harvester_buffer_size: 16384


单个日志事件可以具有的最大字节数

# Maximum number of bytes a single log event can have

# All bytes after max_bytes are discarded and not sent. The default is 10MB.

# This is especially useful for multiline log messages which can get large.

#message_max_bytes: 10485760


最后参数:

 harvester_buffer_size: 16384
 queue.mem.events: 128   # 队列可以缓冲的最大事件数
 max_bytes: 1048576      # 单条日志最大数,单位 B,1M
最后更新于 2025/6/20