如何在Golang中使用bufio按行读取文件_高效处理大文本

bufio.Scanner 是 Go 中按行读取大文本的高效方式，底层缓冲减少系统调用，默认单行上限 64KB，支持自动处理 \n 和 \r\n，需手动扩容以支持超长行，错误仅通过 scanner.Err() 获取。

在 Go 中用 bufio.Scanner 按行读取文件，是处理大文本最常用且高效的方式——它底层基于缓冲，避免频繁系统调用，内存占用可控，默认单行上限 64KB，适合日志、CSV、配置等场景。

使用 bufio.Scanner 安全读取大文件

bufio.Scanner 是标准库推荐方案，自动处理换行符（\n、\r\n），无需手动切分。关键点：

• 默认每行最大 64KB，超长会报错；如需读超长行，需调用 scanner.Buffer 手动扩容
• 不返回错误详情（只返回 scanner.Err()），若需精确错误定位，建议搭配 bufio.Reader 使用
• 逐行迭代，不加载全文进内存，适合 GB 级日志文件

基础用法：打开文件 + 扫描 + 处理

典型代码结构简洁清晰：

f, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer f.Close()

scanner := bufio.NewScanner(f)
for scanner.Scan() {
    line := scanner.Text() // 或 scanner.Bytes() 获取字节切片
    // 处理每一行，例如：strings.TrimSpace(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err) // 注意检查扫描结束后的潜在错误（如 I/O 中断）
}

处理超长行或自定义分隔符

当某行超过 64KB（如单行 JSON 或 base64 内容），需提前设置缓冲区：

scanner := bufio.NewScanner(f)
// 扩容至最多 1MB 每行
buf := make([]byte, 0, 1*1024*1024)
scanner.Buffer(buf, 1*1024*1024)

如需按其他符号分割（比如以 | 分隔），可改用 bufio.Reader 配合 ReadString 或 ReadBytes，但需自行处理换行和缓冲边界。

性能提示与常见避坑

• 避免在循环内反复创建 strings.Reader 或正则对象；高频处理建议复用 regexp.Regexp
• 若只需统计行数或简单匹配，用 scanner.Text() 足够；若后续要频繁切片/修改，考虑用 scanner.Bytes() 减少字符串分配
• 不要用 scanner.Bytes() 后直接保存指针——下一次 Scan() 会覆盖底层缓冲，需 append([]byte{}, ...) 拷贝
• Windows 文件含 \r\n？不用管，Scanner 自动归一化为 \n，Text() 返回结果不含 \r

不复杂但容易忽略细节，掌握 Scanner 的缓冲机制和错误检查方式，就能稳稳吃下几个 GB 的纯文本。