如何用Spark SQL读取XML文件

Spark SQL需借助spark-xml库读取XML：按Spark版本选对应依赖，用format("xml")及rowTag等option解析为DataFrame，注册视图后支持SQL查询，属性需加@前缀，嵌套字段自动转StructType。

Spark SQL本身不原生支持XML文件读取，需要借助第三方库（如Databricks的spark-xml）将XML解析为DataFrame后，才能用SQL操作。

添加spark-xml依赖

这是最关键的一步。不同Spark版本需匹配对应版本的spark-xml库：

• Spark 3.0+：推荐使用com.databricks:spark-xml_2.12:0.17.0（Scala 2.12）
• Spark 2.4：可用com.databricks:spark-xml_2.11:0.14.0
• 提交作业时通过--packages参数自动下载（本地开发或集群提交都适用）：
  spark-shell --packages com.databricks:spark-xml_2.12:0.17.0

读取XML并转为DataFrame

使用format("xml")指定数据源类型，并通过option()设置关键参数：

• rowTag：指定每条记录对应的XML标签名（必填），例如...就设为"book"
• inferSchema：设为true可自动推断字段类型（适合结构较规整的XML）
• attributePrefix：用于区分属性与子元素（默认"@"，如@id表示id属性）
• 示例代码：

val df = spark.read
  .format("xml")
  .option("rowTag", "book")
  .option("inferSchema", "true")
  .load("books.xml")

注册临时表并执行SQL查询

将DataFrame注册为临时视图后，即可用标准Spark SQL语法查询：

• df.createOrReplaceTempView("books")
• 然后运行：
  spark.sql("SELECT title, @category FROM books WHERE @category = 'fiction'").show()
• 注意：XML属性在SQL中需加前缀（如@category），文本内容直接用字段名（如title）

处理嵌套与命名空间（进阶）

复杂XML常含嵌套结构或命名空间，需额外配置：

• 嵌套字段会自动转为StructType，可用col("author.firstName")访问
• 含命名空间时，需先用option("rowTag", "{http://example.com}book")或预处理移除命名空间
• 若自动推断不准，可手动定义Schema传入.schema(mySchema)提升稳定性