📖 专题概述#

Apache Spark 是开源的分布式大数据计算引擎,广泛应用于大规模数据处理、实时流计算、机器学习等场景。

本专题记录我在 Spark 实战中的经验与心得,涵盖从集群部署Spark SQLStructured Streaming性能调优的全流程内容。

📚 内容导航#

☸️ 集群部署#

Spark 集群部署方案,包括 Kyuubi 集成、K8s 原生部署等。

(暂无文章,敬请期待…)

🔍 Spark SQL#

使用 Spark SQL 进行数据查询、分析与数据仓库建设。

(暂无文章,敬请期待…)

🌊 流式计算#

Structured Streaming 实时数据处理方案与最佳实践。

(暂无文章,敬请期待…)

⚙️ 性能优化#

内存调优、Shuffle 优化、数据倾斜处理等性能调优实践。

(暂无文章,敬请期待…)

🔧 问题排查#

真实场景中的故障诊断与解决方案。

(暂无文章,敬请期待…)

🔗 相关链接#