令和3年度 秋期 データベーススペシャリスト試験 午前Ⅱ 問18

テクノロジAI・データ活用OS・ソフトウェアデータ分析・データ基盤

ビッグデータ処理基盤に利用され，オープンソースソフトウェアの一つであるApache Sparkの特徴はどれか。

解答・解説

正解: イ. RDD (Resilient Distributed Dataset) と呼ばれるデータ集合に対して変換を行う。

Apache Spark は、ビッグデータ処理に利用されるオープンソースの分散処理フレームワークです。大量のデータをメモリ上で高速に処理できることが大きな特徴です。このSparkにおいて中核となるデータ抽象化の概念が RDD (Resilient Distributed Dataset) です。RDDという耐障害性のある分散データ集合をメモリ上に保持し、それに対して並列に変換処理を適用していくことで効率的なデータ処理を実現しています。

したがって、正解は「イ」となります。

各選択肢の解説

  • ア: MapReduceの考え方に基づいたバッチ処理に特化している。
    • これは Apache Hadoop（のMapReduce）の特徴です。Sparkはバッチ処理だけでなく、ストリーム処理や機械学習など多様な処理をサポートしています。
  • イ: RDD (Resilient Distributed Dataset) と呼ばれるデータ集合に対して変換を行う。
    • 正解です。RDDはSparkの根幹となるデータモデルです。
  • ウ: パブリッシュ／サブスクライブ (Publish/Subscribe) 型のメッセージングモデルを採用している。
    • これは Apache Kafka などの分散メッセージングシステムの特徴です。
  • エ: マスタノードをもたないキーバリューストアである。
    • これは Apache Cassandra などの分散型KVS（NoSQLデータベース）の特徴です。Sparkはデータベースではなく処理基盤です。

Spineチーム