IPA公式正解:イ RDD(Resilient Distributed Dataset)と呼ばれるデータ集合に対して変換を行う。
※ 正解はIPA公表の解答です。解説は当サイトが生成AIを用いて作成しています。誤りにお気づきの場合はお問い合わせください。
【解説】正解は選択肢【イ】です。Apache Sparkは、RDD(Resilient Distributed Dataset: 復元可能な分散データセット)を基本データ構造とし、インメモリ処理によって高速な分散処理・データ変換を行うオープンソースのビッグデータ処理基盤フレームワークです。
【詳細解説】■ 本問の核心・解法のポイント
Apache Sparkは、分散環境における大規模データ処理を高速化するためのクラスタコンピューティング基盤です。Hadoop MapReduceがディスクI/Oを頻繁に行うのに対し、Sparkはインメモリ処理を中心とすることで高い処理性能を実現しています。その中核概念がRDD(Resilient Distributed Dataset)であり、耐障害性を持った不変(Immutable)の分散コレクションとしてデータを保持・変換します。
・各選択肢の徹底解説:
・ア:ディスクへの書き出しを繰り返すMapReduceのバッチ処理に特化しているのは「Hadoop MapReduce」の特徴です。Sparkはバッチ処理だけでなく、ストリーミング処理や機械学習など多様なワークロードに対応しています。
・イ:【選択肢イ★】Sparkは「RDD」という抽象化された分散データ集合をメモリ上に展開し、変換(Transformation)やアクション(Action)を適用して高速処理を行います。
・ウ:Publish/Subscribe型の分散メッセージングシステムは「Apache Kafka」などの特徴です。
・エ:マスタノードを持たない分散キーバリューストアとしては「Amazon DynamoDB」の設計に基づく「Apache Cassandra」などが該当します。
よって正解はイです。