menu
arrow_back

EMR File System Client-side Encryption Using AWS KMS-managed Keys (日本語版)

1 分設定 · アクセス可能時間: 60 分 · 完了までの時間: 50 分
Connection Details

注意: このラボで使用している AWS リソースには、受講中のハンズオンラボ、またはQwiklab™に関連しないデータは一切送信しないでください

10クレジット

info_outline
This lab costs 10クレジット to run. You can purchase credits or a subscription under My Account.

01:00:00

EMR File System Client-side Encryption Using AWS KMS-managed Keys (日本語版)

SPL-148 – バージョン 1.1

ラボの概要

このラボでは、EMR File System (EMRFS) を使用して Amazon S3 に保存されるデータに対して、AWS KMS で管理されたキーを使用してクライアント側の保管時の暗号化を有効にします。Amazon EMR を使用して、セキュリティ設定を作成し、S3 に書き込まれるオブジェクトに対して、指定した AWS KMS で管理されたキーを用いてクライアント側の暗号化を実行し、暗号化に使用したキーと同じキーを使用してオブジェクトを復号します。これにより、Amazon EMR で Apache Spark、Apache Tez、Apache Hadoop MapReduce のようなフレームワークを簡単に活用できるようになり、ビッグデータ分析、ストリーム処理、機械学習、機密情報の ETL ワークロードを実行できます。

取り上げるトピック

このラボでは、以下の方法のデモンストレーションを行います。

  • Amazon S3 バケットを作成する
  • AWS KMS を使用してキーを作成する
  • セキュリティ設定を EMR に作成して AWS KMS で管理されたキーを使用したクライアント側の暗号化を有効にする
  • AWS マネジメントコンソールを使用して AWS Elastic Map Reduce (EMR) クラスターを起動する
  • AWS EMR File System (EMRFS) を使用して S3 との間でオブジェクトの読み書きを行う
  • EMR の出力データを Amazon S3 から直接確認する

技術知識の前提条件

このラボを修了するには、Hadoop と Hadoop File System (HDFS) の基本的な知識が必要です。

Linux サーバー管理に関する基本的な知識があり、Linux コマンドラインツールを使用できることも必要です。また、SSH(OS X または Linux クライアントから)や PuTTY(Windows クライアントから)などを使用して、Linux インスタンスに接続できる必要があります。

その他の AWS のサービス

このラボで必要としない AWS のサービスは、このラボにアクセスしている間、IAM ポリシーによって無効にされています。さらに、このラボで使用されるサービスの機能はラボに必要なものに限定されており、場合によってはラボの設計の観点から意図的にさらに制限されています。このラボガイドに指定されていないサービスを使用したりアクションを実行したりするとエラーが発生することがあります。

Amazon EMR とは

Amazon EMR は、大量のデータを迅速かつコスト効率の良い方法で簡単に処理するためのウェブサービスです。Amazon EMR では、動的にスケーラブルな Amazon EC2 インスタンス間で大量のデータを配信および処理するために、簡単で迅速かつコスト効率の良いマネージド型の Hadoop フレームワークを提供することにより、ビッグデータの処理を簡略化します。また、Apache Spark や Presto などの一般的な他の分散フレームワークを Amazon EMR で実行したり、Amazon S3 や Amazon DynamoDB などの他の AWS データストア内でデータを操作したりできます。Amazon EMR では、ログ分析、ウェブインデックス作成、データウェアハウス、機械学習、財務分析、科学シミュレーション、バイオインフォマティクスなど、ビッグデータのユースケースを安全かつ信頼性の高い方法で処理できます。

EMRFS とは

EMRFS は、通常のファイルを Amazon EMR から Amazon S3 に対して直接読み書きするために使用される HDFS の実装です。EMRFS では、Hadoop で使用するために Amazon S3 に永続的なデータを保存できるといる利便性を保ちながら、さらに Amazon S3 のサーバー側の暗号化、書き込み後の読み取りの整合性、リストの整合性といった機能も提供します。

AWS KMS とは

AWS Key Management Service (KMS) は、データの暗号化に使用する暗号化キーの作成や制御を簡単にし、ハードウェアセキュリティモジュール(HSM)を使用してキーのセキュリティを保護するマネージドサービスです。AWS Key Management Service は他のいくつかの AWS のサービスと統合されているため、そのようなサービスを使用して保存するデータを保護できます。また AWS Key Management Service は AWS CloudTrail とも統合されており、すべてのキーの使用ログを表示できるため、規制およびコンプライアンスの要求に応えるために役立ちます。

Amazon S3 とは

Amazon Simple Storage Service (Amazon S3) により、開発者と IT チームは、安全性と耐久性を備えた高度にスケーラブルなクラウドストレージを利用できます。Amazon S3 は、シンプルなウェブサービスインターフェイスを使用して、ウェブのどこからでも必要な量のデータを保存および取得できる使いやすいオブジェクトストレージです。Amazon S3 では、使用したストレージの分しか料金は発生しません。AWS クラウドにおいて、Amazon S3 は、Amazon EMR を使用したビッグデータ分析向けの大規模データを保存するために実装するデータレイクとして有力な候補です。

Amazon EMR のセキュリティ設定とは

セキュリティ設定を使用すると、保管時のデータ、転送中のデータ、またはその両方を暗号化できます。各セキュリティ設定は、クラスターの設定オブジェクトではなく Amazon EMR に保存されるため、クラスターを作成するときはいつでも設定を再利用して暗号化設定を指定できます。

SSH を使用して EMR マスターノードに接続する方法

Secure Shell (SSH) は、リモートコンピュータに安全な接続を作成するために使用できるネットワークプロトコルです。接続を作成すると、ローカルコンピュータ上のターミナルがリモートコンピュータ上で実行されているかのように動作します。AWS で SSH を使用する場合、EC2 インスタンスに接続されています。これは、クラウド上で実行されている仮想サーバーです。Amazon EMR を操作する場合、クラスターのマスターノードとして機能する EC2 インスタンスに接続することが最も一般的な SSH の使用方法です。マスターノードでの Linux コマンドの発行、Hive や Pig のようなアプリケーションのインタラクティブな実行、ディレクトリの参照、ログファイルの読み込みなどを実行できます。また、SSH 接続にトンネルを作成し、マスターノードでホストされているウェブインターフェイスを表示できます。

タスク 1: Amazon S3 バケットを作成する

Amazon S3 バケットを作成すると、暗号化(KMS キーを使用したクライアント側の暗号化)されたオブジェクトを EMR クラスターからバケットに書き込んだり、バケットからオブジェクトを読み込んだり、同じ KMS キーを使用してオブジェクトを復号したりできます。

  1. AWS マネジメントコンソールの [サービス] で [S3] をクリックします。
  2. [バケットを作成する] をクリックし、以下のように設定します。
  • バケット名:
  • NUMBER をランダムな数値に置き換え
  • バケットの名前をテキストエディタにコピー
  • [作成] をクリック

Join Qwiklabs to read the rest of this lab...and more!

  • Get temporary access to the Amazon Web Services Console.
  • Over 200 labs from beginner to advanced levels.
  • Bite-sized so you can learn at your own pace.
Join to Start This Lab
home
ホーム
school
カタログ
menu
もっと見る
もっと見る