こんにちは、primeNumberです。

さる12月、primeNumberは横浜市立大学で、1年生向けの講義を行ってきました。

横浜市立大学とprimeNumberは連携協定を結んでおり、これまでにも学生の皆さまにいわゆるインターンシップを提供してきました。今回の講義は、メディアや放送、金融、メーカーなど多種多様な企業が登壇するオムニバス講義「PBL入門」の1コマとして実施。

他の講義がデータサイエンス中心のなかでは珍しいデータエンジニアリング領域について、プロダクト開発本部 プロダクトマーケティングマネージャーの鈴木さんと、横浜市立大学の卒業生でもあるプロフェッショナルサービス本部 データアナリストの小宮山さんが講義を行いました。

データサイエンスを実装・運用できるようにするのが「データエンジニアリング」

講義のテーマは「データエンジニアリングとは何なのか」、そして「なぜデータエンジニアリングが必要なのか」。

鈴木さんははじめに、データサイエンス協会が定義するデータサイエンスの3つのスキルセットである「データサイエンス」「ビジネス力」「データエンジニアリング」について提示。ある程度イメージが湧きやすいデータサイエンスとビジネス力に対して、残るデータエンジニアリングとはどのようなスキルなのかを解説していきました。

3つのスキルセットにおけるデータエンジニアリングの定義は「データサイエンスを意味ある形に使えるようにして実装・運用できるようにする力」ですが、それは具体的にはどのようなものなのか。鈴木さんは「データはただ存在するだけでは意味がなく、分析に使える状態のデータである必要がある」と前置いた上で、データを分析できる状態にするにはさまざまな課題があると語りました。

その1つ目はデータの管理場所。ビジネスシーンでは、データは社員が使うGoogle Driveなどのストレージに保管されていたり、ほかにもECサイトなどのWebサービス、営業管理のためのツールなどのように、分散していることがほとんど。このまま散らばった状態ではデータを統合して分析できないため、まずは一カ所に集める必要があります。

また、集めたデータもさまざまな場所から寄せられているため、きれいに整理整頓されているわけではありません。例えばスプレッドシートに保存された営業データと、営業管理ツールに保存された営業データがそれぞれ別のルールに従って記録されていた場合、同じデータとして分析するためには同じルールで整える必要があります。

さらにデータそのものの品質も重要で、営業のデータなのに全員のデータが揃っていないのでは正しい分析ができません。これをすべてまとめるのが、データエンジニアリングに求められる力だ、と鈴木さんは語ります。

データエンジニアリングは自分の武器として身につけるのにお勧めのスキル

こうしたデータエンジニアリングについて、primeNumberの主力サービスであるTROCCOを例に取って説明したのが、データを利活用できる形にするための基本的なプロセスである「ELT（またはETL）」。これは「データの収集（Extract）」「保存（Load）」「変換（Transform）」といった一連のステップの頭文字を取ったものです。

集められたデータは「データウェアハウス」と呼ばれる大規模データ分析に適したストレージに保存され、要望に合わせて各種ツールに展開。データを分析するためのツールや広告、Webサービス、または別のデータベースなど、送り先に合わせてデータを展開するのがデータエンジニアリングの大まかな流れです。

小宮山さんは受講している学生に向けて「データ分析の経験がないと最初は難しいと感じるかもしれないが、これから学習を進めて、実務で取り組むようになれば分かるようになるはず」とコメント。データエンジニアリングとデータサイエンスを身につけることで、データを活用する業務のスピードが劇的に向上し、コミュニケーションロスも削減できるとした上で、「データエンジニアリングの領域は絶対的に人手不足なので、興味を持てる人はこれから自分の武器として身につけるのはとてもお勧めのスキル」と語りました。

講義に参加した学生の方からは、「データエンジニアリングとデータサイエンスを混同していたが、データエンジニアリングは何かという基本的なところから学ぶことができた」「あらゆる分野に応用しうる内容だなと思うのでこれから自分で少しずつ勉強しながら知識を深めていきたい」「データサイエンスと密接に関係のあるデータエンジニアリングについて学んだことによって少し視野が広がったように感じる」「将来はこういう仕事をやっていくのかなという未来へのひとつの指針になった気がする」など、データエンジニアリングに対する前向きなフィードバックを多数いただきました。

primeNumberでは今後もこうした産学連携の試みを通じて、データエンジニアリングを始めとするデータ活用の意義を伝えていきます。ご興味のある学校の方はぜひご連絡ください。