「 データエンジニアリング 」 一覧

バンディットアルゴリズム

バンディットアルゴリズム

記録 Google検索をすると「A/Bテストよりすごい」というように、A/Bテストと並べられて語られるものの様子。 データに基づいた意思決定手法。 A/Bテストは全てのユーザーに振り分けてテストをする …

ダイヤモンド・ハーバード・ビジネス・レビュー 2014年8月号 の読書メモ

「ダイヤモンド・ハーバード・ビジネス・レビュー 2014年8月号」の読書メモ

メモ ユーザーを理解するための3つのアプローチ ユーザーに「聞く」。 ユーザーを「見る」。 ユーザーのつもりで考える。 ユーザーのつもりで考えるための準備として、「聞く」「見る」が必要 そのためのアプ …

no image

「ビッグデータを支える技術」の読書メモ

メモ データ構造化のパイプライン 分散ストレージ上に、非構造化データやスキーマレスデータとして、Webログや業務用DB上のマスタデータが蓄積される 列志向ストレージ上に、構造化データとして、ファクトテ …

no image

「すべてわかる ビッグデータ大全2017」の読書メモ

メモ SAP HANA インメモリ DWH 列志向 データ圧縮効率の高さ スマートデータアクセス機能 データ仮想化技術 外部データソース参照(Hadoop、Teradata、Oracle、IBM DB …

no image

「Apache Flink」について調べてみた

https://qiita.com/takanorig/items/e9880813798f0ac5679d 分散ストリーム処理のフレームワーク。OSS。 ストリーム処理とバッチ処理の両方に対応してい …

no image

「詳解 Apache Spark」の読書メモ1

メモ Sparkのコアアイデア RDDという、処理対象となるデータセットの表現 DAGという、RDDを変換していく過程の表現 Sparkの動作 Driver Programが、Worker Node上 …

no image

「ワークフロー管理」について調べてみた

概要 指定した時間に複数のジョブを実行し、各ジョブの進行を管理するためのシステム ワークフロー管理システムに求められる機能 ジョブのスケジュール実行 ジョブの定期実行 ジョブのイベント駆動実行 処理同 …

no image

「Luigi」について調べてみた

http://dev.classmethod.jp/tool/luigi_trial/ http://d.hatena.ne.jp/wyukawa/20150228/1425135465 http:/ …

no image

「Azkaban」について調べてみた

https://oss.sios.com/bigdata-blog/azkaban http://qiita.com/toyama0919/items/9c9e3fd5c8a92a7b7686 htt …

no image

「Digdag」について調べてみた

http://try-and-matome.hatenablog.jp/entry/20170309_report-workflow-engines-meetup-vol-1 http://qiita …