東京の西側でロハスに暮らす

雑食系ブログです

AWS

Tableau Server on AWSのベストプラクティス

BIアプリケーションとして、Microsoft Power BIとSFDCのTableau は人気を二分しています。 Tableau のサーバサイド製品であるTableau ServerのAWS導入時のベストプラクティスを実体験をもとに示していきたいと思います。また、Tableau ONLINEとの比較やQuick…

ReInvent2021 待望のRedshiftServerlessを深堀

AWS

RedshiftServerless爆誕 ReInvent2021にてRedshiftServerlessが発表されました。待望のserverless製品です。 RedshiftはこれまでもRedshift Spectrumを出していましたが、今回のServerlessはどのように違うのでしょうか。また、同じserverlessであるAhtenaと…

AWS朝会 データレイク・レイクハウス アーキテクチャ

資料をSlideShareにあげましたので、ご参考にしてください。 AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた from tatsuya 264 www.slideshare.net

AWS Amazon Forecast のDeep ARを頑張って読んでみた

AWS

Amazon Forecastという時系列解析に特化したサービスにお世話になりました。 その中のAMAZONオリジナル手法のDEEP ARについて、実は論文があるらしいという事で読んでみました。 arxiv.org 超概説 基本的には確率モデルですが、 確率モデルの元となる分布をR…

Redshiftしか勝たん!② Redshiftの悪魔的進化

AWS

あなたのRedshift、開発してからそのままではないですか? 「Redshiftは同時実行に弱い」 「RedshiftはMaterized viewがない」 「RedshiftはマルチAZできない」 そう思っているひと、いませんか? いや結構いるはずです。 そして、Redshift推しの開発者なら…

Redshiftしか勝たん!①  DWHとAI、ついに融合す

AWS

DBエンジニアがAI技術者の夢を見る AIがITのメインストーリムに来る少し前の2018年くらい、世のDBエンジニアはこう思っていました。 「AIはデータでの学習・推論が命。データといえばDB。しかしSQLとAIは一緒に使えそうな、使えなさそうな、、。DBとAIが融合…

豊洲のITエンジニア交流勉強会(2019年9月25日)に参加・発表した話

AWS

かなり過去の話ですが、昨今の事情から時間ができたので、レポートしたいと思います。 表題の通り、豊洲にあるIT会社(NTTデータ、SCSK、ユニシス、NEC)を対象に、勉強会が開かれました。主催はSCSKさんです、素晴らしい。 で、内容はいわゆるライトニングト…

AWS S3とAzure Datalake gen2 の比較

AWS

AWSとAzureのどちらを使おう(オブジェクトストレージ) 二大パブリッククラウドは、AWSとAzureです。様々意見あるかと思いますが、パブリッククラウドが持ち、オンプレミスの持たないサービスの代表格はオブジェクトストレージです。同時に、パブリッククラウ…

RedshiftとPostgresSQLの機能差分をまとめる

AWS

RedshiftはRDBMSではありません RedshiftはPostgresSQLをベースとしたMPP型データベースです。DWH特化型DBといってよいサービスですが、普通のRDBMSと同じように設計するとうまく特性を生かせない事が多々あります。 そこで、初めてRedshiftを使う人や、RDBM…

AWS資格習得まとめ associate編

AWS

AWSソリューションアーキテクトの資格のうちSolution architect associate/professionalを習得しました。NDAがあるので、問題そのもの等は書けませんが、私の勉強法を紹介したいと思います。 ※こちらの内容は、資格習得時(associate (17/8) / profession…