AWSのEC2上でblenderを動作させてNice DCVを使ってリモート接続する方法

はじめに blenderなどの3Dアプリケーションを利用する場合、そこそこのマシンスペックが必要になります。 私は、Mac Book(ノートPC)を愛用しているのですが、少々厳しい(デュアルコアだし、GPUも無い)です。 そこで、AWS上のEC2でblenderを動作させ、Nice DC…

AWS SESを使って独自ドメインのメールアドレスの受信と転送設定を行う

はじめに (システムのテストなどで)メールアドレスが大量に必要になった時に、AWS SESは1つの解になるかも知れません。 ドメインの取得 freenomなどで取得しても良いですし、Route53で直接取得しても良いです。 https://my.freenom.com/domains.php 既に、R…

Raspberry Pi4でpythonの環境を作ってOpenCVをインストールするまで

Raspberry Piの購入 MacBook(USB-C対応)で作業する前提で記載します。 この場合、必要な物品は以下の4点です。 Raspberry Pi (本体) SDカード SDカードライター USB-Cのケーブル (最近は、Macを買うと電源などでUSB-Cのケーブルが付いていることが多いので周…

SSHの小技集(ログインからポートフォワード、Pythonを利用した自動化まで)

はじめに MacBook Proとモバイル回線で作業をする様な場合に良く利用するSSHの使い方です。また、サーバー側は、awsの利用を想定しています。 設定編 モバイル回線なので、デフォルトの設定だと頻繁に接続が切れます。 そんな時は、~/.ssh/configに以下の設…

AWS Lambdaでpandasを利用する(Lambda Layers編)

概要 AWSのlambda関数で、外部のライブラリを実行したい場合、昔は、デプロイパッケージに、利用するコードを全て含めてやる必要がありました。 ただ、pandasやscikit-learnなどの重量級のライブラリの場合、毎回アップロードするのは、きついものがあります…

MacBook Air(or Pro)でGPUを外付けしChainerを動作させるまでの手順

はじめに 本記事は、大規模な学習はクラウドで、デバックはローカルで、(ついでに小規模な学習も)と言う人向けの記事です。 目的は、Mac(MacBook AirやMacBook Pro)で深層学習を行う環境を整えることになります。グラフィックカード、深層学習用のライブラリ…

強化学習事始め(Open AIのgymを使って手っ取り早く始める)

数式は、一切挟まない解説(と言うか主に実装)です。 強化学習の中でもQ-learningの一番単純な話です。数式込みでちゃんと理解したい人は以下の記事をお勧めします。 強化学習とは?(What is Reinforcement Learning?) また、最新の話題も知りたいよって人は…

word2vecで得られたベクトルを主成分分析してみる

概要 前回の記事(以下のリンク)で、word2vecを利用して、単語をベクトルへ変換しました。 その時は、とりあえず、200次元のベクトルとして学習させましたが、どんな感じに学習されているのか(次元数が多すぎたりしないのかなど)興味がわいたので、 主成分分…

pythonのgensimライブラリを利用して日本語wikipediaの全文からword2vecを学習させるまでの全手順

Word2Vecを計算するまでの全手順を書いておこうと思います。ご存知の方も多いと思いますが、Word2Vecは、単語をvector化して扱う技術です。 以下の解説がわかりやすいと思います。 Vector Representations of Words | TensorFlow同じような使われ方をする単…

AWSのlambda上でMeCabを実行する (他のバイナリへも応用可)!!

日本語の解析をする場合、とりあえず形態素解析を実施することになると思います。 手っ取り早く動かすのであれば、ローカルで動作させれば良いですが、サーバ側で処理することも多いかと思います。 AWS lambda + APIGateway で動作させることが出来れば、便…

AWS: cognitoのuser poolで管理者または開発者が払いだしたIDとパスワードを利用してブラウザからサーバへログインする

今回は、ユーザの登録は管理者がAWSのコンソールなどで実施し、一般ユーザはログインだけするケースです。 ブラウザからのcognitoに接続して認証情報(access token等)を取得することが目的です。具体的には、以下の「管理者または開発者によって作成されるユ…

bowerを使ってangularとbootstrapのウェブアプリ開発環境を秒速で整える方法

(注:mac前提で書いています。windowsのことは良くわからないです…) 急ぐ人のために bowerとか既に入っているよ、という人は以下のコマンド(1,2)を打った後に、後ろの方についているHTML、js、cssファイルをコピーしてください。以上です。 bower install an…