数理的手法を使いやすくするためのソフトウェア開発

科学技術計算とデータサイエンスについて

機械学習エンジニア見習い

ディープラーニングを高速化したい、と言い続けていたら^1、関連部署に異動させてもらえました。それを前の上司から聞いた時には単純に喜んだのですが、今はいろいろと複雑です。仕事が進まないことに焦ったりもします。

いえ、仕事というより、その準備段階の動作テストで焦っていました。

単一ノードでGPUを使って学習させるところまでは簡単でした。ネットに情報があふれていますから、それをなぞるだけです。しかし、複数ノードではそうはいきませんでした。GPUクラスタでMPI並列を使ってディープラーニングしたというウェブ記事をなぞっても、動作しないのです。

そこで、ひたすら試行錯誤して、フレームワーク内部のコードを読んでいると、自分はまだまだ見習いだと感じます。本物の機械学習エンジニアが数カ月前に出した結果を、再現するのに一週間かかってしまいました。

機械学習エンジニアになるために学び始めた頃は^2GPUでの分散並列くらいすぐにできると思っていたのですが。。 ともあれ、基礎的なことからコツコツやっていきたいと思います。

参考

1^: 計算科学からデータ集約型科学へのワークシフト

2^: 機械学習エンジニアになるために学ぶべき5つのスキル(海外記事紹介)