修行の場

知人が言っていました。これは修行だと。

hyper sklearnについて調査した

ライブラリの機能

sklearnのモデル選択、ハイパーパラメータチューニングにhyperoptを使うためのライブラリです。 いちおうぺーぱーらしきものは出ています。

my take

このライブラリのコントリビューションは、 scikit-learn用のパラメータ探索空間を定義したことです。 パラメータ探索空間はconfiguration spaceの部分空間です。

活用方法としては、 そのまま使いつつhyperopt sklearnの探索空間を参考にして、 自前の探索空間を定義してそちらでもhyperoptで探索する。 結果的に良かったものを使う。という流れになると思います。

もしくはデータさえ増えればディープネットが使える見込みがある問題で モデル自体の解釈をしなくていい場合ならば 将来的にディープネットに置き換えられるので 性能差は少ないのでグリッドサーチとか簡単なものを使えばいい気もします。 どれ使っても変わらないでしょうね。

しかも、20 newsgroupsでも最適解にたどり着くのに、 2400evalかかっています。 ざっくりした性能のものをすぐに作りたいと行った場合は、

まとめると、

  • 問題によっては1日回す覚悟で
    • 少ないエポックで試して並列で長いエポックで試したものも作り置き換えるとか
  • SVMとか古典的なモデルで十分な性能が達成できそうで作り込んでいくのなら使ってもいいかも
  • ディープネット使うのならぶん回して、並列でグリッドサーチ。適当に良かったのを使い、最終的にDNNで置き換えるとか

使いどころが難しそうなライブラリですね。