私の正面が染谷さんで奥が原島さん

■　クックパッド社におけるAIの活用について

○ 柿沼（以下「柿」）：　クックパッドとAIの組み合わせというと、特にクックパッドのユーザー層の方からすると、割と意外なところもあるんじゃないかなと思います。実際、今のクックパッド社でAIを利用した技術が実用化されているのはどういう部分でしょうか。
○　染谷（以下「染」）：まず、１つ実際に提供しているのが、クックパッドのスマホ用アプリケーション機能の一つである「料理きろく」ですね。AIという言葉の使い方はいろいろだと思いますけど、この「料理きろく」では、ユーザーのスマホ内に保存されている写真が料理写真かどうかを自動で判別して料理写真だけがカレンダー表示などされるという機能です。

「料理きろく」の画面

○ 柿　撮影さえすれば、自動的にそこに表示されるということですね。
○ 染　そうです。ニューラルネット技術を使ったエンジンがその裏で動いてるというところで。
○ 柿　アプリ内にエンジンが入ってるんですか。
○ 染　いいえ、うちのサーバーにエンジンが置いてあって、アプリケーションはユーザーのスマホ内の写真をサーバーに送って結果だけをもう一度返すという仕組みです。
○ 柿　いつぐらいにリリースされた機能ですか。
○ 染　最初のリリースは、2016年12月からです。
○ 柿　リリース後、途中でサーバー上のモデルの追加学習・更新は行っているのでしょうか。
○ 染　それはやっています。ただ、たとえばニュースの分類モデルなんかだと、モデルを毎日更新したりするのですが、うちの今のアプリケーションではそれほど高頻度に更新はしていませんね。世の中の料理の見た目ってそうそう変わらないので。
○ 柿　なるほど。ユーザーからのフィードバックがある程度溜まれば更新するというイメージでしょうか。
○ 染　そうですね。最近そういう意見が多いので、ちょっと改善できるなら改善しようかというプロジェクトが上がって、更新して、という感じですね。これまで２回更新していて現在は３つ目のモデルが動いている状態です。

■　AIの利用場面について

インタビューはキッチンスタジオ2で行いました

○ 柿　いろいろなアプリなどを開発する場合、普通のルールベースで処理するのか、機械学習とかニューラルネットワークを使うかという振り分けをしますよね。その振り分けは、会社内部でどのような議論を経て決まるものなのでしょうか。
○ 染　つまり、例えばアプリケーションに入れるときに、それを機械学習でするかどうかですよね。
○ 柿　そうですね、例えばさっきの「料理きろく」というアプリを開発する流れですね。例えば研究開発部から「これ、機械学習でできるよ」という話だったのか、あるいは上から指示があって、機械学習でできないか、みたいな指示が研究開発部にあったかということです。
○ 染　理想的なストーリーとしては、まずサービス開発部から、こういうことをAIで実現したいという要望が研究開発部に対して出てくるというのがあります。
○ 柿　はい。
○ 染　その要望に対して、研究開発部が持っている現状の最新技術であるとか、あるいは開発中の技術で実現できそうですね、ということで開発に着手するというのが理想的です。今回の「料理きろく」についても、結構その形に近いものでしたね。
○ 柿　なるほど。
○ 染　もう少し付け加えると、サービス開発部がそういう要望を研究開発部に出してきた背景には、弊社のマクロの経営方針として、サービスに機械学習を使っていこうという話があるんです。なのでサービスに機械学習を使うという大きな方向性があった上で、サービス開発部からの要望があったということですね。

■　どうやって正確に料理・非料理を判別できるようにしたのか

○ 柿　今回、モデルの生成に際して大量の料理の写真はもちろん使いましたよね。
○ 染　はい。
○ 柿　あとは「料理っぽいけど、料理じゃない写真」も使って学習させるんですか。
○ 染　そうですね。
○ 柿　あんまり秘密なことは言わなくていいですけど。
○ 染　今、ちょっと言葉を選んでいます（笑）。やはり特定のカテゴリーについて、「料理じゃないけど料理っぽい」というものは多少あるんですよね。
○ 柿　なるほど。
○ 染　例えば植木ですとか。あれ、植物の集まりなので。
○ 柿　サラダみたいな。
○ 染　そう、サラダみたいに見えるんだろうなということは予測できるんですけど、実際はどうかわからないですが。あとは、動物が写真の真ん中にちょこんと写ってるような写真は、実は質感とか色とかが料理に何となく似てしまうことはあるんですよね。そういうのを見つけて、そういうカテゴリーが危ないよねという当たりをつけた上で、そういう写真は違うと、さらにチューニングを工夫してみて。そういったカテゴリーについては強くなったよねって実証していきます。
あと、こういう「料理っぽいけど料理じゃないものを除外できるか」という指標が１つと、もう１つ「誤って判定されたときのインパクトの大きさ」という指標があります。
○ 柿　どういう意味ですか。
○ 染　例えば、開発者がモデルの精度を計測するときって、計測用の１万枚のテストを流してみて、何％正解するかということをやるんですけど、ユーザーにとって間違って判定されると嫌なものについては重み付けを変える必要があります。
○ 柿　ああ、なるほど。単純な正解率は98％だけど、あとの２％で物すごいものが出ちゃったらまずいという話ですよね。誤認識があったときの不快なインパクトということですね。
○ 染　そう。同じ98％でもこっちのほうがいいということは絶対あるんですよね。だからその辺は難しいですね。
○ 柿　なるほど。たとえばペットが食べ物と判定されたらユーザーにとってとても嫌なんでしょうね。

・・・・・・この後も非常に興味深いインタビューが続きます。

「■　その他のAI活用場面」「■　クックパッドにおけるAI開発体制について」「■　採用活動について」「■　技術的なキャッチアップについて」「■　料理とAI」「■　開発環境」「■　データ収集とモデル生成について」などですが、少し長いので、別記事で「クックパッドAI　VS　料理好き弁護士対決～弁護士によるAI活用企業訪問記第１回～（ノーカット版）」としました。
ご興味がある方は是非そちらのノーカット版をお読み下さい。

■　いよいよ挑戦

インタビューも無事終わり、いよいよ私がクックパッドAIに挑戦する時間が近づいてきました。すこし時間はさかのぼるのですが、その部分についての私と染谷さん、原島さんとのやりとりです。

○ 柿　料理と料理でないものを認識するAIということですが、苦手な分野はどこですか。
○ 原　苦手なところで言うと、例えばサラダとかは普通の植物みたいだと間違われてしまう部分もあるので、そういったものは難しいかもしれないですね。
○ 染　難しいですね、多分。
○ 柿　一応、お電話でそうお聞きしたので、今日特別なものを準備してきております。サラダの材料と、あと鉢植えの花です！

秘密兵器である「鉢植えの花」

○ 染　（困惑した表情で）。。。。。。これは相当難しいと思いますね。
○ 原　花は相当むずい。
○ 柿　でしょうね（嬉）。赤い花ですけど。サラダは「きゅうりとトマトのナムル風」です。いや、ちょっとこれは相当難しそうだなと思いながら（嬉）。

○ 染　いや、これは。。。もしうまくいったら凄いですね。。。
○ 原　結構厳しい気がしますね。
○ 柿　そうでしょうね（嬉）。
○ 原　はい。
○ 柿　あとは、いくつか料理を作る予定で材料とかを全部準備してきました。これは似た料理ということで一応持ってきたので、よろしくお願いいたします。

（と言うわけで原島さん、染谷さんにはシステムの準備を開始していただきました。私の方も料理を開始。）

フリッタータ用ズッキーニをソテー

（約１時間の料理後。。。）

左がちらし寿司、右がポテトサラダです。
結構似ていますよね。

これも似ている同士の焼き物三連です。上から牛ステーキ、鯖のみりん干し、油揚げの焼いたの。ちなみに染谷さんは実験の後の試食で、鯖のみりん干しを人一倍食べていました。

フリッタータとチジミ。
野菜たっぷりなのでどちらもよく似ています。
あとは最大の難関であるサラダと鉢植えの花（嬉）。

全ての料理を目の前にしてにこやかな原島さんと染谷さん。

勝てる自信があるのか、単に空腹なだけか。。。

いよいよ判別です。
まずポテトサラダから。

左が元画像で、右がシステムにより処理をした画像です。いわゆるヒートマップなのですが、赤い色が濃い部分が「料理っぽい」と判定された部分でして、この処理画像を見ると見事に料理として判定されています。

次にちらし寿司とポテトサラダの比較画像。なぜかポテトサラダよりちらし寿司の方が料理っぽい」と判定されていますね。
かなり精度が高いです。強敵です。クックパッドAI。
あきらめずに次は焼き物３連。

うーん。これも、ステーキ、鯖のみりん干し、油揚げすべて料理であると判別されていますね。
これだとあまり面白くない。。。。
いや、ちょっと待って下さい！
一番下の油揚げの焼いた奴は、ちょっと料理っぽさがないと判定されています。赤い部分は、左端の添え物部分だけで、油揚げ本体については料理判定されていないような気がします！
相手の弱いところを見つけたら、そこを徹底的に攻撃するのが弁護士の仕事なので、さらに挑戦してみました。

油揚げの焼いた奴のアップ写真です。
これは無理でしょう。
いや、実際のところ、たとえば日本人以外の人がこの写真を見たら「毛布」「チャウチャウ犬の皮膚」などと判断する可能性があります。
では処理してみましょう。

ダメ！ゼンゼン！
完全に料理判定されてしまいました。
残されたのはサラダと鉢植えの花のみ。
まずサラダ。

ダメですね。
完全に料理判定されました。
最後は鉢植えの花。
これは原島さんも染谷さんも全く自信なさげだったので絶対に行けるはず！
これが元写真です。

秘密兵器である「鉢植えの花」

どうでしょうか。。。

これもダメ、全然。
まったく料理として認識されていません
この判定結果を見たクックパッドのお二人は歓声を上げて「スゴい！スゴい！」と喜んでいました。
確かにすごい。

実は、この企画、実際にクックパッドAIで判定してみて、結果があまりにダメだった場合には、この企画そのものがボツになるのではないかとドキドキしていた私も非常に安心しました。もちろん最初からクックパッドAIを信じていましたけどね。

と言うわけで、「クックパッドAI VS 料理好き弁護士」は私が完敗ということで終わりました。今度はもっと「料理っぽくない料理」を研究して挑戦したいと思います。
ちなみに、作った料理は研究開発部のお二人と私たちでは食べきれず、クックパッド社の他の社員の方にお裾分けしました。

今回の企画では、クックパッド社がAIを自社事業に非常にうまく活用していること（ちなみに今後の開発予定についても詳細にお聞きしましたが、それは秘密ということで）、染谷さんや原島さんのような優秀なエンジニアが意欲を持って仕事をすることで、IT企業であるクックパッド社を支えていることがよくわかりました。
クックパッドの皆様、ありがとうございました！
またお伺いします！

→STORIAへのお問い合わせやご相談はこちらから