信頼できるAIを目指して：倫理的かつ安全なマネジメントの考察
i-PROのエッジAIカメラは、世の中の安全安心を守っています。AIがAIを作る時代、いかに社会秩序をもってAIを倫理的に技術的にマネージしていくか？ 2025年日本国際博覧会（大阪・関西万博）テーマ事業プロデューサーの落合陽一さんと、当社CEO中尾真人が意見を交わしました。
※本記事は、対談動画をテキストにしたものです。動画はこちらをご覧ください
中尾 落合館「null2」に行ってきました。とても印象的ですね。
落合 印象的でした？
中尾 まず、自分のデジタルヒューマンを撮り、最初から未来的なものを感じました。あれこそが計算機の中の…
落合 …人工生命。あの解像度でやることが滅多にないのですが、それがあると非常に体内感があるというか。ミラードボディは、その人のAIを作るっていう考え方で、まず必要なのは声と外見と発話。その人が喋るであろう内容は、その人の個人データから得る情報から。口調とか個人データとかを使って作った文章を、その人の声で発話させるというところをある程度リアルタイムで動かす。全部がつなぎ込まれている。
中尾 あまりタイムラグを感じませんでした。
落合 めちゃくちゃ計算量が多いと思います。
中尾 あれ、全部ご自分でコーディングされたんですって？
落合 コーディングはだいたい自分で書くことが多い。
中尾 AIを使って書かれてる部分も多いんですよね。
落合 はい、AIを使って書くことは大変多い。昔は1日1,000、2,000行ぐらいしか書けなかったけど、今だったら3万～4万行書けますからね。
中尾 それはAIが手伝ってくれるから？
落合 そうですね。
中尾 もう本当に、AIがAIを作る時代になっていますね。
落合 人間はデバックしてるだけっていう。人間はバグを見つけるのが仕事なんで。
中尾 今回の落合さんのnull2館にも、実は当社のカメラを使ってもらっているんですよね。i-PROはセキュリティカメラを作っている会社で、カメラ1台1台にAIが入っています。今日、落合館で作ったデジタルヒューマンとまではいきませんけれども、ほとんどのカメラがAIを持っていて、独自に進化できるようになっている。これは言ってみれば、AIエージェントの役割を果たしていくことになります。i-PROだけでも100万台を超えるAIエージェントが既に世の中で働いているわけです。i-PROもAIを使って世の中の安全安心を守ったり…AIを使うことも、作ることもできると思う。だけれども、それを使いこなしていく難しさも感じています。たとえば、今回落合館で作ったデジタルヒューマン。私だったら私のデジタルができて、それを進化させることができるわけですよね。
落合 そうですね。
中尾 どんどん私のことを学ばせれば、私に近づいていくし、あるいは、全然違う人格を作ろうと思えばできるわけですよね。
落合 見た目は一緒なのに。
中尾 そうそうそう。現実に、それが技術的にできると言う事は、良い人が使えばいいかもしれませんが…
落合 悪い人が使えば、毎日オレオレ詐欺ができる。
中尾 そういうことですよね。どうやってこれからマネージしていけばいいのでしょう。
落合 サイバーセキュリティー上はすごく問題で、AIが作ったコードの中にセキュリティーホールがあるのはザラなんですけど、ただ、そのセキュリティホールは、人間が使っていると開くけれども、AIが使っていればあんまり開かないって言う説もあって。だから、逆に言うと、人間がシステムを扱わない方が、安全であるっていう感じが最近はしてますけどね。
中尾 AIが扱う方がサイバーセキュリティー上は安全であると？ AI同士でちょっと悪いことしようぜみたいな事はあるんですか？
落合 AI同士でやってる事はあり得ますけど、今のサイバーセキュリティーの問題は、悪いことを考えた人がAIを使って作った悪いプログラムを誰かのところで走らせるっていうのが問題で、それを人間が見つけるのが難しいので、AIが見つけた方が良いーーとなると、システムの中に人間はいない方が多分安全なんですよ。
中尾 なるほど。
落合 ただ今のAIで問題なのは、予想外の事には意外と反応できなかったり、堂々巡りになっちゃったりするので、この辺は人間が見ないといけないところはまだあるんです。ですが、早晩、ああいう系のシステムで人間を入れる方がリスクになると思う。サイバーセキュリティーをトラップかけたり、ウィルス作ったりっていうのもAIが主流なので、人間がそれに立ち向かうっていうのは結構大変なんですよね。AIを使って立ち向かわないといけない。
中尾 そんなことばっかりですよね。おっしゃる通りです。今、悪いプログラムはAIがどんどん作っているんですよね。私たちは社会を良くしようと思ってAIを活用する。そのためにいろいろプログラムを書く。当社のカメラも、AIエージェントとして世の中で安全安心を守っているつもりなんですけれども。作られた時は確かにそうです。一方で、我々がAIを進化させることができるということは、悪意を持った人間も悪くしようと思えば技術的には可能なわけで、いかにそれを防ぐかが重要なんですよね。悪い人を入らせない仕組みを作らなければいけないし、その仕組みを作るのも実はAIだったりするし、それを破るのもAIだったりする。でも、やはり社会の公器である企業は、AIを倫理的に使うという宣言をすること、そして、そこで働く人間が確実にそれを信じて実行することが極めて重要だと思います。したがって、我々は人権宣言だったり、AI倫理宣言だったり、国際規格ISO42001だったり、そういったものにちゃんと準拠してそれに基づいて行動する、そうでない人間は組織から出て行ってもらうということを、確実にまず宣言することが重要だと思っています。だから、これをどのように管理していくか。こんな絵を描いてきました。
このAIカメラたちは、工場で生まれたときには皆同じ能力ですけれども、据え付けられた場所、与えられた役割によって、どんどん賢くなったり、パフォーマンスを上げていったりしないといけない。そのためには、AIトレーナーが世の中に必要だという考えに至っております。AIトレーナーの役割は誰がやって、いかに倫理的にも技術的にも優れたマネジメントをしていくか。落合さん、何か良いアイディアありませんかね。いいアイディアがあったら提供してほしいです。
落合 上のAIはすごく賢いAIが作る。AIがAIを作る状態に今なっているので、上はAIが作り、下もAIが作ると思うんですけれど、人間としてはやっぱりサプライチェーンと取り付けの方が重要なんじゃないかな。
中尾 後はバグ取りか。(笑)
落合 バグ取り重要ですね。工場で出荷された時は一緒かもしれないけれど、中のプログラムを1個1個書けない状態が今まであったけれども、今はAIエージェントでプログラムを書くのが普通になっているので、それぞれの行動がそれぞれ自律的に変わっていくっていうのは普通になるはずなので。
中尾 でも、世の中的にはまだまだAIというと、クラウドの上に大きなモデルがあって、そこに我々がアクセスしてAIからいろいろ教えていただくというようなイメージが多い。
落合 ただ言語モデルは応答速度があまり速くないので…もちろん専用半導体を使えば速くなるし。カメラで認識するとなると、やっぱりカメラを使うところは専用半導体で駆動したほうが速い。
中尾 そうです。もう圧倒的に速いです。
落合 クラウドに入れるよりは全然いい。LLMでも小さいチップで動くのが増えてますから、多分ローカルで回していくのが1番良い。
中尾 LLM、言語系も全部こっちで動きます。
落合 オンボードでやるのがいいですよね。
中尾 そうは言っても、世の中が気づかない形でどんどん入っていくんじゃないかなぁと。
落合 そうですね。だいぶデジタルネイチャーに近づいてますよね。
中尾 どんどん進化しています。こういうことをやっていくためには、良い人材を集めて、落合さんのようなビジョンを持った人間が社会のいろんなところにいるのが必要なんだろうなぁ。
落合 そうですね。たぶん小さいチームがポイントだと思っていて、今回の（null2の）映像演出も最後に作っているのは3人くらいなんですよね。
中尾 あれだけのプログラムを3人でやっているの？
落合 もちろんアプリとか作っているチームは十何人とかいるんですけど、異常に小さいんですよ、全部のチームが。そういうことを考えると、めちゃくちゃ人間側のコストっていう意味では低く、インセンティブって意味では高いんです。どうやって最後に良いものを作るかを考えた人だけが残る気がしていて、どんなものにしたいかの見通しを持っている人の集まりが、やっぱり重要だろうと思いますね。
中尾 重要ですね。どういう社会を作りたいかというのを持った人間が集まって作業するということが重要なんでしょうね、最終的に。この落合館のメッセージは、AIがAIをどんどん作っていく世界になっていって、アミノ酸系の人間は記号を捨てるとおっしゃっていた。
落合 性別とか肩書とか年齢とか、シンボルを積み重ねるのは、コンピュータが非常に得意なので。例えば、SNSを見ても、肩書きを書いたりとか年収を書いたりとか、全部シンボルを書きまくっている。それがない状態に、もはやAIによってなってしまうだろうと。
中尾 でもAIがどんどん大きくなっていく中でも、おっしゃる通り、ごく一部の高度な専門性を持った人間がAIと一緒に技術を作っていく。そういうことなんですかね？
落合 こだわりがどのくらいあるかとかだと思うんです。妥協しなければ永遠に良いものは作れるので。そういう人が多分良いものを作るんだけど、それはプログラムにしろ、音楽にしろ、映像にしろ、論文にしろ、何でもそうですけど。でも、それをちゃんとやれるかどうかっていうと、その胆力がある人っていうのはすごく少ないですよね。
中尾 なるほど。
落合 「まぁ、これでいいか」ってみんな思うからね、大抵の人は。
中尾 落合さんは思わない？
落合 全く思わないですね。「まぁ。これでいいか」と思う事は無いですね。だって（万博）開幕してるのにまだ作ってますからね(null2のプログラムを)。でも、それってやっぱり結構重要なことで、AI時代なので、大抵のものはすぐ作れるんですけど、完成形がここでおしまいだと思った瞬間に終わっちゃうんですよね。それは結構大切なこと。
中尾 ですから、そのシンボルを積み上げていく、そういう作業はAIがやっていくと。その積み上げられた作業で、大抵の人間は満足してしまうんだけれど、ごくごく一部の人間は満足しなくて、AIに文句をつける人間が出てくると。
落合 ちょっと出てくる。
中尾 落合陽一みたいな。
落合 ずっとAIに文句言ってる。だから、人間が体使ってやれることと、頭使ってやれることのうち、頭の部分は結構AIができるんだけど、体と問題発見が人間っぽい話なんですよね
中尾 我々はカメラが生業なので。人の目で見たものは、人がどうしたらいいか判断できますよね。見たものに反応して、じゃあ次どういう行動をしようか、何を話そうかっていうのはみんなできます。それと同じことが、i-PROのカメラでも出来るようになります。その時に、やはり社会秩序を持った行動が出来るカメラにしたいと思っています。i-PRO的には今までカメラを一生懸命作ってきました。知能を持ったカメラをこれまで世に出してきたんですが、今後、もっと重要な事は、そのカメラたちを教育し訓練していく--そういう活動が必要だと考えています。それ自体を事業にしていかないといけない。もしよかったら、落合さんと落合さんの研究室の皆さんにも、いろいろお知恵をお借りしたいと思います。
落合 はい、いつでも。
中尾 今日はありがとうございました。これからもよろしくお願いします。成功を祈ってます。
落合 ありがとうございます。
落合陽一氏
メディアーティスト、筑波大学准教授、2025年日本国際博覧会（大阪・関西万博）テーマ事業プロデューサー