菊池律です。

三日坊主にならないように、三日毎に書きます。

セキュリティキャンプ2023 D-AIセキュリティクラス課題晒し

皆さんおはこんばんちは。菊池律です。

 

先日、セキュリティキャンプ2023選考通過者の発表がされ、セキュリティキャンプ2023 D-AIセキュリティクラスの選考が菊池律によって通過されました。

今回のセキュリティキャンプ(以後はキャンプって言います長いので)の規模感の把握と向学のために応募課題の回答はゼミやクラスを問わず見てみたいのですが、このブログを執筆してる段階では他の方のキャンプ'23の課題晒しが見られないため、まずは先陣を切って僕が課題晒しをしてみようという次第です。

セキュリティ・キャンプ事務局の掲載許可を得ています。

※AI関連のことに興味を持ち始めた時期にたまたまキャンプの存在を知って応募したため、力は尽くしましたが、課題の回答は恐らくアレなところがたくさんあります。

微力ながら来年以降キャンプへの応募をされる方へのお役に立てれば幸いです。また、実力を不安に思い足踏みをされてる方への後押しになれればなーとも思います。

 

 

 

回答作成時間

元々余裕を持って回答しときたいな〜と思って5月上旬の仕上がりを目処に取り組もうとしていたのですが、実際に本腰を入れて取り組んだのは締め切り10日前とかで、所要時間は合計で20時間ちょっとくらいだったと思います。

 

課題に取りくむ上で

応募課題は、AIに関連するニュースや社会問題について意見を述べるものが3問と技術的?なものが1問でした。

また、キャンプのホームページから確認できる選考上のポイントでは以下が重視されるそうなので、とにかく色々調べて回答の作成に取り組みました。

AIや機械学習の知識、理解力。モデル化の考え方に親しんでいるかどうか。未解決のサイバーセキュリティの課題に関心があるか。 そういう点を評価しますが、もちろんすべてパーフェクトである必要はありませんし、自分の今、現在地を出して頂ければと思います。また、手を動かすことに躊躇が無い方、とりあえずやってみる方を歓迎します。

色々調べたって伝わるだろうし説得力にもなるよな〜って考えて、なるべく出典や参考文献の明記をするように心がけていました。

また他クラスやゼミの応募課題を見ていただければ分かるのですが、僕が応募したAIセキュリティクラスにはあからさまに熱意とかやる気を伝えるために用意された設問がされてないように感じたので後半はお気持ち表明多めにしてアピールしときました。選考にどう作用するのか分からなかったですが、アピールしないで落ちた時に後悔することを考えたらやって落ちた方がすっきりするな〜って思ってそのまま回答にしました。

 

回答

回答内の赤字はブログ執筆時の補足です。

# 問1

偽情報(Disinformation、DeepFake)に対する様々な問題が発生しています。
以下のそれぞれの立場において、どのように解決することが考えられますか?具体的に考えてください。
(1)政府(捜査機関も含む)や国会議員
(2)小中高大(高専、専門学校も含む)の教育者
(3)国民一般

(1)政府(捜査機関も含む)や国会議員が取り組む対策
偽情報に対する様々な問題への解決に関する取り組みの中で、偽情報に対する教育的アプローチは重要な役割を果たすと考えます。政府や国会議員は、民間企業や研究機関の協力を得て、メディアリテラシー向上のための教育プログラムを作成し、学校などの教育機関やマスメディアへの提供を行うことで、正確な情報を判断するための能力や偽情報の認知度を高めることができます。
偽情報は国境を越えて拡散されることが多く、偽情報に関連する問題への対策は国際的な協力も欠かせません。政府は、国際的な調査機関や規制枠組みを整備することが求められます。また、政府はマスメディアに対しても責任を追及するべきだと思います。マスメディアは一般的に社会からの信頼性が高い情報源とされているため、真実とは異なる情報を報じることは社会に深刻な影響を与える可能性があります。そのため政府はマスメディアに対して適切な報道を促すための規制枠組みを整備することが重要です。特に、政府や政治家が偽情報を流布する行為に対しては厳格な規制が求められます。
一方、調査機関にとっても、偽情報やDeepFakeが関係する事件の捜査は困難な課題です。偽情報は情報源を特定することが難しく、個人情報やプライバシー保護、その他の観点から操作や調査自体が違法行為である場合もあるため、調査機関は適切な捜査手法を開発する必要があると思います。偽情報検出の技術の研究・開発や、調査機関内での情報共有の仕組みの整備など、調査機関には多くの課題がありますが、国家の安全保障や国民の安全を守るためにはその課題解決のアプローチを模索するべきだと思います。さらに、偽情報に関する問題に対する政府や国会議員の取り組みでは、情報の透明性を高めることも必要です。政府は公的な情報の提供を行うことで、正確な情報を国民に提供することができます。また、政府自身が情報を発信する場合には、信頼性の高い情報源からの情報提供とその情報源の開示が重要です。政府や国会議員が自己の情報提供に関して信頼性を確保することで、国民が政府の情報発信に対して信頼を持つことができます。
しかし、政府や国会議員が偽情報に対する解決策を打ち出すことには、限界があります。政府や国会議員の情報管理能力は限られていて、偽情報が拡散されることを完全に防ぐことは難しいです。そのため、国民自身が情報を正確に判断する能力を身につけることが重要です。民間企業や研究機関と協力して、メディアリテラシー向上のための教育プログラムを作成することで、国民が正確な情報を判断する能力を身につけることができます。
一方、SNS企業に対しても、偽情報に関する問題に取り組むよう促す必要があります。SNS上での情報の拡散が急速に進んでいることから、SNS企業が偽情報の拡散防止に積極的に取り組まなくてはいけません。SNS企業は偽情報を拡散するアカウントや投稿を特定し、削除することで、偽情報の拡散を防止することができます。また、偽情報の拡散を防止するためには、SNS企業が情報提供元の情報の信頼性を検証し、信頼性の低い情報提供元からの情報の拡散を抑制することも必要です。
SNS企業が偽情報の拡散防止に取り組むことで、偽情報の拡散を初期段階で防止することができますが、SNS企業が自主的に偽情報の拡散防止に取り組むことには限界があり、常に積極的な姿勢で取り組んでくれるとも限りません。そのため、偽情報拡散防止の活動に取り組んだ企業に対して国が拡散防止活動への金銭支援を行うなど、政府による活動促進が重要となります。また、政府や国会議員が偽情報に対する取り組みを推進する際には、その対象となる情報や表現に関する制限が言論の自由を制限することになるため、言論の自由をバランス良く保つことが求められ、そのためには、法的、倫理的にも妥当な範囲内で対策を講じる必要があります。
DeepFake技術に対しても、政府や国会議員は対策を検討しなくてはいけません。特に、選挙などの政治的な場面でのDeepFakeが問題視されています。政治家の発言や行動がDeepFakeによって改ざんされ、選挙の結果に影響を与える可能性があるためです。
DeepFakeに対する対策としては、まず法的な規制が必要です。政治的な場面でのDeepFakeを作成・拡散する行為を禁止し、罰則を設けることで、犯罪行為であることを明確にすることが重要です。また、技術的な側面からも対策が欠かせません。例えば、DeepFakeを作成するために使用されるデータやアルゴリズムの流出を防ぐこと、また、DeepFakeを検出するための技術開発を進めることなどが挙げられます。
政府や国会議員が偽情報やDeepFakeに対する対策を進めることで、社会全体で正確な情報が共有されるようになり、信頼性の高い情報が増えることが期待されます。しかし、対策を進める上で民間企業や研究機関、市民団体の協力も欠かせず、そのために政府や国会議員はこれらの団体と積極的に協力し、情報の正確性や信頼性を高めるための取り組みを進めるべきです。
偽情報に対する様々な問題の解決方法について、政府や国会議員に求められる取り組みには、民間企業や研究機関の協力を得て、メディアリテラシー向上のための教育プログラムを作成し、学校などの教育機関やマスメディアへの提供を行うことで、正確な情報を判断するための能力や偽情報の認知度を高めることやSNS企業と協力し、デマ情報の削除や発信者の特定を行うことで情報発生または拡散の初期段階で情報を摘み取ることで更なる拡散を防ぐ取り組みが考えられました。それらを行うには多岐にわたる分野、企業との連携が欠かせないものであると思いました。

(2)小中高大(高専、専門学校も含む)の教育者が取り組むべき対策
情報社会が進展する現代において、インターネットを通じて広がる情報の信憑性を見極めることはますます重要になっています。そのため、教育者は情報リテラシー教育を通じて、生徒や学生が偽情報に惑わされることがないようにする責任を持ちます。
このような教育を行うことで、生徒や学生たちは、偽情報を見分けるためのスキルを身につけることができます。教育者は、生徒たちが信頼できる情報源を見つける方法を示し、検証済みの情報を探すための手法を教えることができ、もしもそれが拡散された場合には、その情報を安易に信じないように勧める必要があります。
さらに、ディープフェイクに関する知識も重要です。教育者は、生徒や学生たちがこの技術を理解し、それが偽情報の拡散にどのように関連するかを知るようについて指導する必要があります。
教育者は、生徒たちに社会的責任を持つことの大切さを教えなくてはいけません。偽情報を拡散することが、社会に与える悪影響について正しく理解し、生徒に伝えることが重要です。例えば、誤った情報が拡散されることで、人々の判断が間違った方向に影響されたり、誤った決定が下されたりすることがあります。これによって、人々の生活や社会全体に深刻な影響が及ぶことがあります。教育者は、生徒たちが情報を拡散することが社会に与える影響を理解することで、社会的責任を持つことの大切さを教えることができます。また、ディープフェイクの存在や問題点に関する知識を学ぶことで、生徒や学生は倫理的な観点からも情報発信に慎重になり、社会的な影響を考慮した判断をすることができるようになると予想されます。
教育者自身も、ディープフェイクや偽情報に関する問題について深く理解することが重要です。教師や教授の言動は学生に大きな影響を与えるため、情報リテラシーに関する知識や見極め方について正確な情報を提供しなくてはいけません。また、教育者自身が偽情報を拡散することがないように、一次情報やファクトチェックに基づいた情報発信を心がけることが重要です。
さらに、学校や教育機関自体が偽情報に関する対策を取ることも有効な対策だと思います。たとえば、学校内での情報発信に関するガイドラインやルールの策定、情報発信に関する教育プログラムの充実などが挙げられます。また、学生や教員が偽情報に遭遇した場合には、適切な相談窓口を設置し、適切なアドバイスや支援を提供することも対策として考えられます。
政府や国会議員に求められる対策でも述べた通り、情報リテラシー教育や偽情報に関する取り組みは、単に学校内での問題解決だけではなく、社会全体での取り組みが欠かせません。社会全体で情報リテラシーに関する意識を高め、偽情報に対する取り組みを進める必要があります。
教育者は、生徒や学生にAIの進歩やディープフェイク技術の危険性、AIを使った制作のメリット・デメリットについて教えるだけでなく、その教育を通じて生徒や学生が倫理的に正しい判断をすることができるようにサポートする必要があります。また、教育者自身も常に最新の知識を取り入れ、偽情報やプライバシー侵害などの問題について真剣に考え、解決策を模索することが重要です。教育者がそのような姿勢を示すことで、生徒や学生も真剣に問題に向き合い、社会的な責任を持って情報を扱うことができるようになると考えます。

(3)国民一般が取り組むべき対策
偽情報に騙されないためには、情報の信頼性を確認することが非常に重要です。情報を発信している組織や個人を調べ、その情報源が信頼できるかどうかを判断する必要があり、インターネット上には多くのファクトチェックサイトがあるため、それらを積極的に活用することが有効です。他にも情報源が専門家や信頼できるメディアであるかどうか、他の情報源との矛盾の有無、また、情報が感情的な言葉やフレーズなど主観が入り混じったものではないかどうかなど、さまざまな要素を考慮する必要があります。また、情報を共有する際には、その情報の正確性を確認することは大切です。これらの対策を行うことで、偽情報やディープフェイクに騙されることなく、正しい情報を得ることができます。さらに、自己判断力を高めることも重要です。例えば、医療に関する情報を得る場合には医療の専門家に相談すること、科学に関する情報を得る場合には、信頼できる学術誌や研究所の情報を利用することなどが例に挙げられます。分野を問わず幅広い知識や情報リテラシーを身に着けることで、情報の真偽を見極める力を磨くことができます。しかし情報を評価するスキルは、情報の種類によって異なることに注意する必要があります。たとえば、科学的な論文や報告書を評価する場合には、実験の正確性、統計的な方法の妥当性、データの信頼性などが重要になります。一方、ニュース記事や社会問題に関する情報を評価する場合には、報道機関の信頼性や取材の質、情報源の信頼性などが重要です。
しかし、情報の信頼性を確認するためには、時間や労力が必要であり、日々多くの情報が流れている中で、すべての情報を確認することは困難であって、批判的に評価できない可能性もあります。そのため、信頼できる情報源からの情報に重点を置くことも重要です。自己判断力を高めることと専門家の意見を取り入れることの二つが重要ですが、どちらかに偏った情報を収集するのは危険であり、情報源が偏向している可能性がある場合には、更に別の情報源からも情報を集め、複数の視点から情報を検討することが重要であり、信頼できる情報ソースを取得することが大切であることを忘れないように心がけることが大事だと思います。
また、偽情報やディープフェイクを発信する人々に対しても、注意する必要があります。前述したとおり、偽情報やディープフェイクによって、社会に悪影響が及ぶことがあるため、発信者には発言への責任が問われます。偽情報やディープフェイクを拡散する行為は、法律で罰せられた判例もあります。知らず知らずのうちに偽情報の拡散を行ってしまい、思いもよらない被害が生じたときに、自分自身が罰せられてしまう可能性があることを懸念しなくてはいけません。
以上のように、偽情報やディープフェイクに対処するためには、情報リテラシーのスキルを身につけることが重要だと思います。また、自分自身の行動にも注意を払い、正確な情報を共有することも大切です。これらの対策を行うことで、より正確で信頼性の高い情報を得ることができ、社会全体に健全な情報環境が生まれると思います。

 

# 問2

* 攻撃者の気持ちで以下の問に答えてください。
 顔認証システムを故意に突破したい場合、どのような戦略で攻撃シナリオを構築しますか。
 MITRE ATLAS(https://atlas.mitre.org/)などを参考にしながらお答えください。
* システム運用者の気持ちで以下の問に答えてください。
 顔認証システムを騙そうとする攻撃に対し、あなたはどのように対策をとりますか。

 

顔認証システムを故意に突破したい場合、Deepfakeを用いて対象の人物に限りなく似せた顔写真を生成し、顔認証システムを直接突破する方法が考えられます。機械学習が用いられている場合、顔認証システムの内部構造やアルゴリズムは不ブラックボックス化(正:ブラックボックス)している場合が多いためブラックボックスシステムに対しての攻撃方法について考えたいと思います。
システムが、ブラックボックスになっている場合は内部構造やアルゴリズムについて情報を持つことが出来ないため、入力と出力の関係からモデルの振る舞いを予測し、攻撃画像を生成する必要があります。その時は以下の攻撃方法が考えられます。
・シャドウモデルを用いた攻撃
シャドウモデルとはシステムに対して攻撃を行う際、効率よくブラックボックスの状態で攻撃を行うために使用するモデルです。このモデルを作成する際に重要なのが決定境界面近似です。決定境界面近似をしようとする際、攻撃対象となるAIから得られる情報は、入力データがどのクラスに分類されたかのみと仮定した時に、攻撃者は攻撃対象のAIにデータを入力し、分類された出力を取得します。これを何回か繰り返すことで入力と出力のペアを用意し、攻撃対象となるAIの入出力関係を模したシャドウモデルが作成されます。敵対的サンプルについて書かれた論文 [出典:Intriguing properties of neural networks]には
「とある学習データを学習したモデルの敵対的サンプルは、異なるデータで学習したモデルにも有効である。」
「とあるモデルの敵対的サンプルは、異なるアーキテクチャのモデルにも有効である。」と書かれています
実際に、相応の確率で誤分類を引き起こすことができるという実験結果も存在しています[出典:“Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks”]
ただし、意図したクラスに分類するような攻撃が難しいため、本来自分やその他の人物の顔写真が分類されるはずのクラスを対象の人物の顔写真が分類されるクラスに誤分類させるのが困難です。
上記の2つの論文によれば、シャドウモデルと攻撃対象のAIの学習データ分布やアーキテクチャなどが一致するとは限らないが、シャドウモデルで作成した敵対的サンプルは実際の攻撃対象に対しても有効であるという結果が得られます。この攻撃方法を用いる際に注意したいのは攻撃対象となるAIに大量のクエリを送信すると不正なアクセスとして検知される恐れがあるため、シャドウモデルを作成するために必要なデータは工夫して用意する必要があるという点です。
・勾配近似を用いた攻撃方法
通常、攻撃対象の損失関数や勾配を求めるにはモデル内部の情報が必要なので、ブラックボックスでは正確な値を取得することは困難ですが、入出力を複数回繰り返すことで勾配を近似的に得ることが可能です。ここで、勾配近似で主要な手法であるZOO(Zeroth Order Optimization)[出典:ZOO: Zeroth Order Optimization based Black-box Attacks to Deep Neural Networks without Training Substitute Models]では、敵対的損失関数を定義し、近似的に計算されたその勾配を用いることで敵対的サンプルを作成します。具体的な作成方法として、まず攻撃対象のAIモデルの入出力から、自分や他人の顔写真など入力に用いる入力データが分類されるクラス毎の確率値を取得します。ここで、対象の人物の顔写真のクラスの確率値とそれ以外のクラスのうちの最も大きな確率値を比較したときに、対象の人物の顔写真のクラスに分類される確率値がそうでないクラスの確率値を上回っていた時に、最小値をとる敵対的損失関数を定義します。近似的に計算されたこの関数の入力に対する勾配を用いて、敵対的損失関数の値が最小になるように入力に摂動を加えることで敵対的サンプルを作成し、顔認証システムの突破を試みます。
・進化アルゴリズムを用いた攻撃方法
進化アルゴリズムを用いた攻撃は、遺伝的アルゴリズムや粒子群最適化といった最適化手法を利用して、敵対的サンプルを生成する攻撃方法です。機械学習モデルに入力する画像を最適化し、誤った出力を引き出せるように調整します。
顔認証システムに対する進化アルゴリズムによる攻撃では、敵対的サンプルを生成するための遺伝的アルゴリズムや粒子群最適化などのアルゴリズムを用いて、敵対的な画像を生成します。その後、生成された画像を顔認証システムに入力することで、システムを誤認識させることが可能だろうと推測します。
具体的に、One Pixel Attack[出典: One pixel attack for fooling deep neural networks ]は進化行うゴリズム(正:進化アルゴリズム)を活用した敵対的サンプルの作成方法の事例です。今までに挙げた手法は画像全体に摂動を加え、顔認証システムに誤分類を起こさせる試みをしていましたが、One Pixel Attack では画像の1ピクセル、または極めて少数のピクセルに対してのみ摂動を加えることでAIに誤分類を起こすことが可能です。 ZOOと同様にOne Pixel Attack を用いた攻撃の対象となるAIから得られた情報から、入力データが分類されるクラス毎の確率値を取得します。ここで、誤分類させたいクラスの確率値が最大になるように、差分進化法を用いて、ピクセルに対して加える摂動の程度を最適化します。
この進化アルゴリズムを用いた攻撃方法のデメリットとしては、攻撃に必要な時間や計算が多いことが挙げられます。進化アルゴリズムは、多数の個体を生成してそれぞれの評価を行う必要があります。また、敵対的サンプルを生成する際には、多数の反復が必要となります。さらに、顔認証システムが高速に動作する場合、攻撃の速度が追いつかないといった懸念点が存在します。
これから機械学習の技術が進展すれば、ブラックボックスシステムよりもホワイトボックスシステムは増加するだろうと予想できます。現在AIモデルはブラックボックス化されていることが多く、これはAI分野に限らずあらゆるテクノロジーでそういうシステムだろうし、中身のプロセスについて深く知る必要がないのはAIシステムの普及にとって追い風だろうと思っています。例えば自動車に実装されているコンピューター制御が進んだおかげで故障個所の特定や整備は格段に楽になっています。しかしブラックボックスシステムは、内部の動作が不透明であるため、問題が発生した場合に原因を特定することがホワイトボックスシステムと比較した時に困難です。ホワイトボックスシステムが導入されるようになれば、問題が発生した場合でも迅速に対応することができます。特に金融業界や医療業界など、人命や社会情勢に直接関わるようなシステムの透明性や信頼性が求められる分野ではAIのホワイトボックスシステム化は求められると思います。機械学習技術が進歩すれば、ホワイトボックスシステムに近い透明性を持つシステムの開発が進むのではないかと思います。 AIモデルは構造上、予測や判定に至るまでの処理が複雑なので内部のプロセスを理解するのは難しいかもしれませんが、もし出来ればAIシステムの社会実装は格段に進むことが期待されます。
以上の理由が、ホワイトボックスシステムの増加に繋がるのではないかと考えました。
ホワイトボックスシステムが採用されている場合は、 Szededyらにより提唱されたL-BFGS[出典: Intriguing properties of neural networks]を用いた損失関数を目的関数とした最適化手法や、勾配ベクトルを取得して敵対的サンプルを作成する攻撃方法などが考えられます。
その他にも、訓練フェーズにおいて、汚染された画像を用いることで推論フェーズである入力に対して誤った出力を引き起こすポイズニングも考えられます。しかし、訓練フェーズで推論性能が上がらず、人間にきづかれやすいため、実環境でのみ誤った出力がされるまたは、特定の入力に対してのみ誤った出力を行うようにするなど巧妙な汚染方法を探ることでより効果的な攻撃方法になると思います。
顔認証システムを突破しようとする攻撃に対しての対策ですが、現在ではあらゆる攻撃に対して有効とされる対策は発見されていないため、顔認証システムにAIシステムを導入したエンジニアやサービス提供者が攻撃に対して適宜迅速に対策を講じる必要があると思います。
前述した攻撃手段に用いられている敵対的サンプルを用いた攻撃への対策として攻撃検知とモデル自体のロバスト化が考えられます。攻撃検知の手法としては、複数のモデルを用いて出力の結果を比べる方法、ほかの顔写真のデータとの分布の違いを見る方法などが考えられます。また、ロバスト化の方法としては入力された顔写真など入力データにぼかしやノイズを入れて情報を欠落する方法や微分不可能な関数やランダム性を導入して勾配を取得できなくする方法、訓練フェーズで敵対的サンプルを訓練データに含める方法 Adversarial Training [出典: Explaining and harnessing adversarial examples.]や複数モデルのアンサンブルの導入などが考えられます。しかし攻撃を十分に防げないものや、特定のタスクやデータに効果が限定されることも多く、また敵対的サンプルを含めて学習したAIは過学習する恐れがあり、AIの推論精度の低下やデータに偏りがあった場合はAIにバックドアが設置され思わぬ挙動を起こす可能性があります。実際に2017年には10種類の攻撃検知の方法への検証を行ったところ既知の攻撃に対しては一定の効果を示したものの、検知手法を知ったうえで行う攻撃を実行したところ、既知の攻撃方法よりも検知能力が低くなることを示した論文も存在します。[出典: Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods]
また、比較的新しい防御手段として Certified Adversarial Robustnessが考えられます。これはシステムに入力されたデータに対してl_pノルム近傍内の摂動では分類されるクラスが変動しないことを保証するというものです。実装においてはモンテカルロ法を用いた近似を行うので敵対的な摂動を見逃してしまう恐れがありますが、更に研究が進めば、実装に期待できる技術であると思います。[出典:Certified Adversarial Robustness via Randomized Smoothing]
AIシステムへの攻撃を防ぐ以外にも顔認証システムへの攻撃への対策は考えられます。
前述した通り、攻撃者は偽画像や敵対的サンプルを用いた画像を使用してシステムにログインすることで顔認証システムを突破しようとすると予想されます。システム運用者は、複雑なパスワードや指紋や虹彩といった生体認証などの強力な認証方式を採用することで、システムを突破することを防ぐことができます。また、画像以外にスマホやパソコンなど各デバイスに備え付けられたカメラを用いていろいろな角度から顔を認識するシステムを導入したログイン方法も考えられます。その他、システム運用者はセキュリティ監視の強化を図り、異常なアクセスを検知する必要があります。また、システムの脆弱性が攻撃者に悪用されることがあるため、システム運用者は、システムの定期的なアップデートを行い、セキュリティの脆弱性を最小限に抑えることが欠かせません。

 

# 問3

生成系AI(Generative AI)の普及は社会にとって有用な反面、悪用されることも想定されます。
生成系AIが悪用された際に生じ得る問題を述べてください。
また、その問題に対してあなたはどのような対策をとりますか。

 

生成系AIを用いれば、利用者の意図する画像を容易に作り出すことができますが、悪意を持った画像を生成が(ここいらん)生成されることで偽情報やフェイクコンテンツが大量に生成される可能性も存在します。これにより誤った情報が拡散され、社会的な混乱や信頼の失墜が起こる恐れがあります。インターネット上では国内外問わず政治家の画像がAIによって生成されています。例えばTwitter上では架空の女性政治家のセンシティブ画像をツイートするアカウントも存在しています。最近もスペインの友人が実際に騙されていました。元々存在する画像を加工する手法や過去に用いられた情報を再利用して報じられるフェイクニュースとは異なり、ソース元を確認するのが難しいため情報の真偽を確かめるのが困難です。実際に騙された友人も「自国ならばまだしも、日本の政治家について調べる方法が分からなかった」と言っていたので海外の人物や出来事をモデルにしたものの判断は更に難しいものだと思われます。その他にもAIによって作り出された声や文章、画像を用いて詐欺行為が増加する可能性があります。生成系AIが更に普及すれば、一般国民が自分で用意したデータセットを使ってAIを利用したりAIを1から作ったりする時代が来るだろうと見込んでいます。そのような時代に移行する途中で必ず、悪意ある人や団体がデータセットの収集を名目に個人情報や企業秘密などの詐取を行うことが考えられます。
偽情報やフェイクコンテンツの拡散防止や生成AIに関する詐欺行為から身を守るにはインターネット上の情報を妄信せず、必ず根拠や裏付けを確認するようにし、個人情報や機密情報はAIモデルに入力しないよう心掛けることが重要だと考えます。しかし、個人ができる対策には限界がある上に、悪意を持って生成系AIを利用した人によってもたらされた情報が減らなければ問題の根本的な解決には繋がらないと考えます。そのためには各ソーシャルメディアプラットフォームが、根拠が確かでない情報を検知できる技術やフィルタリングツールを導入する他、生成AIに関するガイドラインを制定するなど、ユーザーが快適に利用できる環境を整える必要があります。
また、生成AIの利用に関して著作権侵害の問題も議論になっています。内閣府文化庁など関係省庁で検討する「AI戦略チーム」の会合内容によれば、 現在の日本の著作権では既存のデータや著作物を学習段階で利用するのは法律違反になりませんがAIが生成したデータが当該著作物と同一または類似している場合は著作権侵害に当たる可能性があるとの方針が明らかになっています。日本ディープラーニング協会の生成AIの利用ガイドラインでは、上記の内容に加えて商標や意匠として登録されているロゴ・デザイン、著名人の顔写真や氏名の権利侵害も同様であると考えられています。
生成物の権利侵害は従来の著作物と同様に類似性と依拠性を元に判断するという日本政府の回答からは、「AIは人より学習が早いから規制するべき」や「AIは著作権やオリジナリティを侵害するから規制するべき」といった意見は、間違っているまたは現行法で対応可能な問題であるということが分かります。
実際スマホで手軽にきれいな景色や人物写真を撮影できるようになった現代においても人が描いた風景画や人物画に価値は見出されていて、表現のための技術は写真家と芸術家または同業者同士でも競い合って高められています。
私もイラスト制作を趣味にしていて、もしオリジナリティが失われることがあればそれは恐ろしいことです。しかし現代では私の作品や絵柄に価値を見出し憧れを持ち、模倣やオマージュをする人はいないだろうし死んだ後も現れることはないだろうと思います。そう考えると独創性が失われるよりも悲しくなります。そのため私の作品がAIに学習されれば、自分が死んだ後も自分の技術を模倣した作品に価値を見出す人が現れるかもしれないと思って積極的にSNS上に作品を公開するようにしていますし、それがどのように利用されても問題ないという考えです。
技術革新は人間が生まれてから幾度も起きてきました。どの時代においても出発点は人の手で起こされその過程にも人間が関わっています。そうして出来た技術によって生み出されたものも人の手によって世に出されます。これはAI生成であっても変わらず、生成AIも現状は人と変わらないものであると考えています。

 

# 問4

AIシステム(機械学習、深層学習など)を社会に実装していくとき、どのような課題があると考えますか?

 

まず個人的な話になってしまいますが私がAIに興味を持ったのは、アニメーション制作にAIを用いてアニメーション制作のDX化が出来れば日本のアニメーション産業は今よりもっと成長するだろうと考えたからです。そしてそれが現在の目標です。日本で制作されるアニメは素晴らしいものです。しかし日本のアニメ業界ではアニメーターの人材不足が嘆かれています。そのため直接アニメ制作に携わることで人材不足の解消を試みることで私の好きなシリーズ作品がもっと長く続いて、もっと良い作品になって色んな人から評価してもらいたいという思いがありました。ただアニメ界の人材不足というのは私一人の力では根本的に解消されるものではないのではないかという問題に同時に気が付き、AIを用いたアニメ制作のDX化が思いつきました。ただアニメーション制作の現場にAIシステムを導入するためには量も質も足りていないのが現状です。例えば少数のアニメ会社が集まって収集された作画や背景美術のデータセットを学習させたAIが作品の制作に役に立つかは少し怪しいと思います。そのためアニメーション制作の手助けとなるAIが実装されるためには日本中のアニメ制作会社が集まってAIの開発に携わる必要があると思います。「ノウハウや技術がオリジナルのものでなくなってしまって作品の個性が失われる」「アニメ制作に携わるクリエイターは不要になってしまう」という批判もあるかもしれません。しかし現在日本で制作されているアニメ作品の個性はその程度で失われるものではないし、作品の根幹の個性が重要になればクリエイターの能力は当然必要になるし、AIとの分業化によってその能力はもっと生かされると思っています。
日本のアニメ会社が集まって出来たAIはきっと日本のアニメ産業の発展に貢献してくれるだろうと考えています。これは産業は違えどアニメ産業に限らずどの産業にも言えることだと思います。
この問いを含め応募課題への回答を作成することが、私の「AIを用いたアニメ制作のDX化」を実現しようとする時の課題を見つけることに繋がり、成長に結びつくと思ってこの課題に取り組みました。
さて、AIシステムを社会に実装していくときの課題として、3つの課題が存在すると考えました。
1つ目はデータの収集です。
現在の日本にはAIの学習のような高度なデータ活用に有効なデータは少なく、その理由はデータ収集の規模の小ささや、個人情報を企業や組織に提供することへの不安であると考えます。またデータ収集の規模が小さければ偏りの生じたデータセットになる可能性もあります。そこで、国民の個人情報を提供することへの信頼性の低さを解消するにはデータを提供することによって生じるメリットを伝えることが重要であると思いました。たとえばAIシステムの社会実装が進んでいる中国では信用スコアというものが導入されています。信用スコアでは、信用情報よりも複雑な個人データを大量に収集し、AIが解析することによって、信用力を可視化することで、信用が重要となる融資や分割払いの限度額の引き上げのための判断に活用されています。
日本でも中国と同じようにデータと引き換えに得られる利便性や利益を国民やシステム利用者に伝えることが、分野を問わず利用者からのデータ提供の促進に非常に重要になってくると思います。
また、AIシステムを用いたサービスの具体的な説明を行うことも国民やサービス利用者からの信頼を得るのに欠かせません。私は新しく導入された仕組みへの信頼は、たった一度失敗するだけで大きく下がってしまうものだと考えています。そのためにも「極力失敗を起こさないシステムづくり」と「万が一予測が失敗した時の行動について整理しておく」ことが欠かせません。AIシステムの意思決定プロセスがブラックボックス化されている場合は予測が失敗した時はその結果や意思決定の根拠を説明することが困難になっているためセキュリティに注意を払ったうえで、透明性の確保に努め、AIのシステムを理解して信頼できるようにする取り組みをすることが求められます。
そうして得たデータの個人情報とプライバシー保護も重要です。データの収集、保存、共有において漏洩がないように法的な要件と倫理的な規範を遵守する必要があります。
また、機械学習に用いられるデータセットを収集の段階で暗号化しておけば、データ漏洩時のリスクを減らすことが可能になるため、プライバシーの保護に繋がると考えました。モデルに暗号化したままデータを処理する方法を用いればデータを処理するプロセスにおいても、個人情報を閲覧される心配がなく、システムの安全性を保証することに繋がるのではないかと考えました。
更に、AIシステムが世界共通の問題を解決しようとするとき、社会に利益をもたらすためには、国境を越えたデータ転移の障壁を越えなくてはいけないため、DFFTの具体化も政府が早急に取り掛かる必要がある課題です。G7広島サミットでは岸田総理がサミット参加国に国際的な枠組みの早期設立の協力を得たい旨を伝えた他に日本も貢献していく旨を述べたため、国内だけでなく、国際的な動向に注目していきたいです。
2つ目の課題はAIが取り組むべき問題と本質的に取り組むべき問題との乖離です。
AIは大量のデータを処理し、特定のタスクや問題に関して高い精度を示すことができます。しかし、AIが解くべき問題と人間やその他のシステムが解くべき問題は必ずしも同じでない場合があります。
AIシステムは、主にデータや規則に基づいて予測や意思決定を行うのに対して、人間は経験、知識、倫理、感情など、さまざまな要素を総合的に考慮しながら問題に取り組むことができます。例えば、心理カウンセリングの場合、AIは大量の医療データや患者の言語的要素を元に問題を予測することができますが、個人の背景や人生経験、信念、価値観なども大きく影響してきます。また、倫理的な判断や道徳的な問題については、AIが直接的に解決することは難しいです。
AIが高い予測精度を示す一方で、問題の本質や人間の価値観、倫理的な要素を十分に考慮できない場合があります。
この問題に対処するためには、AIの開発と導入、運用において人間のエキスパートや専門家との緊密な連携が必要です。人間の持つ専門知識や判断力を活かしながら、AIの能力を補完し、社会的な視点や倫理的な観点を考慮することが重要です。また、AIの利用範囲や制約について公的な議論や規制の整備も必要です。AIが社会に貢献するためには、技術の発展だけでなく、人間との協調や社会的な目的を重視したアプローチが不可欠であり、時にはAIシステム以外の解決方法を模索することが大切です。
3つ目は 人材とコスト不足です。AIシステムの導入にはAIシステム開発に欠かせないデータ収集とそれを扱うデータサイエンティストと設計、開発、運用を行うエンジニア以外にもビジネス知識やドメイン知識を持つ人材も必要です。
AIシステムの設計と開発には、機械学習や深層学習などの専門知識を持つエンジニアが求められます。彼らはアルゴリズムの選択やモデルの構築、データの前処理などを行います。しかし、AIシステムは単なる技術的なツールではありません。ビジネスのニーズや戦略に合致するシステムを構築するためには、ビジネス知識や戦略的な視点を持つ人材も必要となります。AIの適用領域やビジネス上の課題を理解し、AIシステムの導入を組織全体の目標と結びつける役割を果たすことが必要です。
さらに、特定のドメインにおける専門知識も不可欠です。例えば、医療領域でのAIシステムの導入では、医師や看護師など医療従事者との協力が欠かせません。AIシステムの適用範囲や倫理的な問題についての調査と研究を行い、実際の現場での適用をサポートしてくれます。
しかしながら、現在のAIシステム導入に必要な人材の供給は需要を満たすには十分ではありません。AI技術の急速な進化に追いつく専門家と実環境へのスムーズな導入に必要な不足しているのが現状です。この人材不足を解決するためには、教育とトレーニングの改善が必要です。AIに関連するカリキュラムやプログラムの充実に加えて、大学や研究機関におけるAI教育の強化が求められます。さらに、企業や組織におけるAI技術者の育成プログラムやトレーニングの実施も重要です。
また、異なる専門分野の人材との協力を強化することも必要です。AIシステムの導入は単なる技術的な取り組みに留まらず、ビジネスや医療などの領域における専門家との密な連携が不可欠です。データサイエンス、ビジネスなどの分野ごとの専門知識を持ったメンバーと実環境での開発の能力に長けたメンバー内でもコミュニケーションをスムーズにするためにも各チームにコミュニケーション促進のための通訳が必要です。
異なる専門分野の人々が相互に学び合い、協力し合うことで、AIシステムの開発や運用における多角的な視点が得られます。
更に人材の多様性も重要な要素だと思います。AIシステムの設計と開発に携わる人材は、多様なバックグラウンドや視点を持つことが求められます。異なる文化、性別、民族、能力などの多様性がチームに組み込まれることで、より創造的で包括的なAIシステムが実現できるでしょう。また、設計や開発に携わる人の柔軟性も重要です。AI技術の進化が速いため、常に新しいスキルや知識の習得が求められます。AIの設計・開発・実装に携わる人材は学び続ける必要があるため、モチベーションの維持が必要であると考えます。
またAIシステムの導入には、開発やデータ収集、ハードウェアの導入など多くの費用がかかります。特に大規模なAIシステムの場合、膨大なデータセットや高性能なハードウェアが必要となるため、コストが増大します。更にAIシステムの運用にも人材や設備の維持費がかかります。これらのコストは企業や組織にとって重要な要素となります。
AIシステムのコストを管理するためには、効率的なリソースの活用と予算の適切な配分が必要です。データセットの収集や整備には時間と費用がかかるため、データの質と量を最適化することが重要です。また、クラウドサービスやオープンソースのツールを活用することで、開発や運用コストを削減することも可能だと思います。
さらに、AIシステムのROI(投資収益率)を評価することも重要です。AIシステムの導入には、コストだけでなく、効果や利益も考慮する必要があります。ROIを高めるためには、AIシステムが解決する課題や目標に対してどれだけ効果的かを評価し、ビジネス価値を最大化するような活用方法を見つける必要があります。
コストの課題を解決するためには、効果的な予算計画やリソース管理が不可欠です。予算配分の際には、開発コスト、データ収集と整備、ハードウェア導入、人材の育成と維持費などを考慮し、バランスの取れたアプローチを取る必要があります。また、新たな技術やサービスの進歩に目を向け、コスト削減のための手段を探ることも重要ですし、時にはシステムの実装を断念しなくてはいけなくなる場合もあるかもしれません。人材やコストを投資したAIモデルが運用に失敗しないためにも、実装前にA/Bテストや統計学を用いた推論を行いモデルの性能とビジネスへの貢献度の因果関係を可視化することが重要だと思います。
人材不足は教育とトレーニングの改善、異なる専門分野の連携強化、人材の多様性と柔軟性の補強。コスト不足は予算の適切な配分と効率的なリソース活用、ROIの評価などの他、コスト削減の手段を模索することが重要だと考えました。人材、コスト不足はシステム実装の上で大きな課題となりますが統括的な取り組みによって克服することができると思いました。
総括し、AIシステムを社会に実装しようとする時、「その問題を解決することで誰が何故喜ぶのか。」「問題解決のためにどんなAIを何故使うのか。」「そのAIの開発に有効なデータセットはどう収集し、どう扱うのか。」「人材やコストの不足はないか。」を考えることが社会に貢献できるAIの設計に大切だと思いました。

 

回答を作成してみて

回答を提出した後に締め切りまで何回も訂正してたつもりだったのですが、見返すたびに「日本語下手すぎるだろ」「ほんとにこの用語の使い方あってんのか?」「お気持ち表明ですか」って思ってました!

回答作成時はセキュリティどころかIT関連の知識が人並み未満でした。わかりやすいのが問3の回答だと思います。

悪意ある人や団体がデータセットの収集を名目に個人情報や企業秘密などの詐取を行うことが考えられます。

これ、ソーシャルエンジニアリングですよね。まるで画期的な手法を考えたみたいな書き方をしてます。締め切り後にFEの勉強をしていて気がつきました。

たまたまそう書かなくても違和感がない構成になっていて良かったです。

問2の回答も論文とかサイトをたくさん漁って、自分なりの解釈をした上で作成したので恐らく間違ってるところがあります。

他にも技術的な知識に限らず間違ってるところを列挙したらきりきり舞々です。

そんな僕のことを選考に通過させてくださり本当にありがたいと思っていますし、そんななので実感がほわわ〜になってます。

当日までには最低限の知識をつけた上で参加したいと思います。

 

まとめ

他の人がどんな回答をしたのかわからないのですが、きっと僕のはかなりアレです。

「こんなやつでも受かるんだ!」って思ってもらえたら嬉しいですが逆に「こんなやつでも受かるならそんなレベル高くないの...?」になったら嫌なので他の方もぜひ晒してください。そうしてくれたら僕はとても嬉しいです。

 

「自分には実力が...」みたいに思ってる人の考えも、前提知識があった方が良い勉強会になるよな〜っていう点においては同意できます。

実際僕も、キャンプを知る→応募になるまでは知識がない状態でキャンプに向かうのは不安に思っていました。数回しかない機会なわけだしそれをドブに捨てることになったらすごく嫌だなと思います。ただ当日は講師やチューターの方が色々教えてくださると知ってから、分からなければ頼ればいいかあ😄になりました。

 

他にも課題以外にこういうの知りたいよ〜とか気になることがあったら僕のTwitterとかにDMでもなんでも気軽に連絡ください。

 

稚拙な課題晒しブログでしたが、最後まで読んでくださりありがとうございます。たくさんお勉強させてもらおうと思います。よろしくお願いします。