生成AIの信頼性、AIで評価し結果公表…総務省が基盤システム開発方針

総務省は生成AI(人工知能)の信頼性を評価する基盤システムを開発する方針を固めた。AIが差別表現や偏向した回答をしていないか、複数の評価用AIで確認する。評価結果は、指標などの形で公表し、利用者がどの生成AIを使うかを決める際の参考にしてもらう計画だ。
来春にも総務省所管の国立研究開発法人・情報通信研究機構(NICT)で開発を始め、2026年度中の試作モデル提供を目指す。
複数のAIが様々な質問を自動的に生成して評価対象となるAIに回答を求め、その内容を確認する。人間による定期監査を行い、評価用AIが正しく機能しているかを点検する。
総務省は、生成AIの回答を評価する基準として〈1〉差別的な表現やプライバシー情報がないか〈2〉犯罪につながる内容がないか〈3〉誤情報や根拠を欠くものがないか〈4〉バランスの取れた内容か〈5〉日本の文化に忠実な内容か〈6〉人を欺いていないか〈7〉未知のリスクに対応できるか――の7項目を想定している。
評価基準は今後、日本の主導で先進7か国(G7)が合意した国際ルール「広島AIプロセス」などを踏まえ、社会学者や法学者らが参加する会議で詳細を検討する。 国内では、中国や米国など海外製AIの利用が広がっている。ただ、中国製AIが領土問題などで自国の主張を回答する事例があるほか、英語データを多く学習しているAIは欧米の価値観に基づいた回答を出す傾向があるとの指摘もある。 このため総務省は、日本の基準で「信頼できるAI」を示し、企業や行政機関が優先的に利用するよう促す必要があると判断した。 将来、AIの安全性確保を担う政府系機関「AIセーフティ・インスティテュート」の評価システムとして活用することも想定している。 また、AIを評価する中で、日本企業が開発したAIの問題が浮き彫りになれば、NICTが補強データを生成して開発元に提供して開発を後押しすることなども検討する。
リンク
https://news.yahoo.co.jp/articles/959321f3a702c678179bd0489e39fb04c54cdae8br />
コメント
総務省は、生成AIの回答を評価する基準として〈1〉差別的な表現やプライバシー情報がないか〈2〉犯罪につながる内容がないか〈3〉誤情報や根拠を欠くものがないか〈4〉バランスの取れた内容か〈5〉日本の文化に忠実な内容か〈6〉人を欺いていないか〈7〉未知のリスクに対応できるか――の7項目を想定している。
評価基準は今後、日本の主導で先進7か国(G7)が合意した国際ルール「広島AIプロセス」などを踏まえ、社会学者や法学者らが参加する会議で詳細を検討する。 国内では、中国や米国など海外製AIの利用が広がっている。ただ、中国製AIが領土問題などで自国の主張を回答する事例があるほか、英語データを多く学習しているAIは欧米の価値観に基づいた回答を出す傾向があるとの指摘もある。 このため総務省は、日本の基準で「信頼できるAI」を示し、企業や行政機関が優先的に利用するよう促す必要があると判断した。 将来、AIの安全性確保を担う政府系機関「AIセーフティ・インスティテュート」の評価システムとして活用することも想定している。 また、AIを評価する中で、日本企業が開発したAIの問題が浮き彫りになれば、NICTが補強データを生成して開発元に提供して開発を後押しすることなども検討する。
リンク
https://news.yahoo.co.jp/articles/959321f3a702c678179bd0489e39fb04c54cdae8br />
コメント
1
人間の知性が失われるという意見をよく聞きますが、失われるというより変化するイメージだと思います。
2
事実か否か、そういう単純な評価を下すことには長けていると思うが、人間の倫理道徳観が絡むと一気に信頼性が危うくなる。
3
AIでも良い時あるけど、かなり悪い時が多すぎる。
4
AIというのは広範囲なものを指すことのできる曖昧な言葉でもある。
5
AIも中立的な考えかと思いきや、意外と国よりな考えだったり。質問の仕方によっては真逆の答えだったりと、かなり信ぴょう性がなく危険だと感じています
6
AIの基本原理は「ネットの情報の切り貼り」
7
生成AIの違いはどんなデータを使って回答しているかによる違いである。従ってデータ量が多ければ比較的正しい回答が返ってくる。
8
評価AI自体も人が理解不可能なブラックボックス、出力の根拠は人間が直接理解できない。
9
生成AIは確かに便利だが、それを使い判断するのは「人」
10
AIなんて結局は人が作ったものだから完璧なものは作れないでしょう
人間の知性が失われるという意見をよく聞きますが、失われるというより変化するイメージだと思います。
2
事実か否か、そういう単純な評価を下すことには長けていると思うが、人間の倫理道徳観が絡むと一気に信頼性が危うくなる。
3
AIでも良い時あるけど、かなり悪い時が多すぎる。
4
AIというのは広範囲なものを指すことのできる曖昧な言葉でもある。
5
AIも中立的な考えかと思いきや、意外と国よりな考えだったり。質問の仕方によっては真逆の答えだったりと、かなり信ぴょう性がなく危険だと感じています
6
AIの基本原理は「ネットの情報の切り貼り」
7
生成AIの違いはどんなデータを使って回答しているかによる違いである。従ってデータ量が多ければ比較的正しい回答が返ってくる。
8
評価AI自体も人が理解不可能なブラックボックス、出力の根拠は人間が直接理解できない。
9
生成AIは確かに便利だが、それを使い判断するのは「人」
10
AIなんて結局は人が作ったものだから完璧なものは作れないでしょう
コメント