人工知能（ＡＩ）、ビッグデータ法務

ChatGPTと個人情報保護法Ｑ＆Ａ（LLMサービスからの出力と個人情報）

2023/05/06

杉浦健二

前回のブログ（ChatGPTにとって日本は”機械学習パラダイス”なのか～LLM（大規模言語モデル）にとっての個人情報保護法とGDPR～）では、日本の個人情報保護法は、GDPRと比べた場合、ChatGPTに代表されるLLM(Large Language Model 大規模言語モデル)を提供する側と利用するユーザー側の双方にとって対応がしやすいことを述べました。
現在のところ、日本政府は法律による厳格な規制よりもガイドラインによる柔軟な規制を目指す方向とのことですが（日本経済新聞・20230430）、いずれのアプローチをとるにしても、現在の日本の個人情報保護法が、ChatGPTに代表されるLLMにどのように適用されるのかをまず理解しておく必要があります。
本稿では、LLMサービスからの出力と個人情報保護法に関する以下のトピックについて検討します。

Q1. 個人情報が出力された場合、ユーザーは個人情報を「取得」したことになるのか
Q2. 要配慮個人情報が出力された場合、ユーザーは要配慮個人情報を「取得」したことになるのか
Q3. ある個人に関して誤情報が出力された場合、当該個人は個情法に基づいて訂正等を請求できるか

Contents

1 Q1. 個人情報が出力された場合、ユーザーは個人情報を「取得」したことになるのか
2 Q2. 要配慮個人情報が出力された場合、ユーザーは要配慮個人情報を「取得」したことになるのか
3 Q3.ある個人に関して誤情報が出力された場合、当該個人は個情法に基づいて訂正等を請求できるか
4 まとめ

Q1. 個人情報が出力された場合、ユーザーは個人情報を「取得」したことになるのか

ChatGPTなどのLLMを組み込んだアプリやサービス（以下「LLMサービス」と総称します）を利用した際に個人情報が出力された場合、LLMサービスのユーザーは個人情報を「取得」したことになるでしょうか。個人情報保護法（以下「個情法」という場合があります）上、個人情報を取得するにあたっては利用目的を特定したうえで通知又は公表（法17条、21条）する義務等が生じるため、問題となります。

単に閲覧するにすぎない場合は「取得」と解されない可能性がある

個人情報保護委員会（以下「個情委」という場合があります）のガイドライン（GL）やQ&Aは、

個人情報を含む情報がインターネット等により公にされている場合において、単にこれを閲覧するにすぎず、転記等を行わない場合は、個人情報を「取得」しているとは解されない
他方で、当該個人情報を含む情報を転記の上、検索可能な状態にしている場合や、当該情報が含まれるファイルをダウンロードしてデータベース化する場合は「取得」したものと解し得る

としています（GL通則編3-3-1、個情委Q&A4-4）。

LLMサービスを利用するにあたって、個人情報を含む情報が出力結果として表示されているにすぎない場合は、上記の「単にこれを閲覧するにすぎず、転記等を行わない場合」と同様と評価して、個人情報の「取得」にあたらないと整理することが可能と考えます¹。

「個人情報」の範囲には留意する必要がある

なお個情法における個人情報とは、生存する個人に関する情報のうち、①その情報に含まれる「氏名、生年月日その他の記述等」によって特定の個人を識別することができる情報（他の情報と容易に照合することで特定個人を識別できる情報を含む）および②個人識別符号を含む情報を指します（法2条1項）。つまり「氏名、生年月日その他の記述等」といった特定個人を識別できる部分のみが個人情報にあたるのではなく、これらの部分を含む情報全体が個人情報にあたります。

ChatGPTにおける出力においても、氏名や生年月日の部分のみではなく、これらの情報を含む情報全体が、個情法における個人情報にあたります²。

ChatGPTにおける出力より引用（抜粋）

個情法上、「他の情報と容易に照合することで特定個人を識別できる情報（容易照合性がある情報）」も個人情報にあたる点がポイントで、LLMサービスから出力された情報のみでは一般人基準で特定の個人を識別することはできないけれども、当該LLMユーザーにとっては他の情報と容易に照合して特定個人を識別できる場合、当該出力は当該LLMユーザーにとって個人情報にあたります。
たとえば自社の顧客情報（顧客IDを含む顧客データ）をLLMモデルに追加学習させた場合において、LLMサービスから顧客IDが出力された場合、顧客IDのみでは一般的に特定個人を識別できないものの、自社にとっては顧客IDをもって特定の顧客である個人を識別することができる以上、顧客IDを含む出力情報は当該自社にとっては個人情報にあたることになります（容易照合性は相対的に判断される）。この場合、当該出力情報を単に閲覧するのみならず転記等した場合は、個人情報を「取得」したものとして取り扱う必要が生じることになります。

LLMサービス利用者が「個人情報取扱事業者」にあたらない場合は個情法の規律対象外

なお個情法の規律対象とされているのは「個人情報データベース等を事業の用に供している者」、すなわち「個人情報取扱事業者」です（法16条2項）³。
そのため、個人が私生活においてLLMサービスを利用しているに過ぎない場合は、個人情報データベース等を事業の用に供しているとはいえないため「個人情報取扱事業者」にあたらず、個情法の規律対象外となります（たとえ個人情報を「取得」していると評価される場合でも、個情法に基づき利用目的を通知公表等する義務を負いません）。これに対して一般的な企業であれば、顧客や従業員のリスト（個人情報データベース等）を作成して事業の用に供しているのが通常であるため、そのほとんどが個人情報取扱事業者に該当し、個情法の規律対象となります。

Q2. 要配慮個人情報が出力された場合、ユーザーは要配慮個人情報を「取得」したことになるのか

Q1.と同様の整理となります。
LLMサービスを利用するにあたって、要配慮個人情報⁴が出力された場合、Q1の整理に則して「取得」した場合は原則として本人の同意を得る必要があります（法20条1項）⁵。

もっとも以上はあくまで個情法における整理であり、プライバシー侵害の有無については、個情法とは別段の配慮が必要となります。
個人情報（要配慮個人情報）の「取得」にあたるかどうかとプライバシー侵害の成否は、関連はするものの、「取得」にあたらなければプライバシー侵害（不法行為）の問題が生じないわけではありません⁶。また個人情報取扱事業者にあたらない私人であっても、他人のプライバシーを侵害する主体にはなります。LLMサービスから、要配慮個人情報その他のセンシティブな情報⁷などのプライバシーに関する情報が出力された場合、これらの情報を単に閲覧したに過ぎず「取得」したと解されない場合や、LLMサービス利用者が個人情報取扱事業者にあたらない場合であっても、その情報の取扱い態様によっては、本人との関係でプライバシー侵害の問題を生じさせ得ることには留意が必要となります。

Q3.ある個人に関して誤情報が出力された場合、当該個人は個情法に基づいて訂正等を請求できるか

【2023年5月9日・一部加筆しました。】
LLMサービスにおいて、ある個人について質問する入力（プロンプト）に対して、当該個人について事実無根の前科情報が出力された場合、当該個人はLLMサービス提供事業者（ここではOpenAI等のLLMモデルを保有する事業者を想定します）に対して、個情法に基づいて訂正等を請求できるでしょうか。
個情法は「本人は、個人情報取扱事業者に対し、当該本人が識別される保有個人データの内容が事実でないときは、当該保有個人データの内容の訂正、追加又は削除（以下この条において「訂正等」という。）を請求することができる。」と定めているところ（法34条1項）、ここではLLMサービスからの出力が「保有個人データ」⁸にあたるかが問題となります。

前提・LLMは出力前の段階で出力結果を保有しているわけではない

LLMモデルを含む学習済みモデルとは、学習済みパラメータが組み込まれた推論プログラムを指すところ⁹、学習済みパラメータは特定の出力を行うために調整された処理・計算用の係数であり、当該パラメータと特定の個人との対応関係が排斥されている限りにおいて、学習済みパラメータは個人情報に該当しません¹⁰。
そのため、LLMモデル自体は「個人情報データベース等」¹¹に通常は該当しないところ、LLM提供事業者は、出力がされる前の段階で出力結果をデータベース上に保有しているわけではありません。すなわち、出力結果をあらかじめデータベース上で保有しており、プロンプトに応じてデータベースから結果を出力しているわけではないため、これを前提とした出力結果の訂正等の請求（法34条）はできないと考えられます。

検索エンジンの検索結果も保有個人データにあたらない

なお、検索エンジンにおける検索結果も訂正等請求の対象とならないと考えられています。検索エンジンは「個人情報データベース等」に該当しないというのが政府見解及び通説であるところ¹²、検索エンジンによる検索結果は検索エンジン提供事業者にとって「保有個人データ」にあたらない以上、個情法に基づく訂正等の対象にならないと考えられています¹³。

ただし検索エンジンの場合は、クローリングしたWebページの情報をデータベース上に保存（インデックス）しており、当該データベースから検索結果を提供しているのに対し、LLMモデルの場合は保有するデータベースから結果を出力しているわけではなく、もともと出力結果となるデータを保有しているわけではない点が検索エンジンと異なるといえます。つまり検索エンジンは検索結果をあらかじめ保有はしているものの、検索エンジンが「個人情報データベース等」にあたらないために検索結果も保有個人データにあたらないので訂正等が認められないのに対し、LLMモデルの場合はそもそも出力結果をあらかじめ保有していない（出力結果データベースのようなものがない）という違いがあります。

以上より、LLMサービス提供事業者は出力結果をあらかじめ保有していることを前提とした、出力結果の訂正等を請求することは困難であると考えられます（訂正等のみならず、開示請求（法33条）や利用停止等請求（法35条）も同様）。
出力結果を訂正等したい本人としては、個情法に基づく請求ではなく、民事上の人格権に基づく削除等請求を行うことを検討することになりますが、このような請求が認められるのかは定かではありません（検索結果の削除請求が認められる要件について一定の規範を示した最三小決平29年1月31日・民集71巻1号63頁も参照）。

学習用データセット等については別途検討が必要

もっともLLMモデルではなく、モデルに学習させるために作成された学習用データセットが「個人情報データベース等」に該当する場合¹⁴は、学習用データセットを構成するレコードが「保有個人データ」に該当することになり、本人から訂正等請求を受けた場合、学習用データセットの訂正等に応じる義務が生じると考えられます（この場合、当該事業者は当該データセットから当該本人に関する事実と異なる箇所を訂正等することになりますが、困難な作業となることが想像されます）。
また、特定のユーザーによる入出力履歴（チャット履歴）が、当該特定のユーザーと紐づけてデータベース化されている場合、当該チャット履歴を含めた当該ユーザーレコードは「保有個人データ」にあたる可能性があります。そのうえで当該ユーザーレコードに含まれる出力履歴に、ある個人の誤情報が含まれていた場合、当該個人が訂正等を請求できるのかについては別途問題となり得ます。ただし当該ユーザーレコードに含まれる出力履歴が保有個人データにあたるとして訂正等請求が認められたとしても、別のユーザーが同様のプロンプトを入力した際にはまた同様の誤情報が出力される以上、当該訂正等が認められることは根本的な問題解決（LLMモデルから当該誤情報が出力されない状態を実現すること）にはつながらないように思います。

【2023年5月9日・以上を整理した内容をTwitterに投稿しておきました。】

ChatGPTからの出力に個人に関する誤情報（たとえば事実無根の前科など）が含まれていた場合、個人情報保護法に基づく訂正等請求が認められるかについて、あらためて整理してみる。

1 （前提）LLMは出力結果をあらかじめ保有しているわけではない… https://t.co/ycqTLPCLP3

— 弁護士杉浦健二 STORIA LAW (@kenjisugiura01) May 9, 2023

まとめ

以上をまとめますと以下のとおりとなります。

出力結果が個人情報にあたる場合であっても、LLMサービス利用者が、単に出力結果を閲覧するのみであれば個人情報の「取得」にはあたらないと解される。他方、出力結果を転記等した場合は「取得」にあたる可能性が生じる。この場合、LLMサービス利用者（個人情報取扱事業者であるLLMサービス利用者。以下本まとめにおいて同じ）は、取得にあたって利用目的を通知公表する等の義務を負うことになる。
LLMサービス利用者が要配慮個人情報にあたる出力結果を「取得」する場合は原則として本人の同意を得る必要がある。なお「取得」に至らない場合であっても、プライバシー侵害等の問題を生じ得ることには別途留意が必要となる。
ある個人に関して事実と異なる出力がなされた場合でも、個情法に基づいて出力結果の訂正等請求（法34条）をすることは相当にハードルが高い。

もっとも、ある個人に関して誤情報（たとえば事実無根の前科情報）を出力するLLMサービスは、当該個人に対して有害であることは無論、信頼できるAIではないとして社会実装が進まない結果を招来することにもなります。誤情報である出力結果について、たとえ個情法に基づく訂正等請求が認められないにしても、LLMサービス提供事業者としては、出力結果が事実と異なることを示す一定の裏付けが本人等から提出された場合は、当該誤情報である出力結果が出力されないような処理を施すといった自主的なルールの策定や運用が求められるといえるでしょう。（弁護士杉浦健二）

1
ChatGPTではデフォルトでチャット履歴（入出力履歴）が残る仕様になっているところ、チャット履歴が「転記等」にあたり「取得」したと評価される可能性を避けたい場合は、チャット履歴はオフにしておくことがよりセーフティと考えられます（ChatGPTでは2023年4月25日のアップデートでチャット履歴オフ機能が導入されました）。
2
入力（プロンプト）を含めた一連のやりとり全体が個人情報にあたるという考え方も成り立ち得るように思います。
3
正確には、個人情報取扱事業者のほか、個人関連情報取扱事業者、仮名加工情報取扱事業者又は匿名加工情報取扱事業者も個情法（第4章）の規律対象に含まれます。
4
本人の人種、信条、社会的身分、病歴、犯罪の経歴、犯罪により害を被った事実その他本人に対する不当な差別、偏見その他の不利益が生じないようにその取扱いに特に配慮を要するものとして政令で定める記述等が含まれる個人情報をいう（法2条3項）。
5
要配慮個人情報のうち、取得及び提供に関して本人の同意を得て公開されたものは、当該要配慮個人情報の取得に際して再度の同意取得は必要とされていません（GL（通則編）3-3-2）。また要配慮個人情報が本人や学術研究機関、報道機関等によって公開されている場合も、当該要配慮個人情報の取得に際して同意取得は不要となります（法20条2項7号）。
6
個情委が 2022 年 12 月に公表した「犯罪予防や安全確保のためのカメラ画像利用に関する有識者検討会報告書(案)」は、「不法行為法と個人情報保護法はその目的や性格に異なる部分があることから、不法行為が成立する場合、同時に個人情報保護法違反となる場合もあり得るが、不法行為が成立したからといって必ずしも個人情報保護法違反となるわけではない」としています。
7
GDPRにおけるセンシティブ情報には、日本の個情法における要配慮個人情報に含まれない、性生活、性的指向又は労働組合に関する情報が含まれています（GDPR9条）。
8
個人情報取扱事業者が、開示、内容の訂正、追加又は削除、利用の停止、消去及び第三者への提供の停止を行うことのできる権限を有する個人データであって、その存否が明らかになることにより公益その他の利益が害されるものとして政令で定めるもの以外のものをいう（法16条4項）。
9
AI・データの利用に関する契約ガイドライン（AI編）P14
10
個情委Q&A1-8。
11
個人情報を含む情報の集合物であって、特定の個人情報を電子計算機を用いて検索することができるように体系的に構成したもの等（法16条1項）。
12
「検索エンジンは、そのデータベース中に蓄積された情報に個人情報としての索引が付されているわけではない（同じ文字列であれば、地名や企業名等の個人情報でない情報も検索される。）場合には、これをもって「特定の個人情報を……検索することができるように体系的に構成したもの」とは言い難く、本条第2項に規定する「個人情報データベース等」には該当しない。ただし当該検索エンジンが個人情報としての索引を伏してデータベース化されているような場合、すなわち個人情報に該当する情報だけを選別して検索できる場合には、「個人情報データベース等」に該当すると考えられる。」園部逸夫＝藤原靜雄 (編)『個人情報保護法の解説第三次改訂版』（ぎょうせい、2022）86頁
13
『国立国会図書館調査と情報―ISSUE BRIEF』No.1089・7頁など。
14
学習用データセットが個人情報データベース等に該当しない場合があることについては前回のブログ参照。