Beyond the Shadows of Plato's Cave: Evaluating False Memory in Autonomous Agents via Counterfactual Reasoning
Abstractの概要
本論文では、過去の経験から形成された記憶が新たな状況において不適切な信念をもたらすケースとして定義される、自律型エージェントにおける「偽の記憶（false memory）」を研究しています。著者らは、反実仮想クエリを用いてエージェントの潜在的な記憶誘発概念が隠れ状態空間でどのようにシフトするかを測定する、学習不要の評価フレームワーク「FAME」を導入しています。この手法は、報酬設計、ファインチューニング、または回答生成に依存することなく、忠実な記憶と偽の記憶を区別するように設計されています。また、本論文では見せかけの相関、環境シフト、知識の対立を網羅する偽の記憶の分類法を提示し、反実仮想的な概念ドリフト評価の理論的基盤を示しています。
新規性
主な新規性は、偽の記憶を内部信念の評価問題として位置づけ、表層的な出力ではなく記憶誘発概念の反実仮想的な進化を通じて評価する点にあります。FAMEは、複数のシナリオタイプにわたり、回答不要かつ学習不要な偽の記憶のシグナルとして隠れ状態の概念ドリフトを利用する点で独自性を持ちます。
成果
制御された偽記憶の設定において、FAMEは76.2%から96.7%のAUROCを達成し、評価されたすべてのベースラインを一貫して上回りました。GSM-Symbolic、GitChameleon、BigBench-Hardにわたる現実的なベンチマークでは、最良のベースラインをAUROCで3.4%から23.3%上回っています。また実験により、回答の確信度を観察するだけでは偽の記憶の検出には不十分であることが多く、隠れ状態の概念ドリフトが行動マージンのシフトと強く相関することが明らかになりました。
論文の注目点
- FAMEは、回答生成前に記憶とクエリによって誘発される事実的および反実仮想的な隠れ状態の概念表現を比較することで、偽の記憶を評価する。
- 本フレームワークは、見せかけの相関、環境シフト、知識の対立という偽の記憶の実践的な3つの原因を分類して評価する。
- 実証分析により、境界を越える概念ドリフトはドリフトの大きさ単体よりも有益な情報を提供すること、そして出力された回答のみからでは偽の記憶を区別できないことが多いことが示されている。