論文の概要: Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory
- arxiv url: http://arxiv.org/abs/2607.23927v1
- Date: Mon, 27 Jul 2026 01:47:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.27043
- Title: Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory
- Title(参考訳): 大規模言語モデルにおける現実的モニタリング:会話記憶で変化する自己学習
- Abstract要約: ソース属性は、会話記憶の構造化方法に依存することを示す。
これは、AIシステムが自律的なマルチターンの役割を担い、彼らが知っていることを評価するのに十分ではないことを示唆している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A conversational AI that cannot tell its own output from what a user said will treat its own mistakes as user-provided facts. In humans, this capacity is called reality monitoring, and its failures are linked to hallucinations, delusions, and confabulation, yet whether LLMs possess it remains untested. Here we show, across two experiments and six LLMs, that source attribution depends on how conversational memory is structured: ceiling accuracy for self-generated content under minimal memory demands reverses to a fragile external-item advantage once episodic delay removes that shortcut. Feedback exposes two failures: in some models, internal and external judgments swap; in others, accuracy improves while confidence decouples from correctness, dissociations invisible to existing benchmarks. Across models, this pattern implicates active, not aggregate, parameter count. This suggests that as AI systems take on autonomous, multi-turn roles, evaluating what they know is not enough: tracking where that knowledge came from may matter equally.
- Abstract(参考訳): ユーザーが言ったことから自分自身のアウトプットを判断できない会話型AIは、ユーザが提供する事実として、自身の誤りを扱います。
人間では、この能力は現実監視と呼ばれ、その失敗は幻覚、妄想、非難と結びついている。
ここでは、2つの実験と6つのLDMにおいて、ソース属性は、会話記憶がどのように構成されているかに依存していることを示す。
あるモデルでは、内部および外部の判断がスワップされ、別のモデルでは精度が向上し、信頼性は正確性から切り離され、既存のベンチマークでは見えない解離が生じる。
モデル全体で、このパターンはアクティブで、集約ではなく、パラメータ数を意味する。
これは、AIシステムが自律的なマルチターンの役割を担い、彼らが知っていることが十分ではないことを評価していることを示唆している。
関連論文リスト
- Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits [17.17286544824839]
大規模言語モデル(LLM)は流動的で複雑な出力を生成するが、しばしば自身の誤りや幻覚を認識できない。
凍結LDMが本質的な自己検証を行うための軽量な自己認識機構であるGnosisを紹介した。
グノーシスは、精度と校正の両面で、強い内部ベースラインと大きな外部判断を一貫して上回る。
論文 参考訳(メタデータ) (2025-12-23T18:21:32Z) - Beyond Hallucinations: The Illusion of Understanding in Large Language Models [0.0]
大規模言語モデル(LLM)は、人間のコミュニケーションや意思決定に深く浸透している。
彼らはあいまいさ、偏見、言語自体に固有の真理への直接アクセスの欠如を継承する。
本稿は,LLMがシステム1認知を大規模に運用する,高速,連想的,説得的だが,反射やファルシフィケーションは行わない,と論じる。
論文 参考訳(メタデータ) (2025-10-16T13:19:44Z) - Large Language Models Do NOT Really Know What They Don't Know [37.641827402866845]
最近の研究は、大言語モデル(LLM)が、その内部表現に事実性信号をエンコードしていることを示唆している。
LLMは、ショートカットやスプリアスアソシエーションに頼ることで、事実エラーを発生させることもできる。
論文 参考訳(メタデータ) (2025-10-10T06:09:04Z) - Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-27T10:37:11Z) - Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。
我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。
モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文 参考訳(メタデータ) (2025-05-27T16:24:02Z) - If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。
我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文 参考訳(メタデータ) (2025-03-30T16:50:57Z) - Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models [2.98260857963929]
大規模言語モデル(LLM)は、ユーザの信頼を損なう可能性のある非実効的なアウトプットを幻覚し、生成することが知られている。
表現編集やコントラスト復号といった幻覚を直接緩和する従来の手法は、しばしば追加のトレーニングデータを必要とし、実装の複雑さを伴います。
本研究では,その精度と自己評価能力に基づいて,複数のLSMを戦略的に組み合わせて幻覚を低減するためのアンサンブルフレームワークであるUncertainty-Aware Fusion (UAF)を提案する。
論文 参考訳(メタデータ) (2025-02-22T10:48:18Z) - Know Your Mistakes: Towards Preventing Overreliance on Task-Oriented Conversational AI Through Accountability Modeling [9.305763502526833]
本稿では,ユーザ過度に対処するタスク指向対話エージェントのための説明責任モデルを提案する。
実験結果から,提案手法はAIエージェントエラーの信頼性の高い推定を可能にするだけでなく,デコーダがより正確な動作を生成することを示唆している。
論文 参考訳(メタデータ) (2025-01-17T17:40:12Z) - Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。
実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文 参考訳(メタデータ) (2024-11-20T17:55:38Z) - LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。
本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。
確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
論文 参考訳(メタデータ) (2024-07-03T17:08:52Z) - LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。