論文の概要: Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
- arxiv url: http://arxiv.org/abs/2606.29279v1
- Date: Sun, 28 Jun 2026 08:56:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.868411
- Title: Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
- Title（参考訳）: 作り話の信頼:記憶の融合がいかにHearsayを信頼関係に変えるか
- Abstract要約: LLMエージェントは会話を格納された「成果物」に書き直す。
一度も真実であり、訂正されなかった役割は、平らな事実として記憶され、故意の注入のように振る舞う。
1つの負荷を持つメモリがハザードであり、1つの冗長なソースが正しい決定を復元する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents carry conclusions across steps and sessions in compressed memory, and memory products (e.g., mem0, LangMem) rewrite conversation into stored "facts" that later steps trust. We show this rewriting manufactures confidence: across our constructed agent settings, a casual, hedged remark becomes a confident, dated assertion the agent then obeys like a verified fact, granting every above-clearance request it faces. No attacker is needed: a role that was true once and never corrected is stored as a flat fact and acted on like a deliberate injection. We then isolate what the agent responds to. It is not the source: attributed, unattributed, and even forged "system of record" claims all grant alike. It is the confidence of the phrasing. A hedge is discounted, a flat assertion is obeyed, and this holds with no special keyword. Not all hedges are equal, though: the evidential register is the least-discounted, with "reportedly" obeyed like a flat assertion on most models. The obvious fixes fail. A passive "unverified" tag is ignored, and an active "do not trust this" instruction escalates even correct memory, so it is safe only by refusing to decide. The real fix lives in the store: keep the tentative phrasing rather than upgrade it. But that is hygiene, not a defense against an attacker who can simply write a confident lie. The deployable lesson is narrower and constructive: a single load-bearing memory is the hazard, and one redundant source restores correct decisions. We release the harness and demonstrations.
- Abstract（参考訳）: LLMエージェントは圧縮メモリのステップやセッションで結論を出し、メモリ製品(例:mem0、LangMem)は会話を格納された"ファクト"に書き直し、後に信頼する。
構築されたエージェント設定を通じて、カジュアルでヘッジドされた発言が自信を持つようになり、エージェントが検証された事実のように従う日付付きアサーションとなり、それが直面するすべてのオーバークリアランス要求を許可します。
一度真実であり、修正されないロールは、フラットな事実として保存され、故意の注入のように振る舞う。
その後、エージェントが応答するものを分離します。
属性付き、未配布、偽造された"記録のシステム"でさえ、すべての権限を主張する。
それはその言い回しの自信だ。
ヘッジは割引され、フラットアサーションは従い、特別なキーワードは持たない。
しかし、すべてのヘッジが等しいわけではない:明らかなレジスタは、ほとんどのモデルにおいて平らなアサーションのように"報告された"従って、最小の分散値である。
明らかな修正は失敗する。
パッシブな"不確定"タグは無視され、アクティブな"信頼しない"命令は正しいメモリをエスカレートするので、決定を拒否するだけで安全である。
実際の修正は店内にあり、アップグレードするのではなく、仮の言い回しを保ちます。
しかしそれは衛生的であり、自信ある嘘を書ける攻撃者に対する防御ではない。
デプロイ可能なレッスンはより狭く建設的であり、単一のロードバランシングメモリが危険であり、1つの冗長なソースが正しい決定を復元する。
私たちはハーネスとデモをリリースします。
関連論文リスト
- Proof-of-Execution Memory: Defending LLM Agents Against Forged-Reasoning Attacks by Verifying What Actually Happened [2.45357121165634]
本稿では,言語モデルに対して,最初の試みでSENTINELを回避しようとする自動攻撃者について述べる。
メモリを全く検査しないPEM(Proof-of-Execution Memory)を提案する。
論文 参考訳（メタデータ） (2026-08-17T02:54:04Z) - Whose Refusal Is It? The Unmeasured Contribution of Black-Box Multimodal Guardrails [24.794304039477495]
ガードレールの実際の安全のシェアは、そのすべてから本質的には、どれにも及ばない。
ガードブロックがモデルの応答を置き換えるため、スプリットは余分なコストでリカバリ可能である。
論文 参考訳（メタデータ） (2026-08-09T11:19:30Z) - FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。
私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。
コストの安いチェックはいつ,モデルが必要なのか?
論文 参考訳（メタデータ） (2026-08-04T09:20:54Z) - Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games [50.880420636090896]
9-player Werewolf環境において,隠れた役割に対する外部信頼状態を維持するための監査可能なフレームワークを構築した。
我々は,その効果を関連づけとして報告し,そのメカニズムを未解決として扱う。
論文 参考訳（メタデータ） (2026-07-12T16:03:30Z) - Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense [24.794318726705118]
アタック・サクセス・メトリクスは、注入を無視したモデルを見ることができず、データを同じスコアとして忠実に処理します。
SecFidは、インジェクションを実行し、データとして処理し、区別可能な出力を無視するベンチマークです。
論文 参考訳（メタデータ） (2026-06-29T18:11:17Z) - Reclaim Evaluation: A Lossy Memory Is Worse Than an Empty One [0.0]
言語モデルのメモリは、メモリを全く持たないよりも悪い場合がある。
単一のソースエラーによって、下流のステップが増加し、修正不可能な状態が保たれる。
これは、ベンチマークではなく、メカニズムの制御された研究である。
論文 参考訳（メタデータ） (2026-06-24T06:24:53Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2026-05-07T02:03:13Z) - Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。
我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。
本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:47:50Z) - Preventing Verbatim Memorization in Language Models Gives a False Sense
of Privacy [91.98116450958331]
我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。
具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。
我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
論文 参考訳（メタデータ） (2022-10-31T17:57:55Z) - Assessing Confidence with Assurance 2.0 [0.0]
信頼は単一の属性や測定に還元できない、と我々は主張する。
ポジティブ・パースペクティブ(Positive Perspectives)は、事件の証拠と全体論が一体化して肯定的な声明を下す程度を考察する。
否定的な視点は、典型的には敗者として表されるこの事件に対する疑念と挑戦を記録している。
Residual Doubts: 世界は不確実であり、すべての潜在的な敗者を解決することはできない。
論文 参考訳（メタデータ） (2022-05-03T22:10:59Z) - Label-Only Membership Inference Attacks [67.46072950620247]
ラベルのみのメンバシップ推論攻撃を導入する。
我々の攻撃は、摂動下でのモデルが予測するラベルの堅牢性を評価する。
差分プライバシーと(強い)L2正規化を備えたトレーニングモデルは、唯一知られている防衛戦略である。
論文 参考訳（メタデータ） (2020-07-28T15:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。