論文の概要: Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions
- arxiv url: http://arxiv.org/abs/2610.37624v1
- Date: Tue, 27 Oct 2026 17:49:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.736854
- Title: Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions
- Title(参考訳): 希少で関連性があり、いまだに間違っている: メモリがLCMグループの決定を損なう理由
- Abstract要約: 2つの自然は、決定基準に関連する最も稀な主張または主張を保持する。
隠されたタスクはどちらも魅力的に見えます。
自動検証された応答キーを備えた60のテンプレートの診断ベンチマークであるCrossProfileを紹介した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When an LLM group's discussion is compressed into a short memory for a final decision maker, what should the memory keep? Two natural heuristics keep the rarest claims or the claims relevant to the decision criteria. On hidden-profile tasks both look attractive, because how widely a fact is held is confounded with whether it helps. We introduce CrossProfile, a diagnostic benchmark of 60 templates with automatically verified answer keys, in which the ownership of supporting, decoy, and irrelevant facts is crossed while their text is held fixed (480 tasks). Across Qwen2.5-7B, Llama-3.1-8B, and two DeepSeek models, both heuristics fail in predictable places. Selecting by relevance readmits decoys, because decoys are on topic: even a perfect relevance filter loses 23 to 31 points to rarest-first selection in the classic hidden-profile configuration. Rarest-first selection is no better than random selection on average and wins only where the rare facts happen to be the useful ones. In both cases accuracy follows the balance of evidence the memory keeps, not the policy that kept it. The decision model adds a third failure, a form of social proof: it gives extra weight to facts attributed to many agents. Removing the attribution tags, or reassigning them at random with line order fixed, raises accuracy in the classic configuration by 13 to 24 points. In natural discussions the evidence is lost before any memory acts: the complete transcript yields lower accuracy than no notes at all.
- Abstract(参考訳): LLMグループの議論が最終決定者のために短いメモリに圧縮されると、メモリは何を保持するべきか?
2つの自然ヒューリスティックは、決定基準に関連する最も稀な主張または主張を保持する。
隠されたタスクはどちらも魅力的に見えます。
自動検証された応答キーを備えた60のテンプレートの診断ベンチマークであるCrossProfileを導入し、テキストが固定されている間(480タスク)に、サポート、デコイ、無関係な事実のオーナシップが渡される。
Qwen2.5-7B、Llama-3.1-8B、およびDeepSeekの2つのモデルでは、どちらのヒューリスティックも予測可能な場所で失敗する。
完全レバレンスフィルタでさえ、古典的な隠れた構成において、最も稀な第1の選択に23から31ポイントを失う。
ラストファーストの選択は、平均的にランダムな選択に過ぎず、稀な事実が有用である場合にのみ勝ちます。
どちらの場合も、正確さはメモリが保持する証拠のバランスに従います。
決定モデルには第3の失敗、つまり社会的な証明が加えられている。
属性タグを削除したり、行順を固定してランダムに割り当てたりすることで、古典的な構成の精度を13から24ポイント向上させる。
自然な議論では、証拠は記憶が作用する前に失われる。
関連論文リスト
- MemoProAgent: Toward Memory-Driven Proactive Assistance [62.65924263961032]
MemoProBenchは、メモリ駆動型プロアクティブアシストのベンチマークである。
それは、エゴセントリックなビデオと、年長で気を散らすようなユーザー記憶を合わせたものだ。
トレーニングなしでは、MemoProAgentはQwen3.8-27Bで10%未満から37.5%、GPT-5.3-Chatで38%まで厳格な精度を上げた。
論文 参考訳(メタデータ) (2026-10-15T21:40:17Z) - Beyond the Shadows of Plato's Cave: Evaluating False Memory in Autonomous Agents via Counterfactual Reasoning [90.354889777866]
我々は,素早い相関関係,環境変化,知識衝突から生じるテクスタイス・メモリを定式化する。
本稿では,反実的推論に基づくエージェント信念の進化を通じて,虚偽記憶を評価する学習自由フレームワークFAMEを提案する。
論文 参考訳(メタデータ) (2026-09-30T10:35:41Z) - RoutePrism: Tracing Construction Order Effects in Agent Memory [16.745093090677475]
RoutePrismは、2つの処理順序で同じソースプールから2回メモリを構築する。
再注文によって取り消されたレコードが実際にタスク関連証拠であったかどうかの4条件の介入テストが一致した。
論文 参考訳(メタデータ) (2026-09-28T02:37:57Z) - Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory [32.094723684433895]
長期記憶システムは、ユーザが外部ストアで言ったことを格納し、関連するクエリが到着したときにそれを検索する。
このインターフェースは、非常に自然な仮定に基づいており、滅多に述べられません:必要なメモリは、それを必要とするクエリに似ているでしょう。
この障害モードを暗黙の連想盲点と呼び、10つの生命ドメインにまたがるベンチマークであるInMindを紹介します。
論文 参考訳(メタデータ) (2026-07-27T12:42:12Z) - Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。
構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
論文 参考訳(メタデータ) (2026-06-27T11:38:43Z) - Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents [0.0]
大規模言語モデル(LLM)エージェントは、事実が変化する長い多セッションの相互作用で機能する。
正しく行動するためには、事実の現在の値を使用し、置き換えられた値を捨てる必要がある。
この測定結果をトレーニング信号に変換するオープンな強化学習環境であるSupersedeをリリースする。
論文 参考訳(メタデータ) (2026-06-25T18:50:32Z) - MemTrace: Probing What Final Accuracy Misses in Long-Term Memory [39.696350769003104]
測定単位が知識点であるベンチマークであるMemTraceを紹介する。
MemTraceは3つの制御された次元に沿って各事実を探索する。
同様にプールされた精度は、異なる失敗を隠すことに気付きます。
論文 参考訳(メタデータ) (2026-06-15T22:21:23Z) - Remember the Decision, Not the Description: A Rate-Distortion Framework for Agent Memory [120.68750043918249]
記憶は、決定にとって重要な区別を、記述ではなく保存すべきであることを示す。
DeMemは,共有状態が決定競合を誘発することを示すデータに対してのみ,分割を洗練させるオンラインメモリ学習システムである。
論文 参考訳(メタデータ) (2026-05-11T17:20:58Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2026-05-07T02:03:13Z) - Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。
これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。
PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
論文 参考訳(メタデータ) (2025-12-06T03:02:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。