論文の概要: TriggerBench: Investigating Prospective Memory for Large Language Models
- arxiv url: http://arxiv.org/abs/2606.23459v1
- Date: Mon, 22 Jun 2026 15:07:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 18:55:27.976964
- Title: TriggerBench: Investigating Prospective Memory for Large Language Models
- Title（参考訳）: TriggerBench: 大規模言語モデルの予見メモリの調査
- Abstract要約: 我々は、Prospective memory(PM)のベンチマークであるTriggerBenchを紹介する。
PMは正確なリコールトレードオフと注意欠陥を示している。
PMはRMよりも特に困難で、同じ文脈では100Kのトークンがほぼ飽和し、PMは文脈長のスケールで急激に崩壊する。
- 参考スコア（独自算出の注目度）: 61.96701552522981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large Language Models (LLMs) are increasingly deployed in long interactions, existing evaluations focus predominantly on retrospective memory (RM) via explicit queries. Prospective memory (PM), the critical ability to spontaneously recall and act on latent constraints without direct prompts, remains largely unevaluated. We introduce TriggerBench, a comprehensive PM benchmark spanning five dimensions across both daily assistants and professional workflows. TriggerBench pairs scenarios with matched RM controls, contrastive positive/negative variants, and overloaded triggers, enabling fine-grained measurement of proactive recall, false-alarm rate, and attentional robustness under a single protocol. Our evaluation yields three key findings. (i) PM shows a precision-recall trade-off and attentional fragility. Though enhanced reasoning significantly improves proactive recall, models may overfit to an "always-remind" heuristic. Furthermore, PM accuracy degrades substantially under implicit constraints or triggers overloaded by concurrent user requests, indicating that robust PM remains an open challenge. (ii) PM is notably harder than RM: on identical contexts, RM near-saturates up to 100K tokens, while PM decays sharply as context length scales. (iii) PM may serve as a behavioral probe of spare reasoning capacity. Pairing PM scenarios with AIME-2025 math problems reveals that successful trajectories yield higher PM accuracy than failed ones at the same context length, showing PM tracks spare reasoning budget that token count obscures. Project page: https://github.com/KristenZHANG/TriggerBench-Official.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、長いインタラクションにますますデプロイされているが、既存の評価は主に明示的なクエリによるレトロスペクティブメモリ(RM)に焦点を当てている。
直接的プロンプトなしで自発的にリコールし、潜伏した制約に作用する能力である前向き記憶(PM)は、大半が未評価のままである。
TriggerBenchは、日々のアシスタントとプロのワークフローの両方にわたって5次元にまたがる包括的なPMベンチマークです。
TriggerBenchは、一致したRM制御、対照的な正・負の変種、過剰なトリガーと組み合わせ、単一のプロトコル下でのプロアクティブリコール、偽アラームレート、注意力のきめ細かい測定を可能にする。
私たちの評価は3つの重要な結果をもたらす。
(i)PMは、正確なリコールトレードオフと注意欠陥を示す。
強化された推論は積極的リコールを大幅に改善するが、モデルは「常に抑制された」ヒューリスティックに過度に適合する可能性がある。
さらに、PMの精度は暗黙の制約や同時ユーザ要求による過負荷の下で著しく低下し、堅牢なPMは依然としてオープンな課題であることを示している。
(ii)PMはRMよりも特に難しい:同じ文脈では、RMは100Kのトークンをほぼ飽和し、PMは文脈長のスケールで急激に崩壊する。
三 PMは、余剰推論能力の行動プローブとして機能することができる。
AIME-2025数学問題によるPMシナリオのペアリングは、成功軌道が同じ文脈で失敗した場合よりも高いPM精度が得られることを示している。
プロジェクトページ: https://github.com/KristenZHANG/TriggerBench-Official.com
関連論文リスト
- SAVOR: Self-Aware Visual Grounding via Confidence-Calibrated Reinforcement Learning for Multimodal Hallucination Mitigation [4.100479369058624]
MLLM(Multimodal large language model)は、画像に基づかないオブジェクト、属性、関係について、流動的なクレームを生成する。
Savorは、トークンと回答の信頼性で出力スキーマを拡張するトレーニングフレームワークです。
本研究では,MME や MMBench の一般性を維持しながら幻覚を低減し,DPO よりも低い誤差とデコードベースラインを有することを示す。
論文 参考訳（メタデータ） (2026-09-15T03:53:32Z) - LLMs Know When They Know, but Do Not Act on It: A Metacognitive Harness for Test-time Scaling [26.999207995495354]
我々は,大規模言語モデル (LLM) が有効なテスト時間制御に変換できる潜在メタ認知能力を持っているかどうかを問う。
認知心理学からネルソン=ナレンズ理論に触発された我々は、モニタリングと推論を分離するメタ認知的ハーネスを提案する。
論文 参考訳（メタデータ） (2026-05-13T23:09:25Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought [11.955186033088351]
推論モデルにおける行動連鎖(CoT)の証拠を提供する。
アクティベーションプロービング、早期強制応答、および2つの大きなモデルにわたるCoTモニターを比較した。
難解なマルチホップGPQA-ダイアモンド問題における真の推論とは対照的である。
論文 参考訳（メタデータ） (2026-03-05T18:55:16Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳（メタデータ） (2026-02-18T02:55:55Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - The 'Sure' Trap: Multi-Scale Poisoning Analysis of Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models [10.377264470934843]
大きな言語モデルに対するバックドア攻撃は、通常、暗黙の悪意のある出力に秘密のトリガーを伴います。
我々はコンプライアンスのみのバックドアを導入し、ほぼ良質なデータセットで教師付き微調整を行い、プロンプトの小さなサブセットを任意の単一ワードトリガでサフィックスする。
本研究は, 毒性予算, 総微調整データセットサイズ, モデルサイズにまたがる, この良性ラベル中毒行動のマルチスケール解析を行った。
論文 参考訳（メタデータ） (2025-11-16T02:01:58Z) - Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。
6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。
再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
論文 参考訳（メタデータ） (2025-10-08T09:49:05Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - MOSSBench: Is Your Multimodal Language Model Oversensitive to Safe Queries? [70.77691645678804]
人間は認知の歪みに傾向があり、特定の刺激に対する過大な反応を引き起こす偏見のある思考パターンがある。
本稿では,高度マルチモーダル言語モデル (MLLM) が同様の傾向を示すことを示す。
既存のMLLMの過敏性を引き起こす3種類の刺激を同定する。
論文 参考訳（メタデータ） (2024-06-22T23:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。