論文の概要: The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence

• arxiv url: http://arxiv.org/abs/2609.26718v1
• Date: Tue, 22 Sep 2026 17:06:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.765339
• Title: The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence
• Title（参考訳）: サイレンの歌: 近背景文脈が距離のある証拠を覆い隠す時
• Abstract要約: 遠方の証拠に対する十分でない注意は、豊富なタスク非関連な近位背景との累積的な競合よりも、距離そのものから生じないことが多い。 本稿では,文脈検索分布を再評価する,t分散方向マッチング機構であるLYRAを紹介する。 LongBench-v2、RULER、LongBenchの実験では、コンテキスト長とタスクカテゴリ間で一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 20.73438231053258
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Long-context LLMs focus on retrieving distant evidence from extensive context, yet existing work has largely focused on overcoming distance alone. In this work, we identify the Proximity Trap, insufficient attention to distant evidence often arises less from distance itself than from cumulative competition with abundant, task-irrelevant proximal background. To address the Proximity Trap, we introduce LYRA (Long-context heavY-tailed Relevance Alignment), a t-distributed directional matching mechanism that reshapes the context retrieval distribution, directing more attention mass toward task-relevant evidence, while preserving the relative positional information encoded. Extensive experiments on LongBench-v2, RULER, and LongBench demonstrate consistent improvements across context lengths and task categories. We further introduce ProxBench, a multi-level fine-grained benchmark for evaluating distant evidence utilization under increasing proximal background interference. Project page: https://xiaoyuyoung.github.io/LYRA/
• Abstract（参考訳）: 長いコンテキストのLLMは、広範囲にわたる文脈から遠方の証拠を回収することに焦点を当てているが、既存の研究は主に距離を乗り越えることに集中している。 本研究では, 近接トラップを同定し, 遠くからの証拠に対する十分な注意は, 豊富なタスク非関係の背景を持つ累積的競合よりも, 距離自体から生じないことが多い。 本稿では,t分散指向性マッチング機構であるLYRA(Long-context heavY-tailed Relevance Alignment)を導入する。 LongBench-v2、RULER、LongBenchに関する大規模な実験は、コンテキスト長とタスクカテゴリの間で一貫した改善を示している。 さらに、近位背景干渉の増加の下で遠位証拠利用を評価するためのマルチレベルきめ細かなベンチマークであるProxBenchを紹介する。 プロジェクトページ:https://xiaoyuyoung.github.io/LYRA/

関連論文リスト

• ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
  長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-02T17:59:26Z)
• Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
  レポート生成のためのマルチエージェントハーネスであるPtahを提案する。 Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。 検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T12:40:34Z)
• Retrieve, Integrate, and Synthesize: Spatial-Semantic Grounded Latent Visual Reasoning [11.05919811646786]
  本稿では,事前学習型MLLM計算の互換性拡張として遅延推論を開発する空間意味的基盤となるRIS(Retrieve,Integrate,Synthesize)を提案する。 RISは潜伏トークンを空間的および意味的な証拠の両方に固定し、進行的な注意ボトルネックを通じて因果的役割を強制し、翻訳された潜伏状態から語彙に整合した復号に戻すために短い言語遷移トークンを導入する。
  論文  参考訳（メタデータ） (2026-05-08T01:33:58Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Trace Length is a Simple Uncertainty Signal in Reasoning Models [18.432200654999082]
  推理トレース長は大きな推理モデルにおいて有用な信頼度推定器であることを示す。 我々の研究は、学習後の推論がトレース長と精度の関係を根本的に変えることを明らかにしている。 高エントロピーや「フォーク」トークンはメカニズムにおいて重要な役割を担っていると認識する。
  論文  参考訳（メタデータ） (2025-10-12T02:04:06Z)
• LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data [19.79929012055293]
  LongFaithは忠実な長文推論命令データセットを合成するための新しいパイプラインである。 基礎的真理と引用に基づく推論のプロンプトを統合することにより、注意散らしを排除し、推論連鎖の精度を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T06:40:23Z)
• ALR$^2$: A Retrieve-then-Reason Framework for Long-context Question Answering [42.146660039671076]
  我々は,大規模言語モデル(LLM)のための検索・推論フレームワークを開発した。 現代のLLMは、関連した事実を正確に回収するのに苦労し、代わりにしばしば「検索された事実」を幻覚させる。 本稿では,LLMの長文推論能力を明示的な2段階手順で拡張する手法であるALR$2$を紹介する。
  論文  参考訳（メタデータ） (2024-10-04T08:29:12Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。