論文の概要: Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks
- arxiv url: http://arxiv.org/abs/2608.03297v1
- Date: Tue, 04 Aug 2026 08:08:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.094245
- Title: Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks
- Title（参考訳）: ディトラクタ・アウェア・トランニケーション:長期LLMベンチマークにおける信号損失からコンテキスト長の影響を遠ざける
- Abstract要約: 検索強化およびメモリ拡張言語モデルに関する文献における標準的な主張は、関連する情報が保存されている場合、より短いコンテキストの方が優れているということである。
この主張は、4つのコンテキスト保持率で2つの長いコンテキストベンチマークのすべてのサンプルを実行することで検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A standard claim in the literature on retrieval-augmented and memory-augmented language models is that shorter context is better when the relevant information is preserved. We test this claim by running every sample of two long-context benchmarks -- BABILong and GraphWalks (BFS) -- at four context-retention fractions (100%, 75%, 50%, 25%) under two truncation protocols. The first is the naive protocol implicitly used in much prior work: drop content from the middle of the prompt. The second is distractor-aware: identify the task-relevant content for each sample and drop only the rest. We evaluate three sizes of the Claude family (Haiku 4.5, Sonnet 4.6, Opus 4.7) and, to test cross-provider generality, GPT-5.5 from a different provider; we apply the same protocol to two further benchmarks (MRCR v2, Oolong). Under naive truncation, score collapses monotonically (paired Wilcoxon, Holm-corrected p_adj < 0.05 in all eight BABILong and GraphWalks cells). Under the distractor-aware protocol -- which preserves the signal by construction -- performance is preserved or improves: the two smaller Claude models show statistically significant gains on BABILong, while the larger models (Opus 4.7 and GPT-5.5) sit at their full-context ceiling. The naive collapse and its distractor-aware recovery replicate on GPT-5.5, ruling out a single-provider artifact. The mechanism is direct: under the naive protocol the answer-bearing content survives in fewer than 1% of samples at 25% retention; under the distractor-aware protocol it is preserved by construction. The naive protocol is therefore not a measurement of context-window effects; it is a measurement of how often middle-removal happens to spare the answer. We conclude that future studies of context-length effects must specify how they distinguish signal from distractor, or they are at best ambiguous between two opposite hypotheses.
- Abstract（参考訳）: 検索強化およびメモリ拡張言語モデルに関する文献における標準的な主張は、関連する情報が保存されている場合、より短いコンテキストの方が優れているということである。
BABILongとGraphWalks(BFS)の2つの長いコンテキスト保持率(100%、75%、50%、25%)を2つのトランケーションプロトコルで実行することで、この主張を検証します。
1つは、暗黙的に前処理で使われる、暗黙的なプロトコルである:プロンプトの中央からコンテンツを削除する。
2つ目は、各サンプルのタスク関連コンテンツを特定し、残りのコンテンツだけをドロップすること。
我々は、Claudeファミリーの3つのサイズ(Haiku 4.5, Sonnet 4.6, Opus 4.7)を評価し、異なるプロバイダからクロスプロデューサの一般性をテストするため、同じプロトコルを2つのベンチマーク(MRCR v2, Oolong)に適用する。
ナイーブ・トランケーションの下では、スコアは単調に崩壊する(Holm-corrected p_adj < 0.05 in all eight BABILong and GraphWalks cells)。
2つの小さなクロードモデルはBABILongで統計的に有意な利得を示し、大きなモデル(Opus 4.7 と GPT-5.5)はフルコンテキストの天井に置かれている。
ナイーブ崩壊と、GPT-5.5上での障害を意識した回復は、単一プロジェクターのアーティファクトを排除した。
このメカニズムは直接的であり、単純プロトコルの下では、応答を持つコンテンツは25%の保持率で1%未満のサンプルで生存する。
したがって、ナイーブプロトコルは文脈-ウィンドウ効果の測定ではない。
今後の文脈長効果の研究は、それらが信号とイントラクタを区別するか、あるいは2つの反対の仮説の間で最も曖昧であるかを特定する必要があると結論付けている。
関連論文リスト
- MUDDLE: Measuring Understanding of Documents under Distractor and Length Effects [7.695084499949966]
混乱と文脈劣化を分離する制御されたベンチマークであるMUDDLEを提案する。
MUDDLEは270の人間による注釈付き質問を使用し、それぞれが1つのソース文書に結び付けられ、5つの条件で全ての質問をインスタンス化する。
3つのモデルファミリーにまたがるLLM審査員の回答を得た。
論文 参考訳（メタデータ） (2026-08-30T00:10:40Z) - When Does Context Routing Help? A Systematic Study of Multi-Modal Fusion in Time Series Forecasting [10.826557947047933]
マルチモーダル時系列予測法は, 高度な融合機構により, 補助的文脈を時間的予測に統合する。
我々は、より狭く、チェック可能な質問を尋ねる: 補助的なコンテキストは、いつ、予測者を助けることができるのか?
1) ターゲットは最終値のショートカット(低自己相関rho_h)に支配されず、(2) コンテキストは履歴を超えてターゲットに関する情報を伝達する。
論文 参考訳（メタデータ） (2026-08-25T20:25:49Z) - STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle [0.0]
LLMエージェントは、コストを駆動する状態が直接観察されない複数週間の意思決定タスクにおいて、ますます評価される。
一部観測可能なマルコフ決定プロセスとして構築された26週間のサプライチェーン補充ベンチマークであるSTOCKTAKEを紹介する。
論文 参考訳（メタデータ） (2026-07-15T09:08:27Z) - Retrying vs Resampling in AI Control [0.42970700836450476]
我々は、AI制御の観点から再試行を行い、モデルが潜在的に敵対的なものとして扱う。
再試行は正直な疑念のスコアを減少させるが、信頼できないモデルは監視の合理性を利用してスニーカー攻撃を構築することができる。
論文 参考訳（メタデータ） (2026-05-25T17:10:41Z) - When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。
平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
論文 参考訳（メタデータ） (2026-05-25T15:57:11Z) - When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models [55.444604697848426]
リワードモデルは、RLHFのフレームワーク内のLarge Language Model (LLM)アライメントの中心である。
報酬モデリングで使用される標準的な目的はBradley-Terry(BT)損失であり、これは選択された2つの応答と拒否された応答からなるペアワイズデータから学習する。
適応型ペアワイド正規化方式であるNormBTを提案する。
論文 参考訳（メタデータ） (2025-12-06T08:15:37Z) - Reading Between the Lines: Abstaining from VLM-Generated OCR Errors via Latent Representation Probes [79.36545159724703]
隠れ状態や注目パターンの軽量プローブを学習するためのLRP(Latent Representation Probing)を提案する。
LRPは、ベストベースラインよりも吸音精度を7.6%向上させる。
これにより、デプロイメント対応AIシステムを構築するための原則化されたフレームワークが確立される。
論文 参考訳（メタデータ） (2025-11-25T00:24:42Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳（メタデータ） (2025-09-27T08:59:31Z) - Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。
現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。
時間的整合性を利用する2つの相補的手法を導入する。
論文 参考訳（メタデータ） (2025-08-12T17:59:57Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - LSTC: Boosting Atomic Action Detection with Long-Short-Term Context [60.60267767456306]
我々は行動認識パイプラインを短期的・長期的依存に分解する。
本設計では, 局所集約分枝を用いて, 密集した情報的短期的手がかりを収集する。
両方のブランチは、コンテキスト固有のアクションを独立して予測し、結果が最後にマージされる。
論文 参考訳（メタデータ） (2021-10-19T10:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。