論文の概要: The First Drop of Ink: Nonlinear Impact of Misleading Information in Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2605.10828v1
• Date: Mon, 11 May 2026 16:46:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:51.003369
• Title: The First Drop of Ink: Nonlinear Impact of Misleading Information in Long-Context Reasoning
• Title（参考訳）: インクの第一滴:ロングコンテキスト推論におけるミスリーディング情報の非線形影響
• Authors: Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang,
• Abstract要約: 注意散らし情報がどのように長文パフォーマンスに影響を及ぼすかを検討する。 ハードトラクタはわずかな割合でも不均等な注意を惹きつける。 実質的な回復には、ハードディトラクタ比をほぼゼロに下げる必要があると結論付けている。
• 参考スコア（独自算出の注目度）: 12.007575333608175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models are increasingly deployed in retrieval-augmented generation and agentic systems that accumulate extensive context, understanding how distracting information affects long-context performance becomes critical. Prior work shows that semantically relevant yet misleading documents degrade performance, but the quantitative relationship between the proportion of distractors and performance remains unstudied. In this work, we systematically vary the hard-distractor proportion in fixed-length contexts, revealing a striking nonlinear pattern: as the proportion of hard distractors increases, performance drops sharply within the first small fraction, while the remainder of the range yields only marginal additional decline. We term this ''The First Drop of Ink'' effect, analogous to how a single drop of ink contaminates water. Our theoretical and empirical analyses grounded in attention mechanics show that hard distractors capture disproportionate attention even at small proportions, with diminishing marginal impact as their proportion grows. Controlled experiments further show that filtering gains mainly come from context-length reduction rather than distractor removal; substantial recovery requires reducing the hard-distractor proportion to near zero, highlighting the importance of upstream retrieval precision.
• Abstract（参考訳）: 大規模な言語モデルが、広範囲のコンテキストを蓄積する検索強化世代やエージェントシステムにますます展開されるにつれて、情報の分散が長期コンテキストのパフォーマンスにどのように影響するかを理解することが重要になる。 先行研究は、意味的に関連があるが誤解を招く文書がパフォーマンスを低下させることを示しているが、気晴らしの比率とパフォーマンスの量的関係は未検討のままである。 本研究では, 固定長文脈におけるハードディトラクタ比を系統的に変化させ, 顕著な非線形パターンを明らかにした。 この「最初のインク滴」効果は、1滴のインク滴が水を汚染する方法に類似している。 我々の理論的および実証的な分析は、ハードトラクタがわずかな割合でも不均等な注意を捉え、その割合が大きくなるにつれて限界的な影響が減少することを示している。 さらに制御された実験では、フィルタの利得は主にイントラクタ除去ではなく、文脈長の削減によるものであることが示されており、かなりの回復には、上流での検索精度の重要性を強調しながら、ハードディトラクタ比をほぼゼロに抑える必要がある。

関連論文リスト

• Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
  本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。 因果推論において,ビデオコンテンツは体系的に過小評価されている。 教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
  論文  参考訳（メタデータ） (2026-05-10T08:48:58Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Do Reasoning Vision-Language Models Inversely Scale in Test-Time Compute? A Distractor-centric Empirical Analysis [17.897469162097085]
  視覚言語モデルにおける視覚的障害がテスト時間スケーリングに与える影響について検討する。 視覚的注意散らしは、基本的にテキストと異なることが分かりました。 本稿では、推論モデルにおけるバイアス駆動予測を緩和するための簡単なプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-26T13:49:08Z)
• Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
  本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。 GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
  論文  参考訳（メタデータ） (2025-09-03T08:13:52Z)
• Empirical Quantification of Spurious Correlations in Malware Detection [7.217646443972148]
  モデルがコンパイラが残した空の空間にどのように依存しているかを示す。 運用にどちらが適しているかをよりよく理解するために、エンド・ツー・エンドの2つのモデルのランキングを導入します。
  論文  参考訳（メタデータ） (2025-06-11T12:32:06Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences [38.919090721583075]
  事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。 そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。 提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
  論文  参考訳（メタデータ） (2022-12-19T18:51:06Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Why Attentions May Not Be Interpretable? [46.69116768203185]
  近年の研究では、注目・重要解釈は期待どおりに機能しないことが多いことが判明した。 この現象の根本原因の一つがショートカットであり、注意重み自体が余分な情報を運ぶ可能性があることを示している。 この問題を緩和する2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T05:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。