論文の概要: Mitigating Posterior Salience Attenuation in Long-Context LLMs with Positional Contrastive Decoding

• arxiv url: http://arxiv.org/abs/2506.08371v2
• Date: Wed, 11 Jun 2025 03:10:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:48.052598
• Title: Mitigating Posterior Salience Attenuation in Long-Context LLMs with Positional Contrastive Decoding
• Title（参考訳）: 位置コントラストデコーディングによる長期LLMにおける後部サリエンス減衰の緩和
• Authors: Zikai Xiao, Ziyang Wang, Wen Ma, Yan Zhang, Wei Shen, Yan Wang, Luqi Gong, Zuozhu Liu,
• Abstract要約: 後天無力化(PSA)現象は,長期の経時的パフォーマンス低下と相関する。 本研究では,長時間の注意から得られるロジットと設計した局所的な注意から得られるロジットとを対比した,訓練不要な位置コントラストデコーディング(PCD)を提案する。 PCDは、長いコンテキストのベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 20.49289663830352
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While Large Language Models (LLMs) support long contexts, they struggle with performance degradation within the context window. Current solutions incur prohibitive training costs, leaving statistical behaviors and cost-effective approaches underexplored. From the decoding perspective, we identify the Posterior Salience Attenuation (PSA) phenomenon, where the salience ratio correlates with long-text performance degradation. Notably, despite the attenuation, gold tokens still occupy high-ranking positions in the decoding space. Motivated by it, we propose the training-free Positional Contrastive Decoding (PCD) that contrasts the logits derived from long-aware attention with those from designed local-aware attention, enabling the model to focus on the gains introduced by large-scale short-to-long training. Through the analysis of long-term decay simulation, we demonstrate that PCD effectively alleviates attention score degradation. Experimental results show that PCD achieves state-of-the-art performance on long-context benchmarks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は長いコンテキストをサポートするが、コンテキストウィンドウ内でのパフォーマンス低下に悩まされる。 現在のソリューションでは、統計的行動やコスト効率の低いアプローチが探索されていないため、禁止的なトレーニングコストが発生している。 復号化の観点から,PSA(Posterior Salience Attenuation)現象を同定する。 特に、減衰にもかかわらず、金のトークンはデコード空間の上位の位置を占める。 そこで本研究では,長期的注意から得られるロジットと設計した局所的注意からのロジットとを対比し,大規模短期訓練による利得に着目した学習自由な位置コントラストデコーディング(PCD)を提案する。 長期劣化シミュレーションの解析を通じて,PCDは注目スコアの劣化を効果的に軽減することを示した。 実験結果から,PCDは長文ベンチマークで最先端の性能を達成できることがわかった。

関連論文リスト

• DySCO: Dynamic Attention-Scaling Decoding for Long-Context LMs [33.73060961870464]
  長文推論を改善するための新しい復号アルゴリズムであるDySCOを提案する。 DySCOは生成中の注意を動的に調整し、関連するコンテキストをよりよく活用する。 DySCOは、挑戦的な長期コンテキスト推論ベンチマークのパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-25T18:21:35Z)
• PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
  本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。 PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。 3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T08:56:52Z)
• LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards [57.993003392037174]
  LongRは動的"Think-and-Read"メカニズムを統合することで、長時間コンテキストのパフォーマンスを向上させるフレームワークである。 LongRは様々なRLアルゴリズムのパフォーマンスを継続的に向上する。
  論文  参考訳（メタデータ） (2026-02-05T15:26:47Z)
• Incentivizing In-depth Reasoning over Long Contexts with Process Advantage Shaping [38.280470586624496]
  長文推論には正確な接地と頑健な長距離推論の両方が必要である。 本稿では,KG駆動型フレームワークであるDeepReasonQAを提案する。 提案手法はRLVRのベースラインを大幅に上回り,パラメータをはるかに少なくしてフロンティアのLLMにマッチすることを示す。
  論文  参考訳（メタデータ） (2026-01-18T16:10:04Z)
• Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models [0.0]
  大規模言語モデル(LLM)は複雑な推論ベンチマークで急速に改善されている。 産業アプリケーションの場合、モデルの選択は生の精度だけでなく、リソースの制約や推論コストにも依存する。
  論文  参考訳（メタデータ） (2025-12-31T10:51:32Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Writing-RL: Advancing Long-form Writing via Adaptive Curriculum Reinforcement Learning [55.41828729623907]
  本稿では,適応型カリキュラム強化学習フレームワーク「Ling-RL: An Adaptive Curriculum Reinforcement Learning」について紹介する。 フレームワークは3つの重要なコンポーネントで構成されている。高い学習可能性を持つサンプルを優先するMargin-aware Data Selection戦略、差別的な学習信号を提供するPairwise Comparison Rewardメカニズム、動的参照スケジューリングアプローチである。
  論文  参考訳（メタデータ） (2025-06-06T05:40:39Z)
• Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space [82.75174050101108]
  テスト時間インスタンスレベルの適応(TTIA)を通じて推論を強化するフレームワークであるLatentSeekを紹介した。 LatentSeekは、GSM8K、MATH-500、AIME2024など、さまざまな推論ベンチマークで評価されている。 結果は、LatentSeekが一貫して強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-19T16:26:02Z)
• Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models [26.51079570548107]
  大型言語モデル (LLM) は、しばしば文脈に忠実な幻覚を示す。 単一パスデコーディングにおける注意分布と不確実性信号を利用する軽量なフレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。
  論文  参考訳（メタデータ） (2025-01-02T05:07:06Z)
• Self-Consistency Falls Short! The Adverse Effects of Positional Bias on Long-Context Problems [18.633918831942434]
  大規模言語モデル(LLM)の性能向上のために,自己整合性(SC)が実証されている。 SCの利点が長文設定に一般化されるという仮定に挑戦する。 SCは改善に失敗するだけでなく、長文タスクのパフォーマンスを積極的に低下させる。
  論文  参考訳（メタデータ） (2024-11-02T01:52:42Z)
• HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation [19.42279057349193]
  位置符号化(PE)は、長く続く帰納的意見に基づいて、長期的な腐敗を示すように設計されている。 我々は、LLMがコンテキスト内情報の正確な検索を要求するタスクに適用されるようになったため、LLMの時代において長期の崩壊は時代遅れであると主張している。
  論文  参考訳（メタデータ） (2024-10-28T17:01:52Z)
• Interpretable Long-term Action Quality Assessment [12.343701556374556]
  長時間の行動品質評価(AQA)は、ビデオにおける活動の実行を評価する。 現在のAQA法は、クリップの特徴を平均化することで単一のスコアを生成する。 長期的なビデオは、アクションの複雑さと多様性のために、さらなる困難を生じさせる。
  論文  参考訳（メタデータ） (2024-08-21T15:09:09Z)
• Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
  視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。 LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。 このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
  論文  参考訳（メタデータ） (2024-06-24T17:58:03Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models [48.35385912526338]
  本稿では,入力長がLarge Language Models(LLMs)の能力に与える影響について検討する。 同一サンプルの複数バージョンを用いて入力長の影響を分離し,それぞれが異なる長さ,タイプ,位置のパディングで拡張した。 劣化傾向はデータセットのすべてのバージョンに現れるが、強度は異なる。
  論文  参考訳（メタデータ） (2024-02-19T16:04:53Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Visual Alignment Constraint for Continuous Sign Language Recognition [74.26707067455837]
  ビジョンベースの継続的署名言語認識は、画像シーケンスから未分割ジェスチャーを認識することを目的とする。 本研究は,最近のCTCに基づくCSLRにおける過剰適合問題を再考し,特徴抽出器の訓練不足によるものである。 視覚アライメント制約(vac)により、よりアライメントの監督により特徴抽出器を強化する。
  論文  参考訳（メタデータ） (2021-04-06T07:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。