論文の概要: UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

• arxiv url: http://arxiv.org/abs/2603.18446v1
• Date: Thu, 19 Mar 2026 03:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.935196
• Title: UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference
• Title（参考訳）: UT-ACA: 長文推論のための不確かさトリガー適応型コンテキストアロケーション
• Authors: Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng,
• Abstract要約: 長文推論は、注意の希釈とアウト・オブ・ディストリビューションの劣化により、大きな言語モデルでは困難である。 トークン単位の不確実性に基づいてコンテキストウィンドウを動的に調整する推論時フレームワークである Uncertainty-Triggered Adaptive Context Allocation (UT-ACA) を提案する。 UT-ACAは、長いコンテキスト設定で生成品質を保ちながら、平均的なコンテキスト使用量を大幅に削減することを示す実験である。
• 参考スコア（独自算出の注目度）: 41.15520696680647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context inference remains challenging for large language models due to attention dilution and out-of-distribution degradation. Context selection mitigates this limitation by attending to a subset of key-value cache entries, yet most methods allocate a fixed context budget throughout decoding despite highly non-uniform token-level contextual demands. To address this issue, we propose Uncertainty-Triggered Adaptive Context Allocation (UT-ACA), an inference-time framework that dynamically adjusts the context window based on token-wise uncertainty. UT-ACA learns an uncertainty detector that combines semantic embeddings with logit-based confidence while accounting for uncertainty accumulation across decoding steps. When insufficient evidence is indicated, UT-ACA selectively rolls back, expands the context window, and regenerates the token with additional support. Experiments show that UT-ACA substantially reduces average context usage while preserving generation quality in long-context settings.
• Abstract（参考訳）: 長文推論は、注意の希釈とアウト・オブ・ディストリビューションの劣化により、大きな言語モデルでは依然として困難である。 コンテキスト選択は、キーバリューキャッシュエントリのサブセットに参加することで、この制限を緩和するが、ほとんどのメソッドは、高度に一様でないトークンレベルのコンテキスト要求にもかかわらず、デコードを通して固定されたコンテキスト予算を割り当てる。 この問題に対処するために,トークン単位の不確実性に基づいてコンテキストウィンドウを動的に調整する推論時フレームワークである Uncertainty-Triggered Adaptive Context Allocation (UT-ACA) を提案する。 UT-ACAは、セマンティック埋め込みとロジットベースの信頼性を組み合わせた不確実性検出法を学習し、デコードステップ間の不確実性蓄積を考慮に入れている。 証拠が不十分な場合、UT-ACAは選択的にロールバックし、コンテキストウィンドウを拡張し、追加のサポートでトークンを再生する。 UT-ACAは、長いコンテキスト設定で生成品質を保ちながら、平均的なコンテキスト使用量を大幅に削減することを示す実験である。

関連論文リスト

• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Gated Differentiable Working Memory for Long-Context Language Modeling [80.27483324685434]
  本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は均一なベースラインよりも 4$times$ の勾配ステップで同等または優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-19T10:00:33Z)
• AdaGReS:Adaptive Greedy Context Selection via Redundancy-Aware Scoring for Token-Budgeted RAG [4.69377227249912]
  本稿ではトークン予算RAGのための冗長性を考慮したコンテキスト選択フレームワークであるAdaGReSを紹介する。 AdaGReSは、目的から派生した限界ゲインを用いてトークン予算制約の下で欲求選択を行う。 オープンドメイン質問応答(Natural Questions)と高冗長バイオメディカル(ドラッグ)コーパスの実験は、冗長性制御とコンテキスト品質の一貫性を実証している。
  論文  参考訳（メタデータ） (2025-12-31T18:48:07Z)
• Context-Picker: Dynamic context selection using multi-stage reinforcement learning [4.539896456749749]
  長文質問応答のための推論対応フレームワークであるemphContext-Pickerを紹介した。 Context-Pickerはコンテキスト選択を、人間にインスパイアされた2段階の強化学習スケジュールを通じて最適化された意思決定プロセスとして扱う。 5つの長コンテキストおよびマルチホップQAベンチマークの実験は、Context-Pickerが強力なRAGベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-12-16T14:52:11Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
  本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。 提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。 実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
  論文  参考訳（メタデータ） (2025-06-10T06:40:43Z)
• Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts [24.5315425886482]
  文脈の影響を効果的に活用するための適応型コントラスト復号法(ACD)を提案する。 ACDは、ベースラインよりもオープンドメインの質問応答タスクの改善を示している。
  論文  参考訳（メタデータ） (2024-08-02T08:03:38Z)
• Stochastic Conservative Contextual Linear Bandits [8.684768561839146]
  不確実性の下での安全なリアルタイム意思決定の問題について検討する。 我々は、リアルタイム意思決定のための保守的な文脈的帯域幅の定式化を定式化する。
  論文  参考訳（メタデータ） (2022-03-29T14:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。