論文の概要: Language Models Can Control Their Own Attention

• arxiv url: http://arxiv.org/abs/2609.02737v1
• Date: Wed, 02 Sep 2026 15:43:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.452863
• Title: Language Models Can Control Their Own Attention
• Title（参考訳）: 言語モデルは自身の注意を制御できる
• Abstract要約: 宣言的意図(DA:Declarative Attention)は、モデルにそのチェーン内のどこに出席すべきかを宣言するプロトコルである。 DAはデコード中の総出席トークン(52.0%、31.1%)を大幅に削減し、モデルスケールで縮小する程度の精度低下(1.27pp、2.75pp)を行う。
• 参考スコア（独自算出の注目度）: 42.07765767561011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models spend most of their attention on a small fraction of context, yet they read the entire KV cache to find the few tokens that matter. If the user asks about a previous detail in a 1M-token conversation, global attention layers must scan the full context to generate each token of the reply. A prominent approach mitigates this cost by pre-selecting relevant tokens via lightweight proxy scores, but this extrinsic scoring still incurs O(N) per step. We take an intrinsic approach motivated by the simple question: wouldn't the model already know which parts of the context are relevant? To this end, we introduce Declarative Attention (DA), a protocol that elicits the model to declare where it needs to attend within its chain-of-thought, partitioning generation into three modes: <global> (full context), <focus> (a specific region), and <local> (recent output only). The inference engine parses these declarations like tool calls and skips most of the KV cache read. Under zero-shot evaluation across 15 long-context tasks, DA on off-the-shelf models (Gemma-4-31B, Qwen-3.6-27B) significantly reduces total attended tokens during decoding (52.0%, 31.1%) with modest accuracy drops (1.27pp, 2.75pp) that shrink with model scale. DA unlocks a new axis of sparse attention, with further potential under training-based methods that future work can explore.
• Abstract（参考訳）: 言語モデルは、わずかなコンテキストに注意を払っていますが、KVキャッシュ全体を読み取って、重要なトークンを見つけます。 ユーザが100万件の会話で以前の詳細を尋ねると、グローバルアテンション・レイヤが全コンテキストをスキャンして返信のトークンを生成する必要がある。 注目すべきアプローチは、軽量プロキシスコアを通じて関連するトークンを事前に選択することで、このコストを軽減しますが、この外在的なスコアはステップ毎にO(N)を発生させます。 モデルはすでに、コンテキストのどの部分が関係しているかを知りませんか? この目的のために,<global> (フルコンテキスト), <focus> (特定の領域), <local> (最近の出力のみ) という3つのモードに分割し, チェーン・オブ・シンク内のどこに参加すべきかをモデルに宣言するプロトコルである宣言的意図(DA)を導入する。 推論エンジンはツールコールのようにこれらの宣言を解析し、ほとんどのKVキャッシュ読み込みをスキップする。 15の長文タスクのゼロショット評価では、オフザシェルフモデル(Gemma-4-31B、Qwen-3.6-27B)のDAはデコード中の総出席トークン(52.0%、31.1%)を大幅に削減し、モデルスケールで縮小する程度の精度低下(1.27pp、2.75pp)となる。 DAはスパースアテンションの新たな軸を解き放ち、将来の研究が探求できるトレーニングベースの手法のさらなる可能性を秘めている。

関連論文リスト

• Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attention [9.899649326522761]
  MTLA(Multi-Token Localized Attention)は、トレーニングなしのポストホックスコアで、予測トークンが主張する領域にどの程度強く関与しているかを測定する。 複数のMLLMファミリーと3つのモダリティにまたがって、MTLAは最高のトレーニングのないベースラインに対して、AUROCを+7から+38に改善する。
  論文  参考訳（メタデータ） (2026-07-07T08:10:57Z)
• Bottleneck Tokens for Unified Multimodal Retrieval [16.707536543758344]
  マルチモーダル検索のためのデコーダのみのマルチモーダル大言語モデル(MLLM)の適用には、2つの構造的ギャップがある。 まず、既存のメソッドは暗黙のプーリングに依存しており、シーケンスレベルの表現として標準語彙トークンの隠れた状態をオーバーロードする。 第二に、コントラスト的な微調整は、埋め込みが一致すべきものを特定するが、どのように情報を圧縮すべきかについてのトークンレベルのガイダンスは提供しない。 本稿では,Bottleneck Tokens(BToks)を紹介した。これは,固定容量明示的なプール機構として機能する,学習可能なトークンの小さなセットである。
  論文  参考訳（メタデータ） (2026-04-13T07:12:12Z)
• What am I missing here?: Evaluating Large Language Models for Masked Sentence Prediction [2.8514881296685113]
  Next Token Prediction (NTP)は、モデルを事前計画したり、長距離コヒーレンスを維持する能力を制限する。 マスケ文予測(MSP)における3つの商用LCMの評価 我々の重要な発見は、商業LLMが、他のタスクにおいて最上級のパフォーマンスにもかかわらず、低構造領域におけるマスキング文の予測に不適であることを明らかにしている。
  論文  参考訳（メタデータ） (2025-08-11T07:25:50Z)
• AhaKV: Adaptive Holistic Attention-Driven KV Cache Eviction for Efficient Inference of Large Language Models [14.013793473739236]
  我々は,蓄積した注目スコアのバイアスに対処するため,適応的全体的注意KV(Aha KV)を提案する。 Aha KVはバイアスを緩和し、グローバルな文脈で重要なトークンを保持します。
  論文  参考訳（メタデータ） (2025-06-04T09:25:53Z)
• Learning to Attribute with Attention [75.61481181755744]
  本稿では,異なる注目頭部の注意重みを特徴として扱うことを提案する。 このようにして、属性に注意重みを効果的に活用する方法を学ぶことができる。 提案手法であるAtribution with Attention (AT2) は,多くのアブリケーションを含むアプローチと確実に同等に機能する。
  論文  参考訳（メタデータ） (2025-04-18T15:36:28Z)
• NoLiMa: Long-Context Evaluation Beyond Literal Matching [100.00398424275501]
  NoLiMaは、NIAHテストを拡張したベンチマークである。 干し草の山の中に針を見つけるためには、潜伏関係を推測するモデルが必要である。 我々は、少なくとも128Kトークンのコンテキストをサポートすると主張する13の人気のある大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-02-07T18:49:46Z)
• Language Models (Mostly) Know When to Stop Reading [24.246459354913146]
  大規模言語モデル(LLM)は、クエリに応答するために必要な情報がコンテキスト内にローカライズされた場合、入力コンテキスト全体を無差別に処理する。 タスク関連情報を取得する際に, LLM が自己決定処理を行うことのできる新しい手法である動的コンテキストカットオフを提案する。
  論文  参考訳（メタデータ） (2025-02-03T03:38:29Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Anti-LM Decoding for Zero-shot In-context Machine Translation [59.26037416204157]
  本研究は, 文脈内機械翻訳の弱点に対処するために, 減衰係数を付加したアンチランゲージモデルを提案する。 3つのモデルタイプとサイズ,3つの言語方向,およびグリージーデコーディングとビームサーチの両方に対して実験を行う。
  論文  参考訳（メタデータ） (2023-11-14T17:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。