注目論文デイリーレポート

Abstractの概要

本論文では、言語モデル自身がデコード中にアテンションを向けるべき箇所を明示的に宣言するプロンプティングおよび推論プロトコルであるDeclarative Attention（DA）を提案しています。DAは生成をグローバル、フォーカス、ローカルの3つのモードに分割し、推論エンジンがこれらの宣言を解析してモデルの再学習なしにKVキャッシュの読み込みの大半をスキップするアテンションマスクを構築します。この手法は15種類のタスクにおいて既存の長文脈モデルを用いてゼロショットで評価され、グローバルアテンション層にブロック単位のアライメント調整マスクを適用するカスタムvLLM統合を利用しています。本論文はDAを外部のトークンスコアリング手法に対する本質的な代替案と位置付け、標準的な推論に近い精度を維持しながら長文脈デコードのコストを削減することを目指しています。

新規性

従来のように代理スコアや隠れ層のアクティベーションからスパースアテンションを推定するのではなく、モデル自身にテキストでアテンション計画を記述させ、その制御トークンを用いてデコード時のマスキングを駆動する点が独自のアプローチです。また本研究は、タスク非依存のプロトコルにより標準的なモデルからゼロショットでこれを引き出すことができ、アテンションカーネルを変更することなくvLLMに実装可能であることを示しています。

成果

15の長文脈タスクにおいて、DAはデコード時の総アテンション対象トークン数をGemma-4-31Bで52.0%、Qwen-3.6-27Bで31.1%削減し、平均精度の低下はそれぞれ1.27および2.75パーセンテージポイントにとどまりました。効率向上の要因はアテンションマスク自体にあるとされ、より強力なモデルほど精度の低下幅が小さくなり、文脈長が長くなるほど絶対的なトークン削減量が増加することが報告されています。さらにルーフライン分析により、最適化されたサービング環境においてデコードの実行時間がバニラ推論と比較してGemma-4-31Bで0.71倍、Qwen-3.6-27Bで0.77倍に短縮されると試算されています。

論文の注目点

1. DAは生成プロセスを明示的な<global>、<focus>、<local>モードに構造化し、デコード中に可視状態を維持する文脈領域をモデル自身が制御できるようにします。
2. チャンク化されたDAプロンプト形式単体でも精度はほぼ維持され、観察されたトークン削減の主な要因はカスタムアテンションマスクにあります。
3. DA適用時の精度はモデル規模の拡大に伴って向上し、コードリポジトリや対話履歴などの最も文脈が長いタスクで最大の絶対削減量が得られます。

参考リンク

• arXiv: https://arxiv.org/abs/2609.02737v1
• Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.02737v1
• Hugging Face Papers: https://huggingface.co/papers/2609.02737