論文の概要: On-Policy Attention Linearization

• arxiv url: http://arxiv.org/abs/2609.31947v1
• Date: Fri, 25 Sep 2026 19:53:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:22:06.492121
• Title: On-Policy Attention Linearization
• Title（参考訳）: On-Policy Attention Linearization
• Abstract要約: そこで,本研究では,ハイブリッド・アテンション・ライナライゼーション(OPAL)について紹介する。 これらの結果は、教師付き微調整(SFT)や、検証可能な報酬(RLVR)による強化学習(RLVR)を使わずに達成できる。
• 参考スコア（独自算出の注目度）: 13.20612010652471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid transformer architectures that replace most softmax attention layers with linear attention offer transformer-level quality at a fraction of the memory cost. Rather than pretraining such models, a growing body of work distills them from already trained full-attention transformers. However, these distilled models often collapse on long-context retrieval and reasoning tasks, particularly when operating in thinking mode, where the efficiency gains of hybrid architectures matter most. Since linear attention layers must compress context into a fixed-size state, their errors compound over long sequences. As off-policy distillation never teaches the student model to recover from this drift, tasks that necessitate longer sequence lengths become especially challenging. We introduce On-Policy Attention Linearization (OPAL) in which the hybrid attention student samples its own long-context trajectories and receives dense supervision from the frozen full-attention teacher. Applying OPAL to Qwen3-4B and MiMo-7B-RL-0530, we recover $87$--$94\%$ of full-attention performance on commonsense reasoning, $100\%$ on needle-in-a-haystack (NIAH) retrieval, and $83$--$93\%$ on mathematical reasoning with only 3B training tokens. We achieve these results without supervised fine-tuning (SFT) or reinforcement learning with verifiable rewards (RLVR). Compared with the strongest prior linearization method, which recovers $68\%$ of its teacher's retrieval performance and $21.6\%$ absolute average mathematical reasoning accuracy, OPAL fully recovers retrieval and achieves $67.6$--$72.2\%$ on math reasoning.
• Abstract（参考訳）: ほとんどのソフトマックスアテンション層を線形アテンションに置き換えるハイブリッドトランスフォーマーアーキテクチャは、メモリコストのごく一部でトランスフォーマーレベルの品質を提供する。 このようなモデルを事前訓練するのではなく、成長する作業体は、既に訓練されたフルアテンショントランスフォーマーからそれらを蒸留する。 しかしながら、これらの蒸留モデルは、特にハイブリッドアーキテクチャの効率が向上する思考モードで作業する場合、長いコンテキストの検索や推論タスクでしばしば崩壊する。 線形アテンション層はコンテキストを固定サイズの状態に圧縮する必要があるため、それらのエラーは長いシーケンスで複雑になる。 政治外の蒸留では、このドリフトから回復するために学生モデルを教えることは決してないため、長いシーケンスの長さを必要とするタスクは特に困難になる。 そこで,本研究では,ハイブリット・アテンション・ライナライゼーション(OPAL)について紹介する。 Qwen3-4B と MiMo-7B-RL-0530 に OPAL を適用して,コモンセンス推論における完全アテンション性能が 87$--94\% ,NIAH ( needle-in-a-haystack) 検索で 100\% ,3B トレーニングトークンのみによる数学的推論で 833$--93\% を回収する。 これらの結果は、教師付き微調整(SFT)や、検証可能な報酬(RLVR)による強化学習(RLVR)を使わずに達成できる。 教師の検索性能の6,8\%と絶対平均数学的推論精度の21.6\%を回復する最強の事前線形化法と比較して、OPALは検索を完全に回復し、数学推論の67.6$--72.2\%を達成している。

関連論文リスト

• Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation [30.73946553166944]
  その結果,Taylor-Calibrate はゼロショットの学生に対して,最大で88倍の成績を示した。 4つの教師設定と3つの保持層ポリシーの中で、Taylor-Calibrateはより強力なゼロショットの学生に、代表的アブレーションの最大88倍の改善を与える。
  論文  参考訳（メタデータ） (2026-06-15T09:04:13Z)
• When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer [3.9884634110676096]
  ポストトレーニングデータにおける数学問題のない7Bモデルにおけるクロスドメイン転送について検討する。 9クラススパンとモチーフ抽出を組み合わせた推論プリミティブなフレームワークを導入する。 パズル SFT は,OlymMATH-Hard に対して,$7$pp の textttpass@32 のボキャブラリを誘導する。
  論文  参考訳（メタデータ） (2026-05-28T00:04:18Z)
• $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
  検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。 チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。 再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
  論文  参考訳（メタデータ） (2026-03-07T13:17:46Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Gradient-based Intra-attention Pruning on Pre-trained Language Models [21.444503777215637]
  本稿では,GRAIN (Gradient-based intra-attention pruning) を用いた構造化プルーニング手法を提案する。 GRAINは、アテンション内構造を検査し、プーンし、構造探索空間を大きく拡張し、より柔軟なモデルを可能にする。 GLUE、SQuAD、CoNLL 2003の実験では、GRAINは特に高頻度で他の手法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-15T06:52:31Z)
• Greedy Layer Pruning: Decreasing Inference Time of Transformer Models [0.0]
  教師なし事前学習後の微調整変圧器モデルは、多くの異なるNLPタスクにおいて非常に高い性能に達する。 1つの解決策は知識蒸留を使うことであり、これは大きな教師モデルからより小さな学生モデルに情報を転送することでこの問題を解決する。 もう1つの解決策は、トランスモデルの高い圧縮速度に達する層ワイドプルーニング法を使用することである。 本稿では, 層状プルーニングの最先端化のために, GLP (greedy layer pruning) を導入している。
  論文  参考訳（メタデータ） (2021-05-31T09:52:41Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。