論文の概要: Reinforced Attention Learning

• arxiv url: http://arxiv.org/abs/2602.04884v1
• Date: Wed, 04 Feb 2026 18:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.705781
• Title: Reinforced Attention Learning
• Title（参考訳）: 強化された注意学習
• Authors: Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen, Derek Zhiyuan Cheng,
• Abstract要約: 強化学習によるポストトレーニングは、テストタイムスケーリングを通じて、大規模言語モデル(LLM)の推論を大幅に改善した。 本稿では,内部の注意分布を直接最適化する政策段階のフレームワークであるReinforced Attention Learning (RAL)を提案する。 本研究は,マルチモーダルポストトレーニングの原則的かつ汎用的な代替手段として,アテンションポリシーを位置づけた。
• 参考スコア（独自算出の注目度）: 31.811884163778302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training with Reinforcement Learning (RL) has substantially improved reasoning in Large Language Models (LLMs) via test-time scaling. However, extending this paradigm to Multimodal LLMs (MLLMs) through verbose rationales yields limited gains for perception and can even degrade performance. We propose Reinforced Attention Learning (RAL), a policy-gradient framework that directly optimizes internal attention distributions rather than output token sequences. By shifting optimization from what to generate to where to attend, RAL promotes effective information allocation and improved grounding in complex multimodal inputs. Experiments across diverse image and video benchmarks show consistent gains over GRPO and other baselines. We further introduce On-Policy Attention Distillation, demonstrating that transferring latent attention behaviors yields stronger cross-modal alignment than standard knowledge distillation. Our results position attention policies as a principled and general alternative for multimodal post-training.
• Abstract（参考訳）: Reinforcement Learning (RL)によるポストトレーニングでは、テスト時間スケーリングによる大規模言語モデル(LLM)の推論が大幅に改善された。 しかし、このパラダイムを冗長な理性を通してマルチモーダル LLM (MLLM) に拡張すると、知覚の利得が制限され、性能も低下する。 本稿では,出力トークンシーケンスではなく,内部の注意分布を直接最適化する政策段階のフレームワークであるReinforced Attention Learning(RAL)を提案する。 ALは、どの生成からどこに出席するかに最適化をシフトすることで、複雑なマルチモーダル入力における効果的な情報割り当てとグラウンド化の改善を促進する。 多様な画像とビデオのベンチマークによる実験では、GRPOや他のベースラインよりも一貫した利得を示している。 さらに, 潜入注意行動の伝達が, 標準的な知識蒸留よりも強いクロスモーダルアライメントをもたらすことを示す, オン・ポリシィ注意蒸留についても紹介する。 本研究は,マルチモーダルポストトレーニングの原則的かつ汎用的な代替手段として,アテンションポリシーを位置づけた。

関連論文リスト

• DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning [37.20873499361773]
  マスク付き拡散大言語モデル (dLLM) を学習し, より優れた推論を行うための統一フレームワークを提案する。 我々はまず,既存の基本方針を,真のdLLM政策の近似としてはるかに難易度の高い,政治外RLによるサロゲート政策の訓練により統一する。 RLでは、各プロンプトに対して推論閾値を適応的に割り当てることによって、dLLMの自然なマルチトークン予測能力をインセンティブ化する。
  論文  参考訳（メタデータ） (2025-10-02T16:57:24Z)
• Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs [13.036236161537147]
  大規模言語モデル(LLM)は、大規模な事前学習を通じて広範囲の事前知識を取得し、教師付き微調整(SFT)や強化学習(RL)ベースの後訓練によってさらに強化することができる。 RL微細調整は、SFT単独で達成した以上のLLMの能力を向上することを示す証拠が増えている。 しかし、RL微調整が固有の特性の異なる様々なLLMの能力を高めるメカニズムは未解明のままである。
  論文  参考訳（メタデータ） (2025-09-25T11:51:05Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• PeRL: Permutation-Enhanced Reinforcement Learning for Interleaved Vision-Language Reasoning [50.21619363035618]
  本稿では,マルチモーダルタスクのインターリーブに適した汎用強化学習手法PeRLを提案する。 空間的および位置的多様性を探索するために、様々な位置関係をシミュレートするために、画像列の置換を導入する。 実験の結果,PeRLのトレーニングモデルは,VLMベースラインを大きなマージンで,R1関連およびインターリーブしたVLMベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-17T18:25:56Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• R1-ShareVL: Incentivizing Reasoning Capability of Multimodal Large Language Models via Share-GRPO [91.25793883692036]
  我々は、強化学習(RL)を通してMLLMの推論能力を高めることを目的としている。 本稿では,これらの問題に対処する新しいRL手法であるShare-GRPOを提案する。 さらに、Share-GRPOは、利点計算中の報酬情報も共有している。
  論文  参考訳（メタデータ） (2025-05-22T13:39:32Z)
• DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
  本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。 我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。 実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:10:27Z)
• MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning [55.82649731348012]
  MMK12データセットとMM-EUREKAを7B,32Bパラメータで導入する。 前者は、人間の検証された答えと解法を含む多様な知識領域を特徴とする高品質なマルチモーダル数学推論データセットである。 後者は,オンラインフィルタリングを利用したルールベース強化学習と,トレーニング安定性を高めるための2段階トレーニング戦略を用いたマルチモーダルモデルである。
  論文  参考訳（メタデータ） (2025-03-10T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。