論文の概要: Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning

• arxiv url: http://arxiv.org/abs/2610.21336v1
• Date: Thu, 15 Oct 2026 06:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.217119
• Title: Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning
• Title（参考訳）: 疎度・連続強化学習ファインタニングのための注意ヘッドのランク付けと分割
• Abstract要約: 本研究は,注目度と分割による言語モデルのスパースおよび継続的強化学習に関する研究である。 スパース学習では、注意点を勾配ノルムでランク付けし、効果的に訓練できる少数の頭部を識別する。 継続的な学習では、タスク間でヘッドを分割し、タスク間の干渉を減らし、以前に学習した能力を保持する。
• 参考スコア（独自算出の注目度）: 25.277905324954315
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We study sparse and continual reinforcement learning fine-tuning of language models through attention-head ranking and partitioning. For sparse learning, we rank attention heads by gradient norm to identify a small subset of heads that can be trained effectively. For continual learning, we partition heads across tasks to reduce cross-task interference and preserve previously learned capabilities. Theoretically, we relate gradient norm to training effectiveness, and further characterize why sparse, separated head updates can remain stable. Empirically, across math, instruction-following, and coding tasks, tuning higher-ranked heads consistently outperforms tuning lower-ranked ones while often matching denser baselines, and head partitioning improves retention while preserving adaptation to new tasks.
• Abstract（参考訳）: 本研究は,注目度と分割による言語モデルのスパースおよび継続的強化学習に関する研究である。 スパース学習では、注意点を勾配ノルムでランク付けし、効果的に訓練できる少数の頭部を識別する。 継続的な学習では、タスク間でヘッドを分割し、タスク間の干渉を減らし、以前に学習した能力を保持する。 理論的には、勾配ノルムとトレーニングの有効性を関連付けるとともに、スペアで分離されたヘッド更新が安定している理由をさらに特徴付ける。 経験的には、数学、命令追従、コーディングタスクを通じて、上位のヘッドのチューニングは、しばしばより密度の高いベースラインにマッチしながら下位のヘッドのチューニングを一貫して上回り、ヘッドパーティショニングは新しいタスクへの適応を維持しながら保持を改善する。

関連論文リスト

• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Infinite dSprites for Disentangled Continual Learning: Separating Memory Edits from Generalization [36.23065731463065]
  Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。 この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。 生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
  論文  参考訳（メタデータ） (2023-12-27T22:05:42Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Self-Supervised Learning of Audio Representations from Permutations with Differentiable Ranking [35.644680012765356]
  我々は、音声信号のスペクトルのシャッフル部分の並べ替えをモデルに事前学習することで、置換から自己教師付き学習を進める。 逆順列は教師なしの方法で音声表現を学習するための有意義な前文課題であることを示す。
  論文  参考訳（メタデータ） (2021-03-17T19:36:04Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。