論文の概要: HEALing Entropy Collapse: Enhancing Exploration in Few-Shot RLVR via Hybrid-Domain Entropy Dynamics Alignment

• arxiv url: http://arxiv.org/abs/2604.17928v1
• Date: Mon, 20 Apr 2026 08:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.757051
• Title: HEALing Entropy Collapse: Enhancing Exploration in Few-Shot RLVR via Hybrid-Domain Entropy Dynamics Alignment
• Title（参考訳）: HEALing Entropy Collapse:Hybrid-Domain Entropy Dynamics AlignmentによるFew-Shot RLVRの探索強化
• Authors: Zhanyu Liu, Qingguo Hu, Ante Wang, Chenqing Liu, Zhishang Xiang, Hui Li, Delai Qiu, Jinsong Su,
• Abstract要約: ハイブリッドドメインエントロピーダイナミックスアライメント(HEAL)は、数ショットのRLVRに適したフレームワークである。 HEALはまず、より多様な探索を促進するために、高価値な汎用ドメインデータを選択的に組み込む。 EDAは、目標領域と一般領域の間の軌道レベルのエントロピーダイナミクスを整列し、エントロピー等級と微粒度の変化を捉える。
• 参考スコア（独自算出の注目度）: 30.070033698153882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Reward (RLVR) has proven effective for training reasoning-oriented large language models, but existing methods largely assume high-resource settings with abundant training data. In low-resource scenarios, RLVR is prone to more severe entropy collapse, which substantially limits exploration and degrades reasoning performance. To address this issue, we propose Hybrid-domain Entropy dynamics ALignment (HEAL), a framework tailored for few-shot RLVR. HEAL first selectively incorporates high-value general-domain data to promote more diverse exploration. Then, we introduce Entropy Dynamics Alignment (EDA), a reward mechanism that aligns trajectory-level entropy dynamics between the target and general domains, capturing both entropy magnitude and fine-grained variation. Through this alignment, EDA not only further mitigates entropy collapse but also encourages the policy to acquire more diverse exploration behaviors from the general domain. Experiments across multiple domains show that HEAL consistently improves few-shot RLVR performance. Notably, using only 32 target-domain samples, HEAL matches or even surpasses full-shot RLVR trained with 1K target-domain samples.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Reward (RLVR)は、推論指向の大規模言語モデルのトレーニングに有効であることが証明されているが、既存の手法では、豊富なトレーニングデータを持つ高リソース設定を前提としている。 低リソースのシナリオでは、RLVRはより深刻なエントロピー崩壊を起こしやすいため、探索が大幅に制限され、推論性能が低下する。 この問題に対処するために,数発のRLVRに適したフレームワークであるHybrid-domain Entropy dynamics ALignment (HEAL)を提案する。 HEALはまず、より多様な探索を促進するために、高価値な汎用ドメインデータを選択的に組み込む。 次に,対象領域と一般領域の間で軌道レベルのエントロピーダイナミクスを整列させ,エントロピー等級と微粒度の変化を捉える報奨機構であるエントロピーダイナミクスアライメント(EDA)を導入する。 このアライメントを通じて、EDAはエントロピー崩壊をさらに緩和するだけでなく、一般領域からより多様な探査行動を取得するよう政策を奨励する。 複数の領域にわたる実験により、HEALは連続的に数発のRLVRパフォーマンスを改善している。 特に、32のターゲットドメインサンプルだけで、HEALは1KのターゲットドメインサンプルでトレーニングされたフルショットのRLVRにマッチする。

関連論文リスト

• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
  CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。 私たちのアプローチの中心は、強化学習と因果推論を統合することです。 提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
  論文  参考訳（メタデータ） (2025-11-10T12:45:52Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Rethinking Entropy Regularization in Large Reasoning Models [43.961667993429906]
  検証可能な報酬(RLVR)による強化学習は、大きな推論モデル(LRM)の推論能力を高める上で大きな可能性を示している。 エントロピー崩壊と早期収束という重大な問題に悩まされている。 本稿では,SIREN(SelectIve entRopy rEgularizatioN)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:49:25Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。