論文の概要: Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping for Unsupervised Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2605.04065v2
• Date: Thu, 07 May 2026 04:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.556614
• Title: Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping for Unsupervised Reasoning in LLMs
• Title（参考訳）: LLMにおける教師なし推論のための適応的アドバンテージシェイピングを用いた自由エネルギー駆動型強化学習
• Authors: Yiming Huang, Zhenbo Shi, Xin-Cheng Wen, Jichuan Zeng, Cuiyun Gao, Peiyi Han, Chuanyi Liu,
• Abstract要約: 2つの重要なイノベーションに基づいて構築された新しいRLベースのアルゴリズムであるFREIAを紹介する。 FERは、自由エネルギー原則に基づくコンセンサスと探索のバランスを取るために報酬を適合させる。 数学的推論タスクでは、FREIAは平均0.5から3.5ポイントの他の手法を上回ります。
• 参考スコア（独自算出の注目度）: 24.596649747603724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised reinforcement learning (RL) has emerged as a promising paradigm for enabling self-improvement in large language models (LLMs). However, existing unsupervised RL-based methods often lack the capacity to adapt to the model's evolving reasoning capabilities during training. Therefore, these methods can misdirect policy optimization in the absence of ground-truth supervision. To address this issue, we introduce FREIA, a novel RL-based algorithm built on two key innovations: (1) Free Energy-Driven Reward (FER) adapts rewards to balance consensus and exploration based on the Free Energy Principle. (2) Adaptive Advantage Shaping (AAS) adaptively adjusts learning signals based on the statistical characteristics of sampled rewards. Empirical evaluations on nine datasets across three reasoning tasks showcase that FREIA outperforms other unsupervised RL-based baselines. Notably, in mathematical reasoning tasks, FREIA surpasses other methods by an average of 0.5 to 3.5 points in Pass@1 using the DeepSeek-R1-Distill-Qwen-1.5B model.
• Abstract（参考訳）: 大規模言語モデル(LLM)における自己改善を実現するための,有望なパラダイムとして,教師なし強化学習(RL)が登場している。 しかし、既存の教師なしのRLベースの手法は、訓練中にモデルの進化する推論能力に適応する能力に欠けることが多い。 したがって、これらの手法は、地道的な監督がなければ、政策最適化を誤って行うことができる。 この問題に対処するために,1)自由エネルギー駆動リワード(FER)は,自由エネルギー原理に基づくコンセンサスと探索のバランスをとるために報酬を適応する。 2) アダプティブ・アドバンテージ・シェーピング(AAS)は,サンプル報酬の統計的特性に基づいて学習信号を適応的に調整する。 3つの推論タスクにわたる9つのデータセットに関する実証的な評価は、FREIAが他の教師なしRLベースのベースラインよりも優れていることを示している。 特に、数学的推論タスクにおいて、FREIAはDeepSeek-R1-Distill-Qwen-1.5Bモデルを用いて、Pass@1の平均0.5から3.5ポイントの他の手法を上回ります。

関連論文リスト

• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Bridging Supervised Learning and Reinforcement Learning in Math Reasoning [55.889740979706815]
  強化学習(Reinforcement Learning, RL)は、二分検証信号による自己改善を可能にすることで、近年の数学能力の急上昇において中心的な役割を担っている。 本研究は,LLMが障害を反映し,外部教師なしで自律的に改善できる教師型アプローチである負認識ファインチューニング(NFT)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:17:40Z)
• Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning [93.30252692375886]
  ルールベースの強化学習は、大きな言語モデルにおけるツールコールを強化するために使用することができる。 ツールN1-7B/14Bはいくつかの主要なベンチマークでGPT-4oを上回った。
  論文  参考訳（メタデータ） (2025-04-25T02:55:21Z)
• Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control [1.5361702135159845]
  本稿では,知識インフォームドモデルに基づく残留強化学習フレームワークを提案する。 交通専門家の知識を仮想環境モデルに統合し、基本力学にIntelligent Driver Model(IDM)、残留力学にニューラルネットワークを使用する。 本稿では,従来の制御手法を残差RLと組み合わせて,スクラッチから学習することなく,効率的な学習と政策最適化を容易にする新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:16:57Z)
• PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration [15.173628100049129]
  本研究では,カーネル化レギュレータ(KNR)と線形マルコフ決定過程(MDP)のモデルベースアルゴリズムについて検討する。 両方のモデルに対して、我々のアルゴリズムはサンプルの複雑さを保証し、プランニングオラクルへのアクセスのみを使用する。 また,提案手法は報酬のない探索を効率的に行うことができる。
  論文  参考訳（メタデータ） (2021-07-15T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。