論文の概要: PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching

• arxiv url: http://arxiv.org/abs/2603.18363v1
• Date: Thu, 19 Mar 2026 00:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.886808
• Title: PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching
• Title（参考訳）: PowerFlow: 原則分布マッチングによるLLMのデュアルな性質の解錠
• Authors: Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang,
• Abstract要約: PowerFlowは、教師なしの微調整を分散マッチング問題として再構成する、原則化されたフレームワークである。 $$-powerディストリビューションをターゲットとすることで、PowerFlowは、大規模言語モデルの2つの性質の方向性を引き出すことができる。
• 参考スコア（独自算出の注目度）: 34.44050784146993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised Reinforcement Learning from Internal Feedback (RLIF) has emerged as a promising paradigm for eliciting the latent capabilities of Large Language Models (LLMs) without external supervision. However, current methods rely on heuristic intrinsic rewards, which often lack a well-defined theoretical optimization target and are prone to degenerative biases. In this work, we introduce PowerFlow, a principled framework that reformulates unsupervised fine-tuning as a distribution matching problem. By casting GFlowNet as an amortized variational sampler for unnormalized densities, we propose a length-aware Trajectory-Balance objective that explicitly neutralizes the structural length biases inherent in autoregressive generation. By targeting $α$-power distributions, PowerFlow enables the directional elicitation of the dual nature of LLMs: sharpening the distribution ($α> 1$) to intensify logical reasoning, or flattening it ($α< 1$) to unlock expressive creativity. Extensive experiments demonstrate that PowerFlow consistently outperforms existing RLIF methods, matching or even exceeding supervised GRPO. Furthermore, by mitigating over-sharpening in aligned models, our approach achieves simultaneous gains in diversity and quality, shifting the Pareto frontier in creative tasks.
• Abstract（参考訳）: 内的フィードバックからの非教師なし強化学習(RLIF)は,大規模言語モデル(LLM)の潜在能力を外部の監視なしに引き出すための,有望なパラダイムとして登場した。 しかし、現在の手法はヒューリスティックな本質的な報酬に依存しており、しばしばよく定義された理論的最適化目標が欠如しており、退化バイアスの傾向にある。 本稿では,教師なし微調整を分散マッチング問題として再定義する原則的フレームワークであるPowerFlowを紹介する。 GFlowNetを非正規化密度の補正変分法としてキャストすることにより、自己回帰生成に固有の構造的長さバイアスを明示的に中和する長さ認識トラジェクトリ・バランス目的を提案する。 論理的推論を強化するために(α> 1$)分布をシャープにしたり、表現力のある創造性を解き放つために(α< 1$)それをフラットにする。 大規模な実験により、PowerFlowは既存のRLIFメソッド、マッチング、あるいは監督されたGRPOよりもずっと優れています。 さらに,アライメントモデルにおける過剰な抑制を緩和することにより,多様性と品質の同時向上を実現し,創造的タスクにおけるParetoフロンティアをシフトさせる。

関連論文リスト

• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Boosting Maximum Entropy Reinforcement Learning via One-Step Flow Matching [8.665369041430969]
  Flow Matching(FM)はワンステップ生成を可能にするが、Entropy Reinforcement Learning(MaxEnt RL)に統合することは難しい。 我々はこれらの課題に対処する原則的フレームワークである textbfFlow ベースの textbfLog-likelihood-textbfAware textbfMaximum textbfEntropy RL (textbfFLAME) を提案する。
  論文  参考訳（メタデータ） (2026-02-02T03:54:11Z)
• Optimal Control Meets Flow Matching: A Principled Route to Multi-Subject Fidelity [35.95129874095729]
  テキスト・トゥ・イメージ(T2I)モデルは単一エンタリティ・プロンプトに優れるが、多目的記述に苦慮する。 マルチオブジェクト忠実度に向けてサンプリングダイナミクスを操るための原理的最適化可能な目的を持った最初の理論的枠組みを導入する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:58Z)
• Unleashing Flow Policies with Distributional Critics [15.149475517073258]
  本稿では、状態-動作の戻りの完全な分布を学習する新しい批判的アーキテクチャであるDis Distributional Flow Critic (DFC)を紹介する。 DFCは、より安定的で情報的な学習信号を提供する、豊かで分散的なベルマンターゲットを備えた表現力のあるフローベースのポリシーを提供する。
  論文  参考訳（メタデータ） (2025-09-27T03:51:06Z)
• A Theory of Multi-Agent Generative Flow Networks [65.53605277612444]
  マルチエージェント生成フローネットワーク(MA-GFlowNets)の理論的枠組みを提案する。 MA-GFlowNetsは複数のエージェントに適用して、一連のジョイントアクションを通じて協調的にオブジェクトを生成する。 ジョイントフロートレーニングは、(局所的な)GFNのコレクションをユニークな(グローバルな)GFNとしてトレーニングするための、ローカル・グローバルの原則に基づいている。
  論文  参考訳（メタデータ） (2025-09-24T04:01:21Z)
• Mask in the Mirror: Implicit Sparsification [16.69937899343079]
  連続スパシフィケーション戦略は、ニューラルネットワークの推論コストとメモリ要求を減らす最も効果的な方法の1つである。 彼らの成功の重要な要因は、マスク変数とウェイト変数の両方を共同学習することによって引き起こされる暗黙の$L_1$正規化である。 本稿では, 学習力学を解析し, 初期連続スパシフィケーションが暗黙の$L$正規化によって支配されていることを明らかにすることによって, この観察を理論的に説明する。 本稿では,この暗黙バイアスの強度を動的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T13:14:02Z)
• Distributional Refinement Network: Distributional Forecasting via Deep Learning [0.8142555609235358]
  アクチュエータモデリングにおける重要なタスクは、損失の分布特性をモデル化することである。 本稿では,本質的に解釈可能なベースラインモデルとフレキシブルニューラルネットワークを組み合わせた分散リファインメントネットワーク(DRN)を提案する。 DRNは、全ての量子化の様々な効果を捉え、適切な解釈性を維持しながら予測性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-03T05:14:32Z)
• Stochastic Generative Flow Networks [89.34644133901647]
  生成フローネットワーク(GFlowNets)は「制御としての推論」のレンズを通して複雑な構造をサンプリングすることを学ぶ 既存のGFlowNetsは決定論的環境にのみ適用でき、動的処理によるより一般的なタスクではフェールする。 本稿では,GFlowNetsを環境に拡張する新しいアルゴリズムであるGFlowNetsを紹介する。
  論文  参考訳（メタデータ） (2023-02-19T03:19:40Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。