論文の概要: MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces

• arxiv url: http://arxiv.org/abs/2610.19457v1
• Date: Wed, 14 Oct 2026 02:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.444475
• Title: MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces
• Title（参考訳）: MIPS:大規模なアウトカムスペースのための強化学習におけるモード崩壊の軽減
• Abstract要約: 強化学習における期待の逆転は、いくつかの結果に確率質量を集中させるが、多くの異なる高品質な解を必要とするタスクにおいて、モード崩壊と呼ばれる失敗が生じる。 本稿では,サンプル軌跡と学習した軌跡のモデルを組み合わせることで,各結果に結びつく辺縁評価を行うMarginal IPS(MIPS)を提案する。 MIPSはGRPOと周波数ベースのIPSが崩壊する多種多様な高品質なサンプリングを維持しており、MIPSはRLのモード崩壊に対する信頼性の高い解決策であることを示している。
• 参考スコア（独自算出の注目度）: 2.638670738998938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expected-reward maximization in reinforcement learning concentrates probability mass on a few outcomes, even in tasks that require many distinct, high-quality solutions, a failure known as mode collapse. Inverse Probability Scaling (IPS) counters this in group-based policy gradients such as GRPO by dividing each reward by the outcome's probability, estimated from its frequency within the sampled group. When the outcome space is large relative to the group, outcomes rarely repeat and these estimates become uninformative. Since an outcome can be constructed along many trajectories, its probability is a sum over all of them, and computing it directly is intractable. We propose Marginal IPS (MIPS), which performs marginal evaluation by combining the sampled trajectory with a learned model of the trajectories that lead to each outcome. On Hypergrids, where the exact sampling distribution is computable, MIPS stays near the reward-distribution target as the outcome space grows relative to the rollout group, while frequency-based IPS degrades. In molecular synthesis and phylogenetic inference, MIPS sustains diverse, high-quality sampling where GRPO and frequency-based IPS collapse, showing that MIPS serves as a reliable solution to mode collapse in RL.
• Abstract（参考訳）: 強化学習における予測逆最大化は、いくつかの結果に確率質量を集中させるが、多くの異なる高品質な解を必要とするタスクでは、モード崩壊と呼ばれる失敗が生じる。 Inverse Probability Scaling (IPS) は、GRPO のようなグループベースの政策勾配において、各報酬をサンプル群内の周波数から推定される結果の確率で割ることによってこれに対応する。 結果空間が群に対して大きい場合、結果はめったに繰り返されず、これらの推定は非形式的になる。 結果は多くの軌道に沿って構築できるので、その確率はそれら全てに対する和であり、直接計算することは難解である。 本稿では,サンプル軌跡と学習した軌跡のモデルを組み合わせることで,各結果に結びつく限界評価を行うMarginal IPS(MIPS)を提案する。 正確なサンプリング分布が計算可能なHypergridsでは、結果空間がロールアウト群に対して大きくなるにつれて、MIPSは報酬分配目標付近に留まり、頻度ベースIPSは劣化する。 分子合成と系統学的推論において、MIPSはGRPOと周波数ベースのIPSが崩壊する多種多様な高品質なサンプリングを維持しており、MIPSがRLのモード崩壊の信頼できる解決策であることを示している。

関連論文リスト

• Decoupled Marginal Sharpening for Training-Free Inference-Time Scaling [19.842727659343797]
  モデル重みを更新したり、外部報酬モデルを使用したりすることなく、推定時間でのLLM推論を改善する方法について検討する。 本稿では、モデルが特定の推論経路をどれだけ強く好むかを個別に制御するDecoupled Margin Sharpening (DMS)を提案する。 DMSは、すべてのタスクで比較されたメソッドの中で、最も平均パス@1を達成する。
  論文  参考訳（メタデータ） (2026-10-14T16:55:22Z)
• Sample What You Say: Aligning Language Models to Sample the Distributions They State [22.06410760205191]
  対象の分布を有限個の結果集合上で一致させるモデルを訓練する。 未知の目標分布では、目撃者による訓練により、目標への全変動距離が大幅に減少する。
  論文  参考訳（メタデータ） (2026-09-28T11:26:47Z)
• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling [2.8825582215429186]
  結果-レベルモードの崩壊は、期待されたリターン自体の構造的な結果であることを示す。 学習信号から結果周波数を除去する逆確率スケーリングという,最小限の補正を提案する。
  論文  参考訳（メタデータ） (2026-01-29T13:03:33Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Distributionally Robust Multi-Agent Reinforcement Learning for Dynamic Chute Mapping [12.78977546421283]
  Amazonのロボット倉庫では、行き先とシュートをマッピングする問題は、効率的なパッケージソートに不可欠である。 本稿では,誘導率の逆方向変動に耐性のある宛先間マッピングポリシを学習する,分散ロバストなマルチエージェント強化学習フレームワークを提案する。 DRMARLは,様々な誘導分布が存在する場合の堅牢なシュートマッピングを実現し,シミュレーションシナリオにおけるパッケージ再循環を平均80%低減することを示す。
  論文  参考訳（メタデータ） (2025-03-12T18:56:25Z)
• Persistent Sampling: Enhancing the Efficiency of Sequential Monte Carlo [0.0]
  連続モンテカルロサンプリング(SMC)はベイズ推論の強力なツールであるが、高い計算コストに悩まされている。 我々は、SMCを維持し、全ての先行イテレーションから粒子を構成する永続サンプリング(PS)を導入する。
  論文  参考訳（メタデータ） (2024-07-30T10:34:40Z)
• Discrete Probabilistic Inference as Control in Multi-path Environments [84.67055173040107]
  本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。 我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。 また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
  論文  参考訳（メタデータ） (2024-02-15T20:20:35Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。