論文の概要: Discrete Compositional Generation via General Soft Operators and Robust Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.17007v2
• Date: Thu, 09 Oct 2025 20:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:45.69649
• Title: Discrete Compositional Generation via General Soft Operators and Robust Reinforcement Learning
• Title（参考訳）: 一般ソフト演算子による離散構成生成とロバスト強化学習
• Authors: Marco Jiralerspong, Esther Derman, Danilo Vucetic, Nikolay Malkin, Bilun Sun, Tianyu Zhang, Pierre-Luc Bacon, Gauthier Gidel,
• Abstract要約: 近年の手法では、プロキシ報酬関数によって導かれる強化学習を活用して、このフィルタリングを可能にする。 これらの手法は,大規模検索空間において,過度に多様で最適な候補を生成できないことを示す。 いくつかの正規化されたRL演算子を一般化したフレームワークに結合する新しい統一演算子を導入する。 合成タスクと実世界のタスクの両方において、ベースラインよりも高品質で多様な候補を特定する。
• 参考スコア（独自算出の注目度）: 42.21025266147905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major bottleneck in scientific discovery consists of narrowing an exponentially large set of objects, such as proteins or molecules, to a small set of promising candidates with desirable properties. While this process can rely on expert knowledge, recent methods leverage reinforcement learning (RL) guided by a proxy reward function to enable this filtering. By employing various forms of entropy regularization, these methods aim to learn samplers that generate diverse candidates that are highly rated by the proxy function. In this work, we make two main contributions. First, we show that these methods are liable to generate overly diverse, suboptimal candidates in large search spaces. To address this issue, we introduce a novel unified operator that combines several regularized RL operators into a general framework that better targets peakier sampling distributions. Secondly, we offer a novel, robust RL perspective of this filtering process. The regularization can be interpreted as robustness to a compositional form of uncertainty in the proxy function (i.e., the true evaluation of a candidate differs from the proxy's evaluation). Our analysis leads us to a novel, easy-to-use algorithm we name trajectory general mellowmax (TGM): we show it identifies higher quality, diverse candidates than baselines in both synthetic and real-world tasks. Code: https://github.com/marcojira/tgm.
• Abstract（参考訳）: 科学的発見における主要なボトルネックは、タンパク質や分子のような指数関数的に大きな物体の集合を、望ましい性質を持つ少数の候補に絞ることである。 このプロセスは専門家の知識に頼ることができるが、近年の手法は、プロキシ報酬関数によって導かれる強化学習(RL)を活用して、このフィルタリングを可能にする。 これらの手法は,様々なエントロピー正規化方式を用いて,プロキシ関数によって高い評価を受ける多様な候補を生成するサンプルを学習することを目的としている。 この作業では、主に2つのコントリビューションを行います。 まず,これらの手法は大規模検索空間において,多様で最適な候補を生成できないことを示す。 この問題に対処するために、複数の正規化RL演算子を組み込んだ新しい統一演算子を導入し、よりピーク値のサンプリング分布をより適切にターゲットする一般的なフレームワークを提案する。 第2に、このフィルタリングプロセスの新規で堅牢なRL視点を提供する。 正規化は、プロキシ関数における構成的不確実性に対する堅牢性(すなわち、候補の真の評価がプロキシの評価と異なる)と解釈できる。 提案手法は,TGM (trajectory general mellowmax) と命名し,合成タスクと実世界のタスクの両方において,ベースラインよりも高品質で多様な候補を識別できることを示す。 コード:https://github.com/marcojira/tgm.com

関連論文リスト

• A Practitioner's Guide to Multi-turn Agentic Reinforcement Learning [12.179148605060298]
  マルチターン強化学習を通じて,大規模言語モデルをエージェントとして訓練する上で,実際にどのような効果があるのか,どのような効果があるのかを検討する。 デザインスペースを環境、報酬、ポリシーという3つの相互関係の柱に分割します。 これらの知見を,3つの柱にまたがる共同設計を指導する学習レシピに抽出する。
  論文  参考訳（メタデータ） (2025-10-01T17:23:04Z)
• Optimal Policy Minimum Bayesian Risk [19.85900938679571]
  本稿では,最小ベイズリスク復号法に報酬・リスク・類似性を組み込む新しい手法を提案する。 KL制御強化学習における最適ポリシの概念に基づいて、このような信号を活用するためのシンプルで明確に定義されたメカニズムを提供する。 従来の推論時間法よりも、高い堅牢性、改善された精度、よく理解された振る舞いなど、いくつかの利点がある。
  論文  参考訳（メタデータ） (2025-05-22T19:43:37Z)
• Multi-Agent Inverse Q-Learning from Demonstrations [3.4136908117644698]
  Multi-Agent Marginal Q-Learning from Demonstrations (MAMQL)は、マルチエージェントIRLのための新しいサンプル効率フレームワークである。 MAMQLは,従来のマルチエージェント手法よりも平均報酬率,サンプル効率,報酬回復率を2～5倍に向上させることを示した。
  論文  参考訳（メタデータ） (2025-03-06T18:22:29Z)
• Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration [24.159962127055085]
  RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)アライメントのための重要な手法として登場した。 本稿では、オンラインRLHFの設定と、サンプル効率の向上に焦点をあてる。
  論文  参考訳（メタデータ） (2025-02-02T04:40:04Z)
• MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization [91.80034860399677]
  強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。 我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。 提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
  論文  参考訳（メタデータ） (2024-12-16T18:59:53Z)
• Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [45.82577700155503]
  Oniは分散アーキテクチャで、RLポリシーと本質的な報酬関数を同時に学習する。 提案手法は,NetHack 学習環境から得られる,難易度の高い報奨課題にまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-30T13:52:43Z)
• Uncertainty-Aware Reward-Free Exploration with General Function Approximation [69.27868448449755]
  本稿では、algと呼ばれる報酬のない強化学習アルゴリズムを提案する。 私たちのアルゴリズムの背後にある重要なアイデアは、環境を探索する上で不確実性を認識した本質的な報酬である。 実験の結果、GFA-RFEは最先端の教師なしRLアルゴリズムよりも優れ、あるいは同等であることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:37:18Z)
• Discrete Probabilistic Inference as Control in Multi-path Environments [84.67055173040107]
  本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。 我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。 また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
  論文  参考訳（メタデータ） (2024-02-15T20:20:35Z)
• The Effective Horizon Explains Deep RL Performance in Stochastic Environments [21.148001945560075]
  強化学習(Reinforcement Learning, RL)理論は、最小の複雑性サンプル境界の証明に重点を置いている。 本稿では,RLアルゴリズムSQIRLを提案する。このアルゴリズムはランダムに探索してロールアウトを収集することで,最適に近いポリシーを反復的に学習する。 我々は、SQIRLを利用して、指数的に「効果的な地平線」のルックアヘッドにのみ現れるRLのインスタンス依存のサンプル複雑性境界を導出し、近似に使用されるクラスの複雑性を導出する。
  論文  参考訳（メタデータ） (2023-12-13T18:58:56Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Learning Long-Term Reward Redistribution via Randomized Return Decomposition [18.47810850195995]
  軌跡フィードバックを用いたエピソード強化学習の問題点について考察する。 これは、エージェントが各軌道の終端で1つの報酬信号しか取得できないような、報酬信号の極端な遅延を指す。 本稿では,代償再分配アルゴリズムであるランダムリターン分解(RRD)を提案する。
  論文  参考訳（メタデータ） (2021-11-26T13:23:36Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation [110.09855163856326]
  本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。 本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。 提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
  論文  参考訳（メタデータ） (2021-06-08T14:21:10Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)
• Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies [65.92826041406802]
  本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。 複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。 本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-26T14:52:42Z)
• Exploration in two-stage recommender systems [79.50534282841618]
  2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。 このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。 そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
  論文  参考訳（メタデータ） (2020-09-01T16:52:51Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples [31.31937554018045]
  深部強化学習(RL)法は, 良好な性能を達成するために, 環境探索からの集中的なデータを必要とする。 本稿では,RLエージェントが探索過程を推論し,その将来的な探索を効果的に導くための高レベルの知識を蒸留するフレームワークを提案する。 具体的には、L*学習アルゴリズムを用いて、有限報酬オートマトンという形で高レベルの知識を学習する新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。