Fugu-MT 論文翻訳(概要): MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models

論文の概要: MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models

arxiv url: http://arxiv.org/abs/2608.18827v1
Date: Wed, 19 Aug 2026 11:36:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-20 20:13:55.384816
Title: MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models
Title（参考訳）: MLREF:大規模言語モデルによる強化学習におけるリワード設計のための効率的なモジュール再利用
Abstract要約: リワード関数設計は、強化学習において依然としてボトルネックとなっている。モジュールレベルのリワード進化フレームワーク(MLREF)を提案する。 MLREFは、モジュールプールを主要な最適化オブジェクトとして扱います。 MLREFはロコモーションで25.2%,操作で6.6%,強いベースラインで優れていた。
参考スコア（独自算出の注目度）: 52.31020768687143
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reward function design remains a bottleneck in reinforcement learning. While large language models (LLMs) have enabled automated reward generation, existing methods generate and revise reward functions as monolithic programs, making it difficult to reliably preserve and reuse effective components discovered in earlier iterations, leading to unstable performance across iterations. To address this, we propose Module Level Reward Evolution Framework (MLREF). At the core of MLREF is a module pool, a persistent repository of reusable reward components. MLREF treats the module pool as the primary optimization object: the pool evolves across iterations by accumulating successful modules, refining underperforming ones, and reusing proven components; while reward functions are constructed as linear combinations of modules drawn from this pool. To drive this evolution, MLREF integrates three mechanisms: reflection-based refinement, hybrid credit assignment, and a merge strategy with rollback, which together improve the effectiveness and robustness of reward optimization. Experiments on 17 tasks show that MLREF outperforms strong baselines by 25.2% in locomotion and 6.6% in manipulation, with more stable optimization dynamics.
Abstract（参考訳）: リワード関数設計は、強化学習において依然としてボトルネックとなっている。大きな言語モデル(LLM)は自動報酬生成を可能にする一方で、既存のメソッドは報酬関数をモノリシックなプログラムとして生成し、修正する。そこで我々は,モジュールレベル・リワード進化フレームワーク(MLREF)を提案する。 MLREFの中核には、再利用可能な報酬コンポーネントの永続的なリポジトリであるモジュールプールがある。 MLREFは、モジュールプールを主要な最適化オブジェクトとして扱う: プールは、成功したモジュールを蓄積し、未実行モジュールを精製し、証明されたコンポーネントを再利用することによって、イテレーション間で進化する。この進化を促進するために、MLREFはリフレクションベースの洗練、ハイブリッドクレジット割り当て、ロールバックによるマージ戦略の3つのメカニズムを統合し、それによって報酬最適化の有効性と堅牢性が向上する。 17のタスクの実験では、MLREFはロコモーションで25.2%、操作で6.6%、より安定した最適化ダイナミクスで、強いベースラインを上回っている。

関連論文リスト

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning [6.874780979291594]
CoReは、FR(Formal Rewards)とRR(Residual Rewards)を視覚言語モデル(VLM)のフィードバックと統合して、優先的なポリシーを実現するフレームワークである。課題知識と嗜好フィードバックに基づくFRを反復的に設計し,トレーニング中のポリシーの継続的な改善を実現するための形式的リワードモジュール(FRM)を提案し,また,VLMを用いてビデオレベルの嗜好からRRを学習し,FRを補完し,FRを補完するニュアンスド報酬を捕捉するResidual Reward Module(RRM)を提案する。
論文参考訳（メタデータ） (2026-07-02T05:20:47Z)
ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards [8.443067463539068]
大規模言語モデル(LLM)は、コードの要約において有望であるが、VHDLやVerilogのようなハードウェア記述言語(HDL)の有効性は未定である。本稿では,モンテカルロ木探索(MCTS)にインスパイアされたLLM誘導型手法であるROSUM-MCTSを提案する。
論文参考訳（メタデータ） (2026-06-06T01:27:20Z)
R2IF: Aligning Reasoning with Decisions via Composite Rewards for Interpretable LLM Function Calling [7.385881045816043]
本稿では,関数呼び出しを解釈可能なRLフレームワークであるR2IFを提案する。 BFCL/ACEBenchの実験では、R2IFはベースラインを34.62%上回っている。
論文参考訳（メタデータ） (2026-04-22T08:13:24Z)
VeriAgent: A Tool-Integrated Multi-Agent System with Evolving Memory for PPA-Aware RTL Code Generation [52.43796056267479]
高品質なベリログコード生成のためのPPA対応ツール統合マルチエージェントフレームワークを提案する。当社のフレームワークでは,EDAツールをtextitProgrammer Agent, textitCorrectness Agent, textitPPA Agentで構成されるクローズドループワークフローに明示的に組み込んでいる。モデル再トレーニングなしに継続的な改善をサポートするために,構造化メモリノードに最適化エクスペリエンスを外部化するtextitEvolved Memory Mechanismを導入する。
論文参考訳（メタデータ） (2026-03-18T11:25:40Z)
ReVEL: Multi-Turn Reflective LLM-Guided Heuristic Evolution via Structured Performance Feedback [0.0]
ReVEL: 構造化性能フィードバックによるマルチTurn反射型LLM-Huristic Evolutionを提案する。 ReVELの中核は、(i)パフォーマンスに目立ったグループ化と(ii)マルチターンフィードバック駆動リフレクションの2つのメカニズムにある。本結果は,自動設計の原則的パラダイムとして,構造化グループを用いたマルチターン推論に注目した。
論文参考訳（メタデータ） (2026-03-05T04:52:11Z)
Small Reward Models via Backward Inference [100.59075794599768]
FLIP (FLipped Inference for Prompt Reconstruction) は、参照フリーでルーリックフリーな報酬モデリング手法である。報酬モデリングを後方推論によって再構成し、与えられた応答を最も確実に生成する命令を推論する。
論文参考訳（メタデータ） (2026-02-14T01:55:39Z)
FunPRM: Function-as-Step Process Reward Model with Meta Reward Correction for Code Generation [28.329829729546002]
コード生成は大規模言語モデル(LLM)のコアアプリケーションである関数にまとめられたコード生成を促進するために,FunPRMを提案する。 FunPRMは、より読みやすく、再利用可能なコードを生成する。
論文参考訳（メタデータ） (2026-01-29T19:14:59Z)
Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。これらのモデルは、しばしば往復一貫性を欠いている。本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
論文参考訳（メタデータ） (2025-10-01T23:58:58Z)
A Simple "Motivation" Can Enhance Reinforcement Finetuning of Large Reasoning Models [103.88578274567784]
MeRF(Motivation-enhanced Reinforcement Finetuning)は、大規模共振モデルの強化微調整を強化する直感的かつ効果的な方法である。 MeRFは報酬仕様を直接プロンプトに注入し、最適化目標を認識するためのコンテキスト内モチベーションとして機能する。 MeRFはRLVRベースラインよりもパフォーマンスが大幅に向上する。
論文参考訳（メタデータ） (2025-06-23T10:37:57Z)
Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
論文参考訳（メタデータ） (2025-05-05T23:54:53Z)
Can SAM Boost Video Super-Resolution? [78.29033914169025]
単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
論文参考訳（メタデータ） (2023-05-11T02:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。