Fugu-MT 論文翻訳(概要): RF-Agent: Automated Reward Function Design via Language Agent Tree Search

論文の概要: RF-Agent: Automated Reward Function Design via Language Agent Tree Search

arxiv url: http://arxiv.org/abs/2602.23876v1
Date: Fri, 27 Feb 2026 10:18:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-02 19:48:24.36644
Title: RF-Agent: Automated Reward Function Design via Language Agent Tree Search
Title（参考訳）: RF-Agent:言語エージェント木探索による逆関数の自動設計
Authors: Ning Gao, Xiuhui Zhang, Xingyu Jiang, Mukang You, Mohan Zhang, Yue Deng,
Abstract要約: RF-Agentは大規模言語モデルを言語エージェントとして扱うフレームワークである。報酬関数設計をシーケンシャルな意思決定プロセスとして構成する。 Monte Carlo Tree Searchを統合して、報酬設計と最適化プロセスを管理する。
参考スコア（独自算出の注目度）: 24.035699489071174
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Designing efficient reward functions for low-level control tasks is a challenging problem. Recent research aims to reduce reliance on expert experience by using Large Language Models (LLMs) with task information to generate dense reward functions. These methods typically rely on training results as feedback, iteratively generating new reward functions with greedy or evolutionary algorithms. However, they suffer from poor utilization of historical feedback and inefficient search, resulting in limited improvements in complex control tasks. To address this challenge, we propose RF-Agent, a framework that treats LLMs as language agents and frames reward function design as a sequential decision-making process, enhancing optimization through better contextual reasoning. RF-Agent integrates Monte Carlo Tree Search (MCTS) to manage the reward design and optimization process, leveraging the multi-stage contextual reasoning ability of LLMs. This approach better utilizes historical information and improves search efficiency to identify promising reward functions. Outstanding experimental results in 17 diverse low-level control tasks demonstrate the effectiveness of our method. The source code is available at https://github.com/deng-ai-lab/RF-Agent.
Abstract（参考訳）: 低レベルの制御タスクに対して効率的な報酬関数を設計することは難しい問題である。近年の研究では,大規模言語モデル (LLM) とタスク情報を用いて高密度報酬関数を生成することにより,専門家の体験への依存を軽減することを目的としている。これらの手法は通常、学習結果をフィードバックとして頼りにし、欲求や進化的アルゴリズムで新たな報酬関数を反復的に生成する。しかし、これらは歴史的フィードバックの低利用と非効率な探索に悩まされ、複雑な制御タスクが限定的に改善された。そこで我々は,LLMを言語エージェントとして扱うフレームワークRF-Agentを提案する。 RF-Agentはモンテカルロ木探索(MCTS)を統合して報酬設計と最適化プロセスを管理し、LLMの多段階の文脈推論能力を活用する。提案手法は, 過去の情報を活用し, 検索効率を向上し, 有望な報酬関数を同定する。 17種類の低レベル制御タスクにおいて,本手法の有効性を示す実験結果が得られた。ソースコードはhttps://github.com/deng-ai-lab/RF-Agent.comで入手できる。

関連論文リスト

Leveraging LLMs for reward function design in reinforcement learning control tasks [0.0]
本稿では,LEARN-Opt (LLM-based Evaluator and Analyzer for Reward functioN Optimization)を紹介する。このフレームワークは、システムやタスク目標のテキスト記述から報酬関数候補を生成し、実行し、評価する。実験の結果,LEARN-Optは最先端手法に匹敵する性能を示した。
論文参考訳（メタデータ） (2025-11-24T17:55:46Z)
Optimizing Prompt Sequences using Monte Carlo Tree Search for LLM-Based Optimization [20.44067161623662]
大規模言語モデル(LLM)は、コード生成と構造化推論において顕著な能力を示した。本稿では,モンテカルロ木探索によって導かれる逐次決定過程として,選択を高速化するニューラルシンボリックフレームワークを提案する。本手法は,コード生成品質の向上を目的として,複数ステップのプロンプトシーケンスを探索・精査する。
論文参考訳（メタデータ） (2025-08-08T04:01:24Z)
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
論文参考訳（メタデータ） (2025-06-12T05:25:35Z)
AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。既存のエージェントサーチ手法には3つの大きな制限がある。これらの課題に対処するための包括的なフレームワークを導入します。
論文参考訳（メタデータ） (2025-06-06T12:07:23Z)
LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
論文参考訳（メタデータ） (2025-01-31T06:34:47Z)
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。 Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
論文参考訳（メタデータ） (2024-11-02T09:03:23Z)
Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [52.763620660061115]
ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。我々は、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。提案手法は,NetHack Learning Environment の様々な課題にまたがって,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2024-10-30T13:52:43Z)
Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。特定の論理的および数学的推論タスクに焦点を当てている。このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
論文参考訳（メタデータ） (2024-10-24T16:27:35Z)
FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-15T16:45:16Z)
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
論文参考訳（メタデータ） (2024-05-24T03:53:57Z)
Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文参考訳（メタデータ） (2024-05-23T08:33:19Z)
Enhancing Q-Learning with Large Language Model Heuristics [0.0]
大規模言語モデル(LLM)は、単純なタスクでゼロショット学習を達成できるが、推論速度の低下と時折幻覚に悩まされる。我々は,LLMを幻覚として活用し,強化学習のためのQ関数の学習を支援するフレームワークであるtextbfLLM-guided Q-learningを提案する。
論文参考訳（メタデータ） (2024-05-06T10:42:28Z)
Reinforcement Learning Agent Training with Goals for Real World Tasks [3.747737951407512]
強化学習(RL)は、様々な制御、最適化、シーケンシャルな意思決定タスクを解決するための有望なアプローチである。複雑な制御および最適化タスクのための仕様言語(Inkling Goal Specification)を提案する。提案手法は現実世界のタスクを多種多様なタスクで指定するのに非常に容易であることを示す実験のセットを含む。
論文参考訳（メタデータ） (2021-07-21T23:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。