Fugu-MT 論文翻訳(概要): DeLF: Designing Learning Environments with Foundation Models

論文の概要: DeLF: Designing Learning Environments with Foundation Models

arxiv url: http://arxiv.org/abs/2401.08936v1
Date: Wed, 17 Jan 2024 03:14:28 GMT
ステータス: 処理完了
システム内更新日: 2024-01-18 17:28:01.101338
Title: DeLF: Designing Learning Environments with Foundation Models
Title（参考訳）: DeLF: 基礎モデルによる学習環境の設計
Authors: Aida Afshar, Wenchao Li
Abstract要約: 強化学習(RL)は、基本的なシーケンシャルな意思決定問題に対して有能で直感な構造を提供する。驚くべきブレークスルーにもかかわらず、多くの単純なアプリケーションで実際にRLを採用するのは難しい。本稿では,ユーザが意図したアプリケーションに対して,RL環境のコンポーネントを設計する手法を提案する。
参考スコア（独自算出の注目度）: 3.6666767699199805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning (RL) offers a capable and intuitive structure for the fundamental sequential decision-making problem. Despite impressive breakthroughs, it can still be difficult to employ RL in practice in many simple applications. In this paper, we try to address this issue by introducing a method for designing the components of the RL environment for a given, user-intended application. We provide an initial formalization for the problem of RL component design, that concentrates on designing a good representation for observation and action space. We propose a method named DeLF: Designing Learning Environments with Foundation Models, that employs large language models to design and codify the user's intended learning scenario. By testing our method on four different learning environments, we demonstrate that DeLF can obtain executable environment codes for the corresponding RL problems.
Abstract（参考訳）: 強化学習(RL)は、基本的なシーケンシャルな意思決定問題に対して有能で直感な構造を提供する。驚くべきブレークスルーにもかかわらず、多くの単純なアプリケーションで実際にRLを採用するのは難しい。本稿では,ユーザの意図したアプリケーションに対して,RL環境のコンポーネントを設計する手法を導入することにより,この問題に対処する。我々は,観測空間と動作空間の良質な表現を設計することに集中する,rlコンポーネント設計の問題に対する初期形式化を提案する。本研究では,ユーザが意図する学習シナリオの設計と体系化のために,大規模言語モデルを用いた基礎モデルを用いた学習環境の設計手法であるdelfを提案する。本手法を4つの異なる学習環境上でテストすることにより,DeLFが対応するRL問題に対して実行可能な環境コードを得ることができることを示す。

関連論文リスト

Learning the Optimal Power Flow: Environment Design Matters [0.0]
強化学習(RL)は、最適潮流(OPF)問題を解決するための有望な新しいアプローチである。 RL-OPFの文献は、OPF問題の正確な定式化に関して、RL環境として強く分かれている。本研究では,トレーニングデータ,観察空間,エピソード定義,報酬関数選択に関する文献から,多様な環境設計決定を行う。
論文参考訳（メタデータ） (2024-03-26T16:13:55Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
EasyRL4Rec: An Easy-to-use Library for Reinforcement Learning Based Recommender Systems [18.22130279210423]
我々は、RLベースのRS用に特別に設計された、使いやすいコードライブラリであるEasyRL4Recを紹介する。このライブラリは5つのパブリックデータセットに基づいた軽量で多様なRL環境を提供する。 EasyRL4Recは、RLベースのRSのドメインにおけるモデル開発と実験プロセスの促進を目指している。
論文参考訳（メタデータ） (2024-02-23T07:54:26Z)
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文参考訳（メタデータ） (2024-02-09T07:45:26Z)
Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
論文参考訳（メタデータ） (2024-01-11T17:58:41Z)
Design Process is a Reinforcement Learning Problem [0.0]
設計プロセスは強化学習の問題であり、RLアルゴリズムの適切な応用になり得ると我々は主張する。これはRLメソッドを使用する機会を生み出し、同時に課題を提起する。
論文参考訳（メタデータ） (2022-11-06T14:37:22Z)
Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
論文参考訳（メタデータ） (2022-02-09T15:01:59Z)
Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
強化学習はスケジューリングの問題を解決するのに使える。既存の研究は、コードが利用できない複雑なシミュレーションに依存している。から選ぶべきRLの設計の広大な配列があります。モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
論文参考訳（メタデータ） (2021-04-16T16:07:10Z)
Reinforcement Learning for Flexibility Design Problems [77.37213643948108]
フレキシビリティ設計問題に対する強化学習フレームワークを開発した。実験の結果、RL法は古典的手法よりも優れた解を常に見出すことがわかった。
論文参考訳（メタデータ） (2021-01-02T02:44:39Z)
Learning to Locomote: Understanding How Environment Design Matters for Deep Reinforcement Learning [7.426118390008397]
環境設計が重要な課題であることを示し、それが多くのRL結果の脆い性質にどのように貢献するかを文書化する。具体的には、状態表現、初期状態分布、報酬構造、制御周波数、エピソード終了手順、カリキュラム使用法、動作空間、トルク制限に関する選択について検討する。このような選択に関する議論を刺激することを目的としており、実際に、ローコライト学習などのアニメーションに対する関心の連続的な操作制御問題に適用した場合、RLの成功に強く影響する。
論文参考訳（メタデータ） (2020-10-09T00:03:27Z)
Integrating Distributed Architectures in Highly Modular RL Libraries [4.297070083645049]
ほとんどの人気のある強化学習ライブラリは、高度にモジュール化されたエージェントの構成性を主張している。本稿では、RLエージェントを独立した再利用可能なコンポーネントによって異なるスケールで定義できる汎用的アプローチを提案する。
論文参考訳（メタデータ） (2020-07-06T10:22:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。