論文の概要: Learning Generative Models with Goal-conditioned Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.14811v1
- Date: Sun, 26 Mar 2023 20:33:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:33:30.358413
- Title: Learning Generative Models with Goal-conditioned Reinforcement Learning
- Title(参考訳): ゴール条件強化学習を用いた生成モデル学習
- Authors: Mariana Vargas Vieyra, Pierre M\'enard
- Abstract要約: 目標条件付き強化学習を用いた生成モデル学習のための新しいフレームワークを提案する。
画像合成のタスクにおいて,本手法が多種多様な高品質なサンプルを生成可能であることを実証的に実証した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel, alternative framework for learning generative models with
goal-conditioned reinforcement learning. We define two agents, a goal
conditioned agent (GC-agent) and a supervised agent (S-agent). Given a
user-input initial state, the GC-agent learns to reconstruct the training set.
In this context, elements in the training set are the goals. During training,
the S-agent learns to imitate the GC-agent while remaining agnostic of the
goals. At inference we generate new samples with the S-agent. Following a
similar route as in variational auto-encoders, we derive an upper bound on the
negative log-likelihood that consists of a reconstruction term and a divergence
between the GC-agent policy and the (goal-agnostic) S-agent policy. We
empirically demonstrate that our method is able to generate diverse and high
quality samples in the task of image synthesis.
- Abstract(参考訳): 目標条件付き強化学習を用いた生成モデル学習のための,新しい代替フレームワークを提案する。
目標条件付きエージェント(GCエージェント)と監視エージェント(Sエージェント)の2つのエージェントを定義した。
ユーザ入力の初期状態が与えられると、gcエージェントはトレーニングセットの再構築を学習する。
この文脈では、トレーニングセットの要素は目標です。
訓練中、Sエージェントは目標を知らないままGCエージェントを模倣することを学ぶ。
S-エージェントで新しいサンプルを生成する。
変分オートエンコーダと同様に、再構成項とgcエージェントポリシーと(goal非依存)sエージェントポリシーの相違からなる負のログライク性の上界を導出する。
本手法は画像合成のタスクにおいて多様で高品質なサンプルを生成できることを実証的に証明する。
関連論文リスト
- Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。
本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。
本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
論文 参考訳(メタデータ) (2024-03-19T16:26:10Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-27T12:26:07Z) - CCA: Collaborative Competitive Agents for Image Editing [59.54347952062684]
本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。
複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。
この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
論文 参考訳(メタデータ) (2024-01-23T11:46:28Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - A Framework for Understanding and Visualizing Strategies of RL Agents [0.0]
本稿では,時間論理式を用いてエージェント戦略を特徴付ける逐次決定タスクの理解可能なモデル学習フレームワークを提案する。
我々は,手工芸の専門家政策と訓練された強化学習エージェントの痕跡を用いて,StarCraft II (SC2) の戦闘シナリオに関する枠組みを評価した。
論文 参考訳(メタデータ) (2022-08-17T21:58:19Z) - Explaining Reinforcement Learning Policies through Counterfactual
Trajectories [147.7246109100945]
人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。
本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。
本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
論文 参考訳(メタデータ) (2022-01-29T00:52:37Z) - AgentFormer: Agent-Aware Transformers for Socio-Temporal Multi-Agent
Forecasting [25.151713845738335]
我々は、時間と社会的次元を共同でモデル化する新しいトランスフォーマー、AgentFormerを提案する。
エージェントフォーマに基づいて,任意のエージェントの特徴に任意の時間ステップで対応可能なマルチエージェント軌道予測モデルを提案する。
提案手法は,歩行者および自律運転用データセットにおける技術状況を大幅に改善する。
論文 参考訳(メタデータ) (2021-03-25T17:59:01Z) - Graph Convolutional Value Decomposition in Multi-Agent Reinforcement
Learning [9.774412108791218]
深層強化学習における値関数分解のための新しい枠組みを提案する。
特に、エージェントのチームは完全有向グラフのノードの集合であると考えている。
我々は,チーム状態-行動値関数を各エージェント毎の観察-行動値関数に分解する混合GNNモジュールを導入し,グローバルチーム報酬の分数で各エージェントに明示的なクレジット割り当てを行う。
論文 参考訳(メタデータ) (2020-10-09T18:01:01Z) - BGC: Multi-Agent Group Belief with Graph Clustering [1.9949730506194252]
エージェントがコミュニケーションなしで情報を交換できる半通信方式を提案する。
近接するエージェントを小さなグループに分割し,グループ内のエージェントの信念を最小化するグループベースのモジュールを提案する。
その結果,提案手法はSMACベンチマークの大幅な改善を実現していることがわかった。
論文 参考訳(メタデータ) (2020-08-20T07:07:20Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z) - Learning to Model Opponent Learning [11.61673411387596]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。
これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。
我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
論文 参考訳(メタデータ) (2020-06-06T17:19:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。