論文の概要: RL Zero: Zero-Shot Language to Behaviors without any Supervision

• arxiv url: http://arxiv.org/abs/2412.05718v1
• Date: Sat, 07 Dec 2024 18:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:43.984311
• Title: RL Zero: Zero-Shot Language to Behaviors without any Supervision
• Title（参考訳）: RL Zero: スーパービジョンなしのビヘイビアに対するゼロショット言語
• Authors: Harshit Sikchi, Siddhant Agarwal, Pranaya Jajoo, Samyak Parajuli, Caleb Chuck, Max Rudolph, Peter Stone, Amy Zhang, Scott Niekum,
• Abstract要約: そこで本稿では,ゼロショット方式で言語命令をグラウンド化するのではなく,完全に教師なしの代替手段を提案する。 ビデオ言語モデルは、インターネット規模のビデオテキストマッピングから学んだタスクの知識を活用するタスク記述を想像することができる。 教師なしRLエージェントの実観測において,まず,想定されたシーケンスを基礎にすることで,ゼロショット言語とビヘイビアのポリシーを実現できることを示す。
• 参考スコア（独自算出の注目度）: 40.046873614139464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rewards remain an uninterpretable way to specify tasks for Reinforcement Learning, as humans are often unable to predict the optimal behavior of any given reward function, leading to poor reward design and reward hacking. Language presents an appealing way to communicate intent to agents and bypass reward design, but prior efforts to do so have been limited by costly and unscalable labeling efforts. In this work, we propose a method for a completely unsupervised alternative to grounding language instructions in a zero-shot manner to obtain policies. We present a solution that takes the form of imagine, project, and imitate: The agent imagines the observation sequence corresponding to the language description of a task, projects the imagined sequence to our target domain, and grounds it to a policy. Video-language models allow us to imagine task descriptions that leverage knowledge of tasks learned from internet-scale video-text mappings. The challenge remains to ground these generations to a policy. In this work, we show that we can achieve a zero-shot language-to-behavior policy by first grounding the imagined sequences in real observations of an unsupervised RL agent and using a closed-form solution to imitation learning that allows the RL agent to mimic the grounded observations. Our method, RLZero, is the first to our knowledge to show zero-shot language to behavior generation abilities without any supervision on a variety of tasks on simulated domains. We further show that RLZero can also generate policies zero-shot from cross-embodied videos such as those scraped from YouTube.
• Abstract（参考訳）: 報酬関数の最適な振る舞いを予測できないことが多いため、リワードは強化学習のためのタスクを特定するための解釈不可能な方法であり続けており、報酬設計や報酬のハッキングに繋がる。 言語はエージェントへの意思の伝達や報酬設計の回避に魅力的な方法を示しているが、それ以前の取り組みは、費用がかかる、拡張不可能なラベル付けの努力によって制限されていた。 そこで本研究では,ゼロショット方式で言語命令をグラウンド化するのではなく,完全に教師なしの代替手段を提案する。 エージェントは、タスクの言語記述に対応する観察シーケンスを想像し、想定されたシーケンスをターゲットドメインに投影し、それをポリシーに根拠付ける。 ビデオ言語モデルは、インターネット規模のビデオテキストマッピングから学んだタスクの知識を活用するタスク記述を想像することができる。 この課題は、これらの世代を政策に基づけることである。 本研究では、教師なしのRLエージェントの実観測において、まず、想定されたシーケンスを基底にして、RLエージェントを模倣できる擬似学習にクローズドフォームソリューションを使用することにより、ゼロショット言語-行動ポリシーを実現することができることを示す。 我々の手法であるRLZeroは、シミュレーションドメイン上の様々なタスクを監督することなく、行動生成能力にゼロショット言語を示す最初の知識である。 さらに、RLZeroは、YouTubeから取り除かれたような、異体間ビデオからゼロショットのポリシーを生成できることも示している。

関連論文リスト

• GoalLadder: Incremental Goal Discovery with Vision-Language Models [38.35578010611503]
  視覚環境における単一言語命令からRLエージェントを学習する新しい手法を提案する。 GoalLadderは、自然言語で指定されたタスクの完了にエージェントを近づける状態の漸進的な発見で動作する。 以前の作業とは異なり、GoalLadderはVLMのフィードバックを完全に信頼していない。
  論文  参考訳（メタデータ） (2025-06-19T15:28:27Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Text-Aware Diffusion for Policy Learning [8.32790576855495]
  本研究では、事前訓練された凍結されたテキスト条件付き拡散モデルを用いて、高密度ゼロショット報酬信号をテキスト整合ポリシー学習に利用する、政策学習用テキスト認識拡散(TADPoLe)を提案する。 TADPoLe は,Humanoid と Dog の両環境において,自然言語によって規定される新たな目標達成と連続的な移動行動の政策を学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T03:08:20Z)
• Unsupervised Zero-Shot Reinforcement Learning via Functional Reward Encodings [107.1837163643886]
  本稿では、このゼロショットRL問題に対する汎用的でスケーラブルな解として、関数型報酬符号化(FRE)を提案する。 我々の主な考え方は、任意のタスクの関数表現を、状態逆サンプルを符号化することで学習することである。 多様なランダムな非教師付き報酬関数で訓練されたFREエージェントが、新しいタスクを解くために一般化できることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-27T01:59:02Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding [84.83494254263138]
  ゼロショット視覚言語学習のための微細な情報を利用する統一的なフレームワークを提案する。 我々のフレームワークは従来のVQAのゼロショット法よりも優れており、SNLI-VEとVCRの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-07-03T09:03:12Z)
• Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control [58.06223121654735]
  本稿では,少数の言語データのみを用いて,共同画像と目標条件のポリシーを言語と併用する手法を提案する。 本手法は,言語を目標画像と一致させないラベル付きデータから埋め込みを学習することにより,実世界のロバストな性能を実現する。 ラベル付きデータの外部の言語命令に一般化して,様々な操作タスクをさまざまな場面で追従する命令を示す。
  論文  参考訳（メタデータ） (2023-06-30T20:09:39Z)
• GRILL: Grounded Vision-language Pre-training via Aligning Text and Image Regions [92.96783800362886]
  未知のタスクへの一般化は、少数の学習者が多様なタスクにおいてより優れたゼロ/フェーショットのパフォーマンスを達成できる重要な能力である。 GRILLは視覚的質問応答やキャプション,接地タスクなどの多様なタスクに,ほとんど,あるいはごく少数のトレーニングインスタンスで一般化可能な,新しいVLモデルである。
  論文  参考訳（メタデータ） (2023-05-24T03:33:21Z)
• Reward Design with Language Models [27.24197025688919]
  強化学習におけるリワード設計(Reward design in reinforcement learning, RL)は、人間の望ましい行動の概念を特定することは、報酬関数や専門家によるデモンストレーションを必要とするため困難である。 代わりに、自然言語インターフェースを使って報酬を安く設計できますか? 本稿では,代用報酬関数として GPT-3 などの大規模言語モデル (LLM) を提案する。
  論文  参考訳（メタデータ） (2023-02-27T22:09:35Z)
• Guiding Pretraining in Reinforcement Learning with Large Language Models [133.32146904055233]
  テキストコーパスからの背景知識を用いて探索を図形化する手法について述べる。 このメソッドはELLMと呼ばれ、言語モデルによって提案される目標を達成するエージェントに報酬を与える。 大規模な言語モデルの事前訓練を活用することで、ELLMはエージェントをループに人間を必要とせず、人間に有意義で、もっとも有用な行動へと導く。
  論文  参考訳（メタデータ） (2023-02-13T21:16:03Z)
• Distilling Internet-Scale Vision-Language Models into Embodied Agents [24.71298634838615]
  本稿では,事前学習型視覚言語モデル (VLM) を用いてエンボディエージェントの監視を行う。 モデル蒸留と後視体験リプレイ(HER)のアイデアを組み合わせて,エージェントの振る舞いを記述する言語を遡及的に生成する。 我々の研究は、インターネットスケールのVLMを使うための新しい効果的な方法を概説し、そのようなモデルによって獲得された汎用的な言語基盤を再利用して、エンボディエージェントにタスク関連グラウンドを指導する。
  論文  参考訳（メタデータ） (2023-01-29T18:21:05Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text [12.88819706338837]
  近年の研究では、ニューラルネットワークベースのエージェントが強化学習によって訓練され、シミュレートされた世界で言語のようなコマンドを実行することが説明されている。 本稿では,人間の指示に頑健な深層RLを用いた指示追従エージェントの訓練方法を提案する。
  論文  参考訳（メタデータ） (2020-05-19T12:16:58Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。