論文の概要: Language-Model-Assisted Bi-Level Programming for Reward Learning from Internet Videos

• arxiv url: http://arxiv.org/abs/2410.09286v1
• Date: Fri, 11 Oct 2024 22:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:23:18.115620
• Title: Language-Model-Assisted Bi-Level Programming for Reward Learning from Internet Videos
• Title（参考訳）: インターネットビデオからのリワード学習のための言語モデル支援バイレベルプログラミング
• Authors: Harsh Mahesheka, Zhixian Xie, Zhaoran Wang, Wanxin Jin,
• Abstract要約: 我々は、強化学習エージェントがインターネットビデオから報酬を学べるように、言語モデル支援のバイレベルプログラミングフレームワークを導入する。 このフレームワークは、視覚言語モデル(VLM)が学習者の振る舞いをエキスパートビデオと比較することでフィードバックを提供する上位レベルと、このフィードバックを報酬更新に変換する大規模言語モデル(LLM)の下位レベルである。 そこで本研究では,YouTubeビデオから報酬を学習する手法を検証するとともに,提案手法が生物エージェントのエキスパートビデオから効率的に報酬をデザインできることを示した。
• 参考スコア（独自算出の注目度）: 48.2044649011213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from Demonstrations, particularly from biological experts like humans and animals, often encounters significant data acquisition challenges. While recent approaches leverage internet videos for learning, they require complex, task-specific pipelines to extract and retarget motion data for the agent. In this work, we introduce a language-model-assisted bi-level programming framework that enables a reinforcement learning agent to directly learn its reward from internet videos, bypassing dedicated data preparation. The framework includes two levels: an upper level where a vision-language model (VLM) provides feedback by comparing the learner's behavior with expert videos, and a lower level where a large language model (LLM) translates this feedback into reward updates. The VLM and LLM collaborate within this bi-level framework, using a "chain rule" approach to derive a valid search direction for reward learning. We validate the method for reward learning from YouTube videos, and the results have shown that the proposed method enables efficient reward design from expert videos of biological agents for complex behavior synthesis.
• Abstract（参考訳）: デモから学ぶこと、特に人間や動物のような生物学的専門家は、しばしば重要なデータ取得の課題に直面している。 最近のアプローチでは、学習にインターネットビデオを活用するが、エージェントのモーションデータを抽出して再ターゲットするためには、複雑なタスク固有のパイプラインが必要である。 本研究では,強化学習エージェントが専用データ作成を回避して,インターネットビデオから直接報酬を学習できる言語モデル支援型バイレベルプログラミングフレームワークを提案する。 このフレームワークは、視覚言語モデル(VLM)が学習者の振る舞いをエキスパートビデオと比較することでフィードバックを提供する上位レベルと、このフィードバックを報酬更新に変換する大規模言語モデル(LLM)の下位レベルである。 VLMとLLMは、この二段階のフレームワークの中で協力し、「チェーンルール」アプローチを用いて、報酬学習のための有効な探索方向を導出する。 提案手法は,YouTubeビデオから報酬を学習する手法を検証し,複雑な行動合成のためのバイオエージェントのエキスパートビデオから,効果的な報酬設計を可能にすることを示した。

関連論文リスト

• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Reinforcement Learning Friendly Vision-Language Model for Minecraft [31.863271032186038]
  クロスモーダルなコントラスト学習フレームワークであるCLIP4MCを提案する。 オープンなタスクに対する本質的な報酬関数として機能する強化学習(RL)フレンドリな視覚言語モデル(VLM)を学習することを目的としている。 提案手法は,ベースラインよりもRLタスクの性能がよいことを示す。
  論文  参考訳（メタデータ） (2023-03-19T05:20:52Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)
• Learning from Weakly-labeled Web Videos via Exploring Sub-Concepts [89.06560404218028]
  検索ウェブビデオを用いたビデオ行動認識モデルの事前学習手法を提案する。 フィルタアウトする代わりに、これらのクエリービデオの潜在的なノイズを有用な監視信号に変換することを提案します。 SPLは擬似ラベルを用いた既存の事前学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T05:50:16Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。