論文の概要: Learning to Model the World with Language

• arxiv url: http://arxiv.org/abs/2308.01399v2
• Date: Fri, 31 May 2024 15:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:41:23.199884
• Title: Learning to Model the World with Language
• Title（参考訳）: 言語で世界をモデル化する学習
• Authors: Jessy Lin, Yuqing Du, Olivia Watkins, Danijar Hafner, Pieter Abbeel, Dan Klein, Anca Dragan,
• Abstract要約: 人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。 我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
• 参考スコア（独自算出の注目度）: 100.76069091703505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To interact with humans and act in the world, agents need to understand the range of language that people use and relate it to the visual world. While current agents can learn to execute simple language instructions, we aim to build agents that leverage diverse language -- language like "this button turns on the TV" or "I put the bowls away" -- that conveys general knowledge, describes the state of the world, provides interactive feedback, and more. Our key idea is that agents should interpret such diverse language as a signal that helps them predict the future: what they will observe, how the world will behave, and which situations will be rewarded. This perspective unifies language understanding with future prediction as a powerful self-supervised learning objective. We instantiate this in Dynalang, an agent that learns a multimodal world model to predict future text and image representations, and learns to act from imagined model rollouts. While current methods that learn language-conditioned policies degrade in performance with more diverse types of language, we show that Dynalang learns to leverage environment descriptions, game rules, and instructions to excel on tasks ranging from game-playing to navigating photorealistic home scans. Finally, we show that our method enables additional capabilities due to learning a generative model: Dynalang can be pretrained on text-only data, enabling learning from offline datasets, and generate language grounded in an environment.
• Abstract（参考訳）: 人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 現在のエージェントは単純な言語命令を実行することを学べるが、我々は多様な言語("このボタンがテレビをオンにする"や"ボウルを片付ける"など)を活用するエージェントの構築を目指している。 私たちのキーとなる考え方は、エージェントが未来を予測するのに役立つ信号として、このような多様な言語を解釈すべきであるということです。 この視点は、言語理解と将来の予測を強力な自己教師型学習目標として統合する。 我々は、将来のテキストや画像表現を予測するためにマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化し、想像されたモデルロールアウトから行動することを学ぶ。 言語条件付きポリシーを学習する現在の手法は、より多様な種類の言語で性能が劣化しているのに対し、Dynalangは、環境記述、ゲームルール、命令を活用して、ゲームプレイからフォトリアリスティックなホームスキャンのナビゲートまで、タスクを最適化する。 ダイナラングは、テキストのみのデータに基づいて事前訓練し、オフラインのデータセットから学習し、環境に根ざした言語を生成することができる。

関連論文リスト

• Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling [47.7950860342515]
  LexiContrastive Grounding (LCG)は、視覚的監督を利用してテキスト表現を改善する言語学習手法である。 LCGは学習効率において標準言語のみのモデルより優れている。 CLIP、GIT、Flamingo、Vokenizationなど、視覚と言語による学習手順を改善する。
  論文  参考訳（メタデータ） (2024-03-21T16:52:01Z)
• Video as the New Language for Real-World Decision Making [100.68643056416394]
  ビデオデータは、言語で表現しにくい物理世界に関する重要な情報をキャプチャする。 ビデオは、インターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。 ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定します。
  論文  参考訳（メタデータ） (2024-02-27T02:05:29Z)
• LanGWM: Language Grounded World Model [24.86620763902546]
  我々は,世界モデル学習を強化するために,言語による視覚的特徴を学習することに注力する。 提案手法は,人間とロボットの相互作用モデルを改善する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-11-29T12:41:55Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Accessible Instruction-Following Agent [0.0]
  UVLNは、言語間視覚言語ナビゲーションのための新しい機械翻訳命令拡張フレームワークである。 我々は、標準VLNトレーニング目標を言語間エンコーダを介して多言語設定に拡張する。 Room Across Roomデータセットによる実験は、我々のアプローチの有効性を証明する。
  論文  参考訳（メタデータ） (2023-05-08T23:57:26Z)
• Language-Driven Representation Learning for Robotics [115.93273609767145]
  ロボット工学における視覚表現学習の最近の研究は、日々の作業を行う人間の大規模なビデオデータセットから学ぶことの可能性を実証している。 人間のビデオやキャプションから言語による表現学習を行うためのフレームワークを提案する。 我々は、Voltronの言語駆動学習が、特に高レベル制御を必要とするターゲット問題において、先行技術よりも優れていることを発見した。
  論文  参考訳（メタデータ） (2023-02-24T17:29:31Z)
• Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models [70.82705830137708]
  言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。 我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。 DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
  論文  参考訳（メタデータ） (2022-11-21T18:56:00Z)
• Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
  大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:57:11Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。