論文の概要: Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control

• arxiv url: http://arxiv.org/abs/2405.05852v1
• Date: Thu, 9 May 2024 15:39:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 12:53:04.714096
• Title: Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control
• Title（参考訳）: 事前学習されたテキスト・画像拡散モデルは、制御のための可読性表現学習者である
• Authors: Gunshi Gupta, Karmesh Yadav, Yarin Gal, Dhruv Batra, Zsolt Kira, Cong Lu, Tim G. J. Rudner,
• Abstract要約: 身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
• 参考スコア（独自算出の注目度）: 73.6361029556484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied AI agents require a fine-grained understanding of the physical world mediated through visual and language inputs. Such capabilities are difficult to learn solely from task-specific data. This has led to the emergence of pre-trained vision-language models as a tool for transferring representations learned from internet-scale data to downstream tasks and new domains. However, commonly used contrastively trained representations such as in CLIP have been shown to fail at enabling embodied agents to gain a sufficiently fine-grained scene understanding -- a capability vital for control. To address this shortcoming, we consider representations from pre-trained text-to-image diffusion models, which are explicitly optimized to generate images from text prompts and as such, contain text-conditioned representations that reflect highly fine-grained visuo-spatial information. Using pre-trained text-to-image diffusion models, we construct Stable Control Representations which allow learning downstream control policies that generalize to complex, open-ended environments. We show that policies learned using Stable Control Representations are competitive with state-of-the-art representation learning approaches across a broad range of simulated control settings, encompassing challenging manipulation and navigation tasks. Most notably, we show that Stable Control Representations enable learning policies that exhibit state-of-the-art performance on OVMM, a difficult open-vocabulary navigation benchmark.
• Abstract（参考訳）: 身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 このような機能は、タスク固有のデータのみから学ぶのは難しい。 これにより、インターネットスケールのデータから学んだ表現を下流のタスクや新しいドメインに転送する手段として、事前学習された視覚言語モデルの出現につながった。 しかし、CLIPのような対照的に訓練された表現は、十分なきめ細かなシーン理解(制御に不可欠な能力)を実施できないことが示されている。 この欠点に対処するために,テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト・ツー・イメージ拡散モデルからの表現を検討する。 事前学習したテキスト・画像拡散モデルを用いて、複雑なオープンエンド環境に一般化する下流制御ポリシーの学習を可能にする安定制御表現を構築する。 安定制御表現を用いて学習したポリシーは、様々なシミュレートされた制御設定にまたがる最先端の表現学習アプローチと競合し、困難な操作やナビゲーションタスクを含むことを示す。 最も注目すべきは、安定制御表現は、難解なオープン語彙ナビゲーションベンチマークであるOVMM上で最先端のパフォーマンスを示す学習ポリシーを可能にすることである。

関連論文リスト

• Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
  ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。 このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。 また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
  論文  参考訳（メタデータ） (2024-07-05T13:15:29Z)
• CLIPtone: Unsupervised Learning for Text-based Image Tone Adjustment [23.36770607997754]
  テキストベースの画像トーン調整手法であるCLIPtoneについて,教師なし学習に基づくアプローチを提案する。 提案手法の有効性は,ユーザスタディを含む総合的な実験を通じて実証される。
  論文  参考訳（メタデータ） (2024-04-01T13:57:46Z)
• Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts [83.03471704115786]
  本研究では,改良型プロンプト拡散(iPromptDiff)を紹介する。 iPromptDiffは、視覚コンテキストを埋め込みベクトルに変換するエンドツーエンドのトレーニングされた視覚エンコーダを統合する。 拡散に基づく視覚基盤モデルにおいて,この視覚的文脈変調テキストガイダンスと標準制御ネット構造を組み込んだ場合,多種多様な学習課題における多目的性と堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-03T14:15:52Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• Curious Representation Learning for Embodied Intelligence [81.21764276106924]
  近年,自己指導型表現学習は顕著な成功を収めている。 しかし、真にインテリジェントなエージェントを構築するためには、環境から学習できる表現学習アルゴリズムを構築する必要がある。 本稿では,強化学習方針と視覚的表現モデルを同時に学習する,好奇心をそそる表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-03T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。