論文の概要: Imit Diff: Semantics Guided Diffusion Transformer with Dual Resolution Fusion for Imitation Learning

• arxiv url: http://arxiv.org/abs/2502.09649v1
• Date: Tue, 11 Feb 2025 14:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:48:35.906513
• Title: Imit Diff: Semantics Guided Diffusion Transformer with Dual Resolution Fusion for Imitation Learning
• Title（参考訳）: Imit Diff:Imitation LearningのためのDual Resolution Fusionを用いた意味誘導拡散変換器
• Authors: Yuhang Dong, Haizhou Ge, Yupei Zeng, Jiangning Zhang, Beiwen Tian, Guanzhong Tian, Hongrui Zhu, Yufei Jia, Ruixiang Wang, Ran Yi, Guyue Zhou, Longhua Ma,
• Abstract要約: 擬似学習のための二分解能融合型セマンティック誘導拡散変圧器Imit Diffを紹介する。 提案手法では,視覚言語基礎モデルからの事前知識を活用して,高レベルの意味的命令をピクセルレベルの視覚的ローカライゼーションに変換する。 本稿では, エージェント制御におけるリアルタイム性能と動作のスムーズさを改善するために, 拡散トランスフォーマーアーキテクチャにおける一貫性ポリシーの実装を提案する。
• 参考スコア（独自算出の注目度）: 26.018598352491935
• License:
• Abstract: Visuomotor imitation learning enables embodied agents to effectively acquire manipulation skills from video demonstrations and robot proprioception. However, as scene complexity and visual distractions increase, existing methods that perform well in simple scenes tend to degrade in performance. To address this challenge, we introduce Imit Diff, a semanstic guided diffusion transformer with dual resolution fusion for imitation learning. Our approach leverages prior knowledge from vision language foundation models to translate high-level semantic instruction into pixel-level visual localization. This information is explicitly integrated into a multi-scale visual enhancement framework, constructed with a dual resolution encoder. Additionally, we introduce an implementation of Consistency Policy within the diffusion transformer architecture to improve both real-time performance and motion smoothness in embodied agent control.We evaluate Imit Diff on several challenging real-world tasks. Due to its task-oriented visual localization and fine-grained scene perception, it significantly outperforms state-of-the-art methods, especially in complex scenes with visual distractions, including zero-shot experiments focused on visual distraction and category generalization. The code will be made publicly available.
• Abstract（参考訳）: ビジュモータ模倣学習は、エンボディエージェントがビデオデモやロボットのプロプレセプションから操作スキルを効果的に獲得することを可能にする。 しかし、シーンの複雑さや視覚的障害が増大するにつれて、単純なシーンでうまく機能する既存の手法は性能が低下する傾向にある。 この課題に対処するために、擬似学習のための二重分解能融合を備えたセマンティック誘導拡散変換器Imit Diffを紹介する。 提案手法では,視覚言語基礎モデルからの事前知識を活用して,高レベルの意味的命令をピクセルレベルの視覚的ローカライゼーションに変換する。 この情報は、デュアル解像度エンコーダで構築されたマルチスケール視覚拡張フレームワークに明示的に統合される。 さらに, エージェント制御におけるリアルタイム性能と動作のスムーズさを両立させるために, 拡散トランスフォーマーアーキテクチャにおける一貫性ポリシーの実装も導入し, 課題の多い実世界の課題に対してImit Diffの評価を行った。 タスク指向の視覚的ローカライゼーションと微粒なシーン知覚により、特に視覚的散逸を伴う複雑なシーンにおいて、視覚的散逸とカテゴリーの一般化に焦点を当てたゼロショット実験などにおいて、最先端の手法を著しく上回っている。 コードは公開されます。

関連論文リスト

• Duplex: Dual Prototype Learning for Compositional Zero-Shot Learning [17.013498508426398]
  合成ゼロショット学習(CZSL)は、学習中に欠落した視覚状態や物体の新たな構成をモデルが認識できるようにすることを目的としている。 そこで我々はDuplexを提案する。Duplexは、セマンティックとビジュアルのプロトタイプを、慎重に設計されたデュアルブランチアーキテクチャを通して統合する新しいデュアルプロトタイプ学習手法である。
  論文  参考訳（メタデータ） (2025-01-13T08:04:32Z)
• EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models [54.234657224615354]
  大規模な言語モデルと視覚変換器は、ダウンストリームタスクにおいて大きな転送可能性を実現する、印象的なゼロショット機能を示している。 膨大な画像と言語の事前学習を取り入れているにもかかわらず、これらのマルチモーダルアーキテクチャは、画像データの基底真理から逸脱する応答をしばしば生成する。 幻覚を緩和する現在の方法は、一般的に言語コンポーネントの正規化、融合モジュールの改善、視覚表現を改善するために複数の視覚エンコーダのアンサンブルに焦点を当てている。 従来のコントラスト付き事前学習タスクを手軽に書き換えることで,教育用マルチモーダルアーキテクチャに組み込まれたビジュアルエンコーダが,追加の指導訓練を行なわずに実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-06T00:39:31Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts [83.03471704115786]
  本研究では,改良型プロンプト拡散(iPromptDiff)を紹介する。 iPromptDiffは、視覚コンテキストを埋め込みベクトルに変換するエンドツーエンドのトレーニングされた視覚エンコーダを統合する。 拡散に基づく視覚基盤モデルにおいて,この視覚的文脈変調テキストガイダンスと標準制御ネット構造を組み込んだ場合,多種多様な学習課題における多目的性と堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-03T14:15:52Z)
• SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models [22.472167814814448]
  本稿では,SeMAIL(Separated Model-based Adversarial Imitation Learning)というモデルベース模倣学習アルゴリズムを提案する。 本手法は, 様々な視覚的制御タスクにおいて, 複雑な観察と, 専門的な観察から異なる背景を持つより困難なタスクにおいて, ほぼ専門的な性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T04:33:44Z)
• Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
  低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。 主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。 上述の潜在対応をモデル化するための双レベルパラダイムを導入する。 エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-06-02T08:16:21Z)
• Episodic Transformer for Vision-and-Language Navigation [142.6236659368177]
  本稿では,長時間のサブタスク処理と複雑なヒューマンインストラクションの理解という2つの課題に取り組むことに焦点を当てる。 エピソード変換器(E.T.)を提案する。 言語入力と視覚観察と行動の全エピソード履歴を符号化するマルチモーダルトランスフォーマーである。 我々のアプローチは、挑戦的なALFREDベンチマークに新たな技術状況を設定し、見つからないテストの分割で38.4%と8.5%のタスク成功率を達成した。
  論文  参考訳（メタデータ） (2021-05-13T17:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。