論文の概要: InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

• arxiv url: http://arxiv.org/abs/2309.03895v1
• Date: Thu, 7 Sep 2023 17:56:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 11:47:33.176330
• Title: InstructDiffusion: A Generalist Modeling Interface for Vision Tasks
• Title（参考訳）: InstructDiffusion:視覚タスクのための汎用モデリングインタフェース
• Authors: Zigang Geng, Binxin Yang, Tiankai Hang, Chen Li, Shuyang Gu, Ting Zhang, Jianmin Bao, Zheng Zhang, Han Hu, Dong Chen, Baining Guo
• Abstract要約: InstructDiffusionはコンピュータビジョンタスクを人間の指示に合わせるためのフレームワークである。 InstructDiffusionは、タスクの理解や生成タスクなど、さまざまなビジョンタスクを処理できる。 目に見えないタスクを処理し、新しいデータセットで前のメソッドより優れていることも示しています。
• 参考スコア（独自算出の注目度）: 52.981128371910266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.
• Abstract（参考訳）: 本稿では,コンピュータビジョンタスクとヒューマンインストラクションを統一した汎用フレームワークinstructdiffusionを提案する。 先行知識を統合し、各視覚タスクの出力空間(例えばカテゴリと座標)を事前に定義する既存のアプローチとは異なり、出力空間がフレキシブルでインタラクティブなピクセル空間である人間の直感的な画像操作プロセスに様々な視覚タスクを投入する。 具体的には、拡散過程に基づいて構築され、男性の左肩を赤く囲む、または左車に青いマスクを塗るなど、ユーザの指示に従ってピクセルを予測するように訓練される。 InstructDiffusionは、セグメンテーションやキーポイント検出といった)タスクの理解や生成タスク(編集や拡張など)など、さまざまな視覚タスクを処理することができる。 目に見えないタスクを処理し、新しいデータセットで以前のメソッドを上回ることさえできる。 これは、ビジョンタスクのためのジェネラリストモデリングインタフェース、コンピュータビジョンの分野での人工知能の進歩への大きな一歩である。

関連論文リスト

• Toward a Diffusion-Based Generalist for Dense Vision Tasks [141.03236279493686]
  近年の研究では、画像自体が汎用的な視覚知覚のための自然なインタフェースとして利用できることが示されている。 我々は,画素空間での拡散を行い,高密度視覚タスクのための事前学習されたテキスト・画像拡散モデルを微調整するためのレシピを提案する。 実験では,4種類のタスクに対して評価を行い,他のビジョンジェネラリストと競合する性能を示す。
  論文  参考訳（メタデータ） (2024-06-29T17:57:22Z)
• Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning [0.0]
  マルチタスク方式で自己教師型と教師型の両方の視覚的プレテキストタスクを採用することで、新しい事前学習フレームワークを提案する。 その結果、事前学習したモデルでは、複数の視覚的タスクにおいて、最先端(SOTA)結果と同等以上の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-11T14:06:04Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
  我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
  論文  参考訳（メタデータ） (2023-09-30T14:26:43Z)
• Masked Diffusion with Task-awareness for Procedure Planning in Instructional Videos [16.93979476655776]
  指導ビデオにおけるプロシージャ計画における重要な課題は、さまざまなアクションタイプからなる大きな決定空間をどのように扱うかである。 マスク付き拡散モデルとして,シンプルで効果的な拡張法を提案する。 我々は,事前学習された視覚言語モデルに人間の行動に焦点を当てるよう促すことで,テキストの埋め込みを生成する共同視覚テキスト埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-09-14T03:25:37Z)
• Tuning computer vision models with task rewards [88.45787930908102]
  モデル予測と意図された使用法とのミスは、コンピュータビジョンモデルの展開に有害である。 自然言語処理では、モデルとタスク報酬を整合させる強化学習技術を用いて、この問題に対処することが多い。 我々はこのアプローチを採用し、オブジェクト検出、汎視的セグメンテーション、着色、画像キャプションなど、複数のコンピュータビジョンタスクにまたがる驚くべき効果を示す。
  論文  参考訳（メタデータ） (2023-02-16T11:49:48Z)
• Images Speak in Images: A Generalist Painter for In-Context Visual Learning [98.78475432114595]
  コンテキスト内学習により、モデルはいくつかのプロンプトと例だけで、様々なタスクに迅速に適応できる。 汎用タスクをどのように定義すれば、ビジョンモデルがドメイン外のタスクを理解し、転送できるのかは不明だ。 我々は、コアビジョンタスクの出力をイメージとして再定義し、タスクプロンプトを画像として指定する汎用モデルであるPapererを提案する。
  論文  参考訳（メタデータ） (2022-12-05T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。