論文の概要: Learning A Low-Level Vision Generalist via Visual Task Prompt

• arxiv url: http://arxiv.org/abs/2408.08601v1
• Date: Fri, 16 Aug 2024 08:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 16:07:32.382976
• Title: Learning A Low-Level Vision Generalist via Visual Task Prompt
• Title（参考訳）: Visual Task Promptによる低レベルビジョンジェネラリストの学習
• Authors: Xiangyu Chen, Yihao Liu, Yuandong Pu, Wenlong Zhang, Jiantao Zhou, Yu Qiao, Chao Dong,
• Abstract要約: 本稿では,これらの課題を克服するために,視覚タスクプロンプトベース画像処理(VPIP)フレームワークを提案する。 VPIPは視覚的なタスクプロンプトを使用して、異なる入力ターゲットドメインでタスクを管理し、バックボーンネットワークの柔軟な選択を可能にする。 VPIPフレームワークに基づいて、30種類のタスクで低レベルのビジョンジェネラリストモデル、すなわちGenLVをトレーニングする。
• 参考スコア（独自算出の注目度）: 43.54563263106761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building a unified model for general low-level vision tasks holds significant research and practical value. Current methods encounter several critical issues. Multi-task restoration approaches can address multiple degradation-to-clean restoration tasks, while their applicability to tasks with different target domains (e.g., image stylization) is limited. Methods like PromptGIP can handle multiple input-target domains but rely on the Masked Autoencoder (MAE) paradigm. Consequently, they are tied to the ViT architecture, resulting in suboptimal image reconstruction quality. In addition, these methods are sensitive to prompt image content and often struggle with low-frequency information processing. In this paper, we propose a Visual task Prompt-based Image Processing (VPIP) framework to overcome these challenges. VPIP employs visual task prompts to manage tasks with different input-target domains and allows flexible selection of backbone network suitable for general tasks. Besides, a new prompt cross-attention is introduced to facilitate interaction between the input and prompt information. Based on the VPIP framework, we train a low-level vision generalist model, namely GenLV, on 30 diverse tasks. Experimental results show that GenLV can successfully address a variety of low-level tasks, significantly outperforming existing methods both quantitatively and qualitatively. Codes are available at https://github.com/chxy95/GenLV.
• Abstract（参考訳）: 一般的な低レベル視覚タスクのための統一モデルを構築することは、重要な研究と実践的価値をもたらす。 現在の手法にはいくつかの重大な問題がある。 マルチタスク復元アプローチは、複数の劣化からクリーンな復元タスクに対処できるが、異なる対象領域(例えば、画像スタイリング)のタスクに適用性は限られている。 PromptGIPのようなメソッドは複数の入力ターゲットドメインを扱えるが、Masked Autoencoder(MAE)パラダイムに依存している。 結果として、それらはViTアーキテクチャに結びついており、その結果、最適画像再構成の品質が向上する。 さらに,これらの手法は画像内容に敏感であり,低周波情報処理に苦慮することが多い。 本稿では,これらの課題を解決するために,視覚タスクプロンプトベース画像処理(VPIP)フレームワークを提案する。 VPIPは視覚的なタスクプロンプトを使用して、異なる入力ターゲットドメインでタスクを管理し、一般的なタスクに適したバックボーンネットワークの柔軟な選択を可能にする。 さらに、入力とプロンプト情報の相互作用を容易にするために、新しいプロンプトクロスアテンションが導入される。 VPIPフレームワークに基づいて、30種類のタスクで低レベルのビジョンジェネラリストモデル、すなわちGenLVをトレーニングする。 実験の結果、GenLVは様々な低レベルタスクにうまく対応でき、既存の手法を定量的にも質的にも大幅に上回っていることがわかった。 コードはhttps://github.com/chxy95/GenLVで入手できる。

関連論文リスト

• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• Unifying Image Processing as Visual Prompting Question Answering [62.84955983910612]
  画像処理はコンピュータビジョンの基本的な課題であり、画像の品質を高め、その後の視覚アプリケーションに不可欠な特徴を抽出することを目的としている。 伝統的に、タスク固有のモデルは個々のタスクのために開発され、そのようなモデルの設計には異なる専門知識が必要である。 本稿では,画像復元,画像強調,画像特徴抽出タスクを網羅する汎用画像処理モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-16T15:32:57Z)
• Explicit Visual Prompting for Universal Foreground Segmentations [55.51869354956533]
  我々は,タスク固有の設計を伴わずに,複数の前景セグメンテーションタスクを統一したフレームワークを提案する。 我々は、広く使われている事前学習からインスピレーションを得て、NLPのチューニングプロトコルを高速化する。 本手法は,事前学習したモデルを凍結し,いくつかのパラメータを用いてタスク固有の知識を学習する。
  論文  参考訳（メタデータ） (2023-05-29T11:05:01Z)
• Images Speak in Images: A Generalist Painter for In-Context Visual Learning [98.78475432114595]
  コンテキスト内学習により、モデルはいくつかのプロンプトと例だけで、様々なタスクに迅速に適応できる。 汎用タスクをどのように定義すれば、ビジョンモデルがドメイン外のタスクを理解し、転送できるのかは不明だ。 我々は、コアビジョンタスクの出力をイメージとして再定義し、タスクプロンプトを画像として指定する汎用モデルであるPapererを提案する。
  論文  参考訳（メタデータ） (2022-12-05T18:59:50Z)
• Multitask Vision-Language Prompt Tuning [103.5967011236282]
  マルチタスク視覚言語プロンプトチューニング(MV)を提案する。 MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。 20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T18:41:44Z)
• Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
  本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。 我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-29T10:19:10Z)
• Generative Modeling for Multi-task Visual Learning [40.96212750592383]
  様々な視覚的認知タスクにおいて有用な共有生成モデルを学ぶという,新しい問題を考える。 本稿では,識別型マルチタスクネットワークと生成ネットワークを結合して,汎用的なマルチタスク指向生成モデリングフレームワークを提案する。 我々のフレームワークは、最先端のマルチタスクアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-06-25T03:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。