論文の概要: GiT: Towards Generalist Vision Transformer through Universal Language Interface

• arxiv url: http://arxiv.org/abs/2403.09394v1
• Date: Thu, 14 Mar 2024 13:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 20:27:28.820060
• Title: GiT: Towards Generalist Vision Transformer through Universal Language Interface
• Title（参考訳）: GiT:Universal Language Interfaceによる汎用ビジョントランス
• Authors: Haiyang Wang, Hao Tang, Li Jiang, Shaoshuai Shi, Muhammad Ferjad Naeem, Hongsheng Li, Bernt Schiele, Liwei Wang,
• Abstract要約: 本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。 GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
• 参考スコア（独自算出の注目度）: 94.33443158125186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a simple, yet effective framework, called GiT, simultaneously applicable for various vision tasks only with a vanilla ViT. Motivated by the universality of the Multi-layer Transformer architecture (e.g, GPT) widely used in large language models (LLMs), we seek to broaden its scope to serve as a powerful vision foundation model (VFM). However, unlike language modeling, visual tasks typically require specific modules, such as bounding box heads for detection and pixel decoders for segmentation, greatly hindering the application of powerful multi-layer transformers in the vision domain. To solve this, we design a universal language interface that empowers the successful auto-regressive decoding to adeptly unify various visual tasks, from image-level understanding (e.g., captioning), over sparse perception (e.g., detection), to dense prediction (e.g., segmentation). Based on the above designs, the entire model is composed solely of a ViT, without any specific additions, offering a remarkable architectural simplification. GiT is a multi-task visual model, jointly trained across five representative benchmarks without task-specific fine-tuning. Interestingly, our GiT builds a new benchmark in generalist performance, and fosters mutual enhancement across tasks, leading to significant improvements compared to isolated training. This reflects a similar impact observed in LLMs. Further enriching training with 27 datasets, GiT achieves strong zero-shot results over various tasks. Due to its simple design, this paradigm holds promise for narrowing the architectural gap between vision and language. Code and models will be available at \url{https://github.com/Haiyang-W/GiT}.
• Abstract（参考訳）: 本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。 大規模言語モデル(LLM)で広く使われている多層トランスフォーマーアーキテクチャ(GPT)の普遍性により、我々はその範囲を広げ、強力なビジョン基盤モデル(VFM)として機能することを目指している。 しかし、言語モデリングとは異なり、視覚タスクは通常、検出のためのボックスヘッドのバウンディングやセグメンテーションのためのピクセルデコーダのような特定のモジュールを必要とする。 この問題を解決するために,画像レベルの理解(例:キャプション),スパース知覚(例:検出),密集予測(例:セグメンテーション)など,様々な視覚的タスクを包括的に統合する,自動回帰デコーディングを成功させるユニバーサル言語インタフェースを設計する。 上記の設計に基づいて、モデル全体がViTのみで構成されており、具体的な追加はない。 GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。 興味深いことに、私たちのGiTはジェネラリストのパフォーマンスの新たなベンチマークを構築し、タスク間の相互強化を促進し、独立したトレーニングに比べて大幅に改善しました。 これはLLMで観察された同様の影響を反映している。 さらに27のデータセットによるトレーニングを充実させることで、GiTはさまざまなタスクに対して強力なゼロショット結果が得られる。 そのシンプルな設計のため、このパラダイムはビジョンと言語の間のアーキテクチャ的ギャップを狭めるという約束を保っている。 コードとモデルは \url{https://github.com/Haiyang-W/GiT} で入手できる。

関連論文リスト

• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
  本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。 GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。 画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
  論文  参考訳（メタデータ） (2023-12-14T17:26:00Z)
• Uni-Perceiver v2: A Generalist Model for Large-Scale Vision and Vision-Language Tasks [86.66733026149892]
  大規模ビジョンと視覚非依存タスクを扱える最初のジェネラリストモデルであるUni-Perceiver v2を提案する。 具体的には、画像は一般領域の提案としてエンコードされ、テキストはTransformerベースの言語モデルを介してエンコードされる。 Uni-Perceiver v2は、幅広いビジョンとビジョン言語タスクで競争力を発揮する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:52Z)
• MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
  我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。 本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
  論文  参考訳（メタデータ） (2022-05-17T13:03:18Z)
• A Simple Single-Scale Vision Transformer for Object Localization and Instance Segmentation [79.265315267391]
  We propose a simple and compact ViT architecture called Universal Vision Transformer (UViT)。 UViTは、オブジェクト検出とインスタンスセグメンテーションタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-12-17T20:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。