論文の概要: Visual Tuning

• arxiv url: http://arxiv.org/abs/2305.06061v2
• Date: Sat, 13 Apr 2024 06:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:17:02.333694
• Title: Visual Tuning
• Title（参考訳）: ビジュアルチューニング
• Authors: Bruce X. B. Yu, Jianlong Chang, Haixin Wang, Lingbo Liu, Shijie Wang, Zhiyu Wang, Junfan Lin, Lingxi Xie, Haojie Li, Zhouchen Lin, Qi Tian, Chang Wen Chen,
• Abstract要約: 微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
• 参考スコア（独自算出の注目度）: 143.43997336384126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning visual models has been widely shown promising performance on many downstream visual tasks. With the surprising development of pre-trained visual foundation models, visual tuning jumped out of the standard modus operandi that fine-tunes the whole pre-trained model or just the fully connected layer. Instead, recent advances can achieve superior performance than full-tuning the whole pre-trained parameters by updating far fewer parameters, enabling edge devices and downstream applications to reuse the increasingly large foundation models deployed on the cloud. With the aim of helping researchers get the full picture and future directions of visual tuning, this survey characterizes a large and thoughtful selection of recent works, providing a systematic and comprehensive overview of existing work and models. Specifically, it provides a detailed background of visual tuning and categorizes recent visual tuning techniques into five groups: prompt tuning, adapter tuning, parameter tuning, and remapping tuning. Meanwhile, it offers some exciting research directions for prospective pre-training and various interactions in visual tuning.
• Abstract（参考訳）: 微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 トレーニング済みの視覚基礎モデルの驚くべき発展により、視覚的なチューニングは、トレーニング済みのモデル全体または完全に接続された層全体を微調整する標準モードのオペラーディから飛び出した。 代わりに、最新の進歩は、はるかに少ないパラメータを更新することで、トレーニング済みパラメータ全体をフルチューニングするよりも優れたパフォーマンスを実現し、エッジデバイスとダウンストリームアプリケーションによって、クラウド上にデプロイされるますます大きな基盤モデルを再利用することができる。 この調査は、研究者が視覚的チューニングの全体像と将来的な方向性を得るのを助けることを目的として、最近の作品の大規模かつ思慮深い選択を特徴付け、既存の作品とモデルの体系的かつ包括的な概要を提供する。 具体的には、視覚的チューニングの詳細な背景を提供し、最近の視覚的チューニングテクニックを、プロンプトチューニング、アタッチメントチューニング、パラメータチューニング、リマッピングチューニングの5つのグループに分類する。 一方、前向きな事前トレーニングや視覚的チューニングにおける様々なインタラクションに対して、いくつかのエキサイティングな研究方向を提供する。

関連論文リスト

• Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers [50.23439411530435]
  部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。 部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。 広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
  論文  参考訳（メタデータ） (2023-12-25T10:11:34Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)
• MuDPT: Multi-modal Deep-symphysis Prompt Tuning for Large Pre-trained Vision-Language Models [12.397136690734865]
  マルチモーダル・ディープ・サイコフィック・プロンプト・タニングと呼ばれる新しいアプローチを提案し,その手法を MuDPT と呼ぶ。 MuDPTは、モデルに依存しない変換ネットワークを学習し、深い階層的な双方向のプロンプト融合を可能にすることで、独立したマルチモーダル・プロンプトチューニングを拡張している。 最先端の手法と比較すると, MuDPT は認識能力と一般化能力が向上し, マージンは明らかである。
  論文  参考訳（メタデータ） (2023-06-20T09:15:52Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• Neural Prompt Search [38.68910532066619]
  本稿では,大規模視覚モデルのための新しいアプローチであるNeural prOmpt seArcHを提案する。 NOAHは、大きな視覚モデルに対して、ニューラルネットワーク探索アルゴリズムを通じてプロンプトモジュールの最適設計を学ぶ。
  論文  参考訳（メタデータ） (2022-06-09T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。