論文の概要: LION: Implicit Vision Prompt Tuning

• arxiv url: http://arxiv.org/abs/2303.09992v3
• Date: Wed, 27 Mar 2024 16:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:31:58.749885
• Title: LION: Implicit Vision Prompt Tuning
• Title（参考訳）: LION:インシシシト・ビジョン・プロンプト・チューニング
• Authors: Haixin Wang, Jianlong Chang, Xiao Luo, Jinan Sun, Zhouchen Lin, Qi Tian,
• Abstract要約: ImpLicit vIsion prOmpt tuNing (LION) と呼ばれる効率的な視覚モデルを提案する。 LIONは、様々な複雑なタスクに対して安定したメモリコストを持つ深い暗黙のモデルによって動機付けられている。 LIONによって得られたパフォーマンスは、幅広いデータセットで保証されています。
• 参考スコア（独自算出の注目度）: 95.71880718928439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent competitive performance across a range of vision tasks, vision Transformers still have an issue of heavy computational costs. Recently, vision prompt learning has provided an economic solution to this problem without fine-tuning the whole large-scale models. However, the efficiency of existing models are still far from satisfactory due to insertion of extensive prompts blocks and trick prompt designs. In this paper, we propose an efficient vision model named impLicit vIsion prOmpt tuNing (LION), which is motivated by deep implicit models with stable memory costs for various complex tasks. In particular, we merely insect two equilibrium implicit layers in two ends of the pre-trained main backbone with parameters in the backbone frozen. Moreover, we prune the parameters in these two layers according to lottery hypothesis. The performance obtained by our LION are promising on a wide range of datasets. In particular, our LION reduces up to 11.5% of training parameter numbers while obtaining higher performance compared with the state-of-the-art baseline VPT, especially under challenging scenes. Furthermore, we find that our proposed LION had a good generalization performance, making it an easy way to boost transfer learning in the future.
• Abstract（参考訳）: 近年の視覚タスクの競争性能にもかかわらず、視覚変換器には計算コストの重い問題がある。 近年、視覚素早い学習は、大規模なモデル全体を微調整することなく、この問題に対する経済的解決策を提供している。 しかしながら、既存のモデルの効率は、広範囲なプロンプトブロックとトリックプロンプトの設計が挿入されたため、まだ満足できない。 本稿では,様々な複雑なタスクに対して,メモリコストの安定な暗黙的モデルによって動機付けられた,p ImpLicit vIsion prOmpt tuNing (LION) という効率的な視覚モデルを提案する。 特に、トレーニング済みのメインバックボーンの両端に2つの平衡暗黙の層を投射するだけで、バックボーンのパラメータは凍結した。 さらに,この2つの層におけるパラメータを,宝くじの仮説に従ってプルークする。 LIONによって得られたパフォーマンスは、幅広いデータセットで保証されています。 特にLIONはトレーニングパラメータの最大11.5%を削減し、最先端のベースラインVPTよりも高いパフォーマンスを実現しています。 さらに,提案する LION の一般化性能が良好であることから,将来的なトランスファー学習の促進も容易であることがわかった。

関連論文リスト

• big.LITTLE Vision Transformer for Efficient Visual Recognition [34.015778625984055]
  big.LITTLE Vision Transformerは、効率的な視覚認識を実現するための革新的なアーキテクチャである。 システムは、大きなパフォーマンスブロックとLITTLE効率ブロックの2つの異なるブロックで構成されている。 画像処理では,各トークンの重要度を判定し,それに応じて割り当てる。
  論文  参考訳（メタデータ） (2024-10-14T08:21:00Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
  本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。 RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
  論文  参考訳（メタデータ） (2023-02-16T06:14:15Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。