論文の概要: Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation
- arxiv url: http://arxiv.org/abs/2407.00676v1
- Date: Sun, 30 Jun 2024 12:13:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:07:11.757890
- Title: Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation
- Title（参考訳）: Instruct-IPT:重み変調によるオールインワン画像処理変換器
- Authors: Yuchuan Tian, Jianhong Han, Hanting Chen, Yuanyuan Xi, Guoyang Zhang, Jie Hu, Chao Xu, Yunhe Wang,
- Abstract要約: Instruct-IPT - 多様体画像復元タスクを効果的に処理できるオールインワン画像処理変換器を提案する。
おもちゃの実験を通してタスクに敏感な重みを見つけ,その上にタスク固有のバイアスを導入する。
優れた圧縮戦略のランク解析を行い、バイアスに対して低ランク分解を行う。
- 参考スコア（独自算出の注目度）: 25.253522756863727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the unaffordable size and intensive computation costs of low-level vision models, All-in-One models that are designed to address a handful of low-level vision tasks simultaneously have been popular. However, existing All-in-One models are limited in terms of the range of tasks and performance. To overcome these limitations, we propose Instruct-IPT -- an All-in-One Image Processing Transformer that could effectively address manifold image restoration tasks with large inter-task gaps, such as denoising, deblurring, deraining, dehazing, and desnowing. Rather than popular feature adaptation methods, we propose weight modulation that adapts weights to specific tasks. Firstly, we figure out task-sensitive weights via a toy experiment and introduce task-specific biases on top of them. Secondly, we conduct rank analysis for a good compression strategy and perform low-rank decomposition on the biases. Thirdly, we propose synchronous training that updates the task-general backbone model and the task-specific biases simultaneously. In this way, the model is instructed to learn general and task-specific knowledge. Via our simple yet effective method that instructs the IPT to be task experts, Instruct-IPT could better cooperate between tasks with distinct characteristics at humble costs. Further, we propose to maneuver Instruct-IPT with text instructions for better user interfaces. We have conducted experiments on Instruct-IPT to demonstrate the effectiveness of our method on manifold tasks, and we have effectively extended our method to diffusion denoisers as well. The code is available at https://github.com/huawei-noah/Pretrained-IPT.
- Abstract（参考訳）: 低レベルのビジョンモデルでは、不用意なサイズと計算コストのため、少数の低レベルのビジョンタスクに同時に対処するように設計されたオールインワンモデルは人気がある。
しかし、既存のオールインワンモデルはタスクとパフォーマンスの範囲で制限されている。
これらの制限を克服するために、インストラクト-IPT (オールインワン画像処理変換器) を提案する。これは、デノイング、デブロアリング、デライニング、デハジング、デナッシングといった、タスク間の大きなギャップを持つ多様体イメージ復元タスクに効果的に対処できる。
一般的な特徴適応法ではなく、特定のタスクに重みを適応させる重み変調を提案する。
まず、おもちゃの実験を通してタスクに敏感な重みを見つけ、その上にタスク固有の偏りを導入する。
第2に、優れた圧縮戦略のランク解析を行い、バイアスに対して低ランク分解を行う。
第3に,タスク汎用バックボーンモデルとタスク固有バイアスを同時に更新する同期トレーニングを提案する。
このようにして、モデルは一般的な知識とタスク固有の知識を学ぶように指示される。
Instruct-IPTは、ITTにタスクエキスパートになるよう指示する単純で効果的な方法であるので、控えめなコストで異なる特徴を持つタスク間で協調する方がよいでしょう。
さらに,ユーザインタフェースの改善のために,テキスト命令によるインストラクト-IPTの操作を提案する。
Instruct-IPT実験を行ない,本手法の有効性を示すとともに,本手法を拡散復調器にも効果的に拡張した。
コードはhttps://github.com/huawei-noah/Pretrained-IPTで公開されている。
関連論文リスト
- Task-Adapter: Task-specific Adaptation of Image Models for Few-shot Action Recognition [34.88916568947695]
簡単なタスク固有適応法(Task-Adapter)を提案する。
提案したTask-Adapterをバックボーンの最後のいくつかのレイヤに導入することで、フル微調整によるオーバーフィッティング問題を軽減します。
実験結果から,提案したタスクアダプタが標準の4つのアクション認識データセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2024-08-01T03:06:56Z) - Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。
従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。
本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文 参考訳（メタデータ） (2024-02-01T08:58:57Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - On the Effectiveness of LayerNorm Tuning for Continual Learning in
Vision Transformers [47.77328392236625]
最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。
そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。
提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
論文 参考訳（メタデータ） (2023-08-18T15:11:16Z) - Adaptive Weight Assignment Scheme For Multi-task Learning [0.0]
ディープラーニングモデルは、今ではすべてのアプリケーションで定期的に使われています。
複数のタスクを1つのモデルでマルチタスク学習設定でトレーニングできます。
マルチタスク学習環境でモデルをトレーニングするには、異なるタスクからの損失値をまとめる必要があります。
本稿では,モデルの性能を向上する単純な重み付け方式を提案する。
論文 参考訳（メタデータ） (2023-03-10T08:06:08Z) - Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks [36.34331439747556]
本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。
具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
論文 参考訳（メタデータ） (2022-10-07T00:25:02Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Towards a Unified Foundation Model: Jointly Pre-Training Transformers on
Unpaired Images and Text [93.11954811297652]
我々は、モダリティ固有のトークン化器、共有トランスフォーマーエンコーダ、タスク固有の出力ヘッドからなる統一型トランスフォーマーを設計する。
我々は、個別に訓練されたBERTモデルとViTモデルを教師として採用し、知識蒸留を適用して、より正確な監視信号を提供する。
実験の結果、統合基盤変換器は視覚のみのタスクとテキストのみのタスクの両方で驚くほどうまく機能することがわかった。
論文 参考訳（メタデータ） (2021-12-14T00:20:55Z) - Pre-Trained Image Processing Transformer [95.93031793337613]
我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。
本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。
IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
論文 参考訳（メタデータ） (2020-12-01T09:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。