論文の概要: Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation

• arxiv url: http://arxiv.org/abs/2407.00676v1
• Date: Sun, 30 Jun 2024 12:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:07:11.757890
• Title: Instruct-IPT: All-in-One Image Processing Transformer via Weight Modulation
• Title（参考訳）: Instruct-IPT:重み変調によるオールインワン画像処理変換器
• Authors: Yuchuan Tian, Jianhong Han, Hanting Chen, Yuanyuan Xi, Guoyang Zhang, Jie Hu, Chao Xu, Yunhe Wang,
• Abstract要約: Instruct-IPT - 多様体画像復元タスクを効果的に処理できるオールインワン画像処理変換器を提案する。 おもちゃの実験を通してタスクに敏感な重みを見つけ,その上にタスク固有のバイアスを導入する。 優れた圧縮戦略のランク解析を行い、バイアスに対して低ランク分解を行う。
• 参考スコア（独自算出の注目度）: 25.253522756863727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the unaffordable size and intensive computation costs of low-level vision models, All-in-One models that are designed to address a handful of low-level vision tasks simultaneously have been popular. However, existing All-in-One models are limited in terms of the range of tasks and performance. To overcome these limitations, we propose Instruct-IPT -- an All-in-One Image Processing Transformer that could effectively address manifold image restoration tasks with large inter-task gaps, such as denoising, deblurring, deraining, dehazing, and desnowing. Rather than popular feature adaptation methods, we propose weight modulation that adapts weights to specific tasks. Firstly, we figure out task-sensitive weights via a toy experiment and introduce task-specific biases on top of them. Secondly, we conduct rank analysis for a good compression strategy and perform low-rank decomposition on the biases. Thirdly, we propose synchronous training that updates the task-general backbone model and the task-specific biases simultaneously. In this way, the model is instructed to learn general and task-specific knowledge. Via our simple yet effective method that instructs the IPT to be task experts, Instruct-IPT could better cooperate between tasks with distinct characteristics at humble costs. Further, we propose to maneuver Instruct-IPT with text instructions for better user interfaces. We have conducted experiments on Instruct-IPT to demonstrate the effectiveness of our method on manifold tasks, and we have effectively extended our method to diffusion denoisers as well. The code is available at https://github.com/huawei-noah/Pretrained-IPT.
• Abstract（参考訳）: 低レベルのビジョンモデルでは、不用意なサイズと計算コストのため、少数の低レベルのビジョンタスクに同時に対処するように設計されたオールインワンモデルは人気がある。 しかし、既存のオールインワンモデルはタスクとパフォーマンスの範囲で制限されている。 これらの制限を克服するために、インストラクト-IPT (オールインワン画像処理変換器) を提案する。これは、デノイング、デブロアリング、デライニング、デハジング、デナッシングといった、タスク間の大きなギャップを持つ多様体イメージ復元タスクに効果的に対処できる。 一般的な特徴適応法ではなく、特定のタスクに重みを適応させる重み変調を提案する。 まず、おもちゃの実験を通してタスクに敏感な重みを見つけ、その上にタスク固有の偏りを導入する。 第2に、優れた圧縮戦略のランク解析を行い、バイアスに対して低ランク分解を行う。 第3に,タスク汎用バックボーンモデルとタスク固有バイアスを同時に更新する同期トレーニングを提案する。 このようにして、モデルは一般的な知識とタスク固有の知識を学ぶように指示される。 Instruct-IPTは、ITTにタスクエキスパートになるよう指示する単純で効果的な方法であるので、控えめなコストで異なる特徴を持つタスク間で協調する方がよいでしょう。 さらに,ユーザインタフェースの改善のために,テキスト命令によるインストラクト-IPTの操作を提案する。 Instruct-IPT実験を行ない,本手法の有効性を示すとともに,本手法を拡散復調器にも効果的に拡張した。 コードはhttps://github.com/huawei-noah/Pretrained-IPTで公開されている。

関連論文リスト

• Tint Your Models Task-wise for Improved Multi-task Model Merging [17.496018757317824]
  本稿では,各タスクに1つのタスク固有のレイヤをトレーニング可能な調整として導入するテストタイムアプローチであるModel Tintingを提案する。 提案手法は, 統合係数とタスク固有層を併用することにより, タスク競合を最小限のコストで効果的に軽減する。 本手法は,コンピュータビジョンと自然言語処理の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• Do We Need to Design Specific Diffusion Models for Different Tasks? Try ONE-PIC [77.8851460746251]
  本稿では,超音速拡散モデルに対する単純,効率的,汎用的なアプローチを提案する。 ONE-PICは、追加モジュールを導入することなく、事前訓練された拡散モデルにおける継承された生成能力を向上する。 本手法は,適応プロセスの合理化を図り,低コストで優れた性能を実現する,シンプルで効率的な手法である。
  論文  参考訳（メタデータ） (2024-12-07T11:19:32Z)
• Optimizing Dense Visual Predictions Through Multi-Task Coherence and Prioritization [7.776434991976473]
  マルチタスク学習(MTL)は、複数のタスクの同時トレーニングを含む。 本稿では,高密度視覚タスクに特化して設計された高度MTLモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-04T10:05:47Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
  一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。 内科医による頚椎, 腰椎への注視所見について検討した。
  論文  参考訳（メタデータ） (2022-05-06T01:51:19Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。