論文の概要: All-in-One Image Coding for Joint Human-Machine Vision with Multi-Path Aggregation

• arxiv url: http://arxiv.org/abs/2409.19660v1
• Date: Sun, 29 Sep 2024 11:14:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:58:59.400423
• Title: All-in-One Image Coding for Joint Human-Machine Vision with Multi-Path Aggregation
• Title（参考訳）: マルチパスアグリゲーションを用いたヒト・マシーン共同視覚のためのオールインワン画像符号化
• Authors: Xu Zhang, Peiyao Guo, Ming Lu, Zhan Ma,
• Abstract要約: 我々は,人間の共同ビジョンのための既存の符号化モデルにMPA(Multi-Path Aggregation)を統合することを提案する。 MPAはタスク固有のパスに遅延特徴を割り当てるために予測器を使用する。 MPAはタスク特化最適化と多目的最適化の両方において最先端の手法に匹敵する性能を達成する。
• 参考スコア（独自算出の注目度）: 28.62276713652864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image coding for multi-task applications, catering to both human perception and machine vision, has been extensively investigated. Existing methods often rely on multiple task-specific encoder-decoder pairs, leading to high overhead of parameter and bitrate usage, or face challenges in multi-objective optimization under a unified representation, failing to achieve both performance and efficiency. To this end, we propose Multi-Path Aggregation (MPA) integrated into existing coding models for joint human-machine vision, unifying the feature representation with an all-in-one architecture. MPA employs a predictor to allocate latent features among task-specific paths based on feature importance varied across tasks, maximizing the utility of shared features while preserving task-specific features for subsequent refinement. Leveraging feature correlations, we develop a two-stage optimization strategy to alleviate multi-task performance degradation. Upon the reuse of shared features, as low as 1.89% parameters are further augmented and fine-tuned for a specific task, which completely avoids extensive optimization of the entire model. Experimental results show that MPA achieves performance comparable to state-of-the-art methods in both task-specific and multi-objective optimization across human viewing and machine analysis tasks. Moreover, our all-in-one design supports seamless transitions between human- and machine-oriented reconstruction, enabling task-controllable interpretation without altering the unified model. Code is available at https://github.com/NJUVISION/MPA.
• Abstract（参考訳）: マルチタスクアプリケーションのための画像符号化は、人間の知覚とマシンビジョンの両方に対応し、広範囲に研究されている。 既存の手法は複数のタスク固有のエンコーダとデコーダのペアに依存しており、パラメータとビットレートの使用のオーバーヘッドが高くなり、あるいは統一された表現の下で多目的最適化の課題に直面し、性能と効率の両方を達成できなかった。 そこで本研究では,マルチパスアグリゲーション(MPA, Multi-Path Aggregation)を協調型ヒューマンマシンビジョンのための既存の符号化モデルに統合し,特徴表現をオールインワンアーキテクチャで統一する。 MPAはタスクごとに異なる特徴量に基づいてタスク固有のパスに潜時的特徴を割り当てる予測器を使用し、タスク固有の特徴を後続の改善のために保存しながら、共有機能の有用性を最大化する。 特徴相関を利用して、マルチタスク性能劣化を軽減するための2段階最適化戦略を開発する。 共有機能の再利用では、1.89%のパラメータが特定のタスクのためにさらに拡張され、微調整され、モデル全体の広範囲な最適化が完全に回避される。 実験結果から,MPAは人間の視界と機械分析タスクをまたいだタスク固有および多目的の最適化において,最先端の手法に匹敵する性能を達成していることがわかった。 さらに、我々のオールインワン設計は、人間と機械指向の再構築間のシームレスな遷移をサポートし、統一モデルを変更することなくタスク制御可能な解釈を可能にする。 コードはhttps://github.com/NJUVISION/MPA.comで入手できる。

関連論文リスト

• AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
  AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。 複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。 最先端の刈り取り法に比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T17:19:15Z)
• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
  マルチタスク学習(MTL)フレームワークでは、各タスクは、低レベルから高レベルの属性まで、異なる特徴表現を要求する。 この研究は、構造化された空間を利用して個々のタスクの特徴選択を洗練し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させるレイヤdマルチタスクモデルを導入する。
  論文  参考訳（メタデータ） (2024-06-05T08:23:38Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• A Dynamic Feature Interaction Framework for Multi-task Visual Perception [100.98434079696268]
  複数の共通認識課題を解決するための効率的な統合フレームワークを考案する。 これらのタスクには、インスタンスセグメンテーション、セマンティックセグメンテーション、モノクル3D検出、深さ推定が含まれる。 提案するフレームワークはD2BNetと呼ばれ,マルチタスク認識のためのパラメータ効率予測に一意なアプローチを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:24:46Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。