論文の概要: Towards Reusable Network Components by Learning Compatible Representations

• arxiv url: http://arxiv.org/abs/2004.03898v3
• Date: Wed, 16 Dec 2020 13:31:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 08:01:38.905154
• Title: Towards Reusable Network Components by Learning Compatible Representations
• Title（参考訳）: 適合表現の学習による再利用可能なネットワークコンポーネントを目指して
• Authors: Michael Gygli, Jasper Uijlings, Vittorio Ferrari
• Abstract要約: ネットワークを特徴抽出器と目標タスクヘッドの2つのコンポーネントに分割し,それらの互換性を実現するための様々なアプローチを提案する。 そこで本研究では,従来のタスクの微調整や精度向上を伴わずに,直接互換性のあるコンポーネントを作成できることを示す。
• 参考スコア（独自算出の注目度）: 45.108375151687966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes to make a first step towards compatible and hence reusable network components. Rather than training networks for different tasks independently, we adapt the training process to produce network components that are compatible across tasks. In particular, we split a network into two components, a features extractor and a target task head, and propose various approaches to accomplish compatibility between them. We systematically analyse these approaches on the task of image classification on standard datasets. We demonstrate that we can produce components which are directly compatible without any fine-tuning or compromising accuracy on the original tasks. Afterwards, we demonstrate the use of compatible components on three applications: Unsupervised domain adaptation, transferring classifiers across feature extractors with different architectures, and increasing the computational efficiency of transfer learning.
• Abstract（参考訳）: 本稿では、互換性のある再利用可能なネットワークコンポーネントへの第一歩を提案する。 異なるタスクのネットワークを個別にトレーニングするのではなく、トレーニングプロセスに適応して、タスク間で互換性のあるネットワークコンポーネントを生成します。 特に,ネットワークを特徴抽出器と目標タスクヘッドの2つのコンポーネントに分割し,それらの互換性を実現するための様々なアプローチを提案する。 標準データセットにおける画像分類の課題に対して,これらのアプローチを体系的に分析する。 元のタスクの微調整や補修をせずに直接互換性のあるコンポーネントを作成できることを実証する。 その後,教師なしドメイン適応,異なるアーキテクチャを用いた特徴抽出器間での分類器の転送,転送学習の計算効率の向上という3つのアプリケーションで互換性のあるコンポーネントの使用を実証する。

関連論文リスト

• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• S$^3$M-Net: Joint Learning of Semantic Segmentation and Stereo Matching for Autonomous Driving [40.305452898732774]
  S$3$M-Netはセマンティックセグメンテーションとステレオマッチングを同時に行うために開発された新しい共同学習フレームワークである。 S$3$M-Netは、両方のタスク間でRGBイメージから抽出された特徴を共有し、全体的なシーン理解能力が改善された。
  論文  参考訳（メタデータ） (2024-01-21T06:47:33Z)
• Cooperative Learning for Cost-Adaptive Inference [3.301728339780329]
  提案されたフレームワークは、特定のアーキテクチャに縛られないが、既存のモデル/アーキテクチャを組み込むことができる。 モデルのサイズが多様である間、フルネットワークに匹敵する精度を提供する。
  論文  参考訳（メタデータ） (2023-12-13T21:42:27Z)
• OmniVec: Learning robust representations with cross modal sharing [28.023214572340336]
  複数のタスクを複数のモードで,統一されたアーキテクチャで学習する手法を提案する。 提案するネットワークはタスク固有エンコーダ(中央の共通トランク)とタスク固有予測ヘッドで構成される。 私たちは、視覚、オーディオ、テキスト、3Dなどの主要なモダリティでネットワークをトレーニングし、22ドルの多様性と挑戦的な公開ベンチマークの結果を報告します。
  論文  参考訳（メタデータ） (2023-11-07T14:00:09Z)
• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• Factorizing Knowledge in Neural Networks [65.57381498391202]
  知識伝達タスクKF(Knowledge Factorization)を提案する。 KFは、それをいくつかの要因ネットワークに分解することを目的としており、それぞれが専用のタスクのみを処理し、ソースネットワークから分解されたタスク固有の知識を維持する。 学習した表現と入力の相互情報を最適化してKFを実行するための情報理論的目的であるInfoMax-Bottleneck(IMB)を導入する。
  論文  参考訳（メタデータ） (2022-07-04T09:56:49Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
  近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。 特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。 提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
  論文  参考訳（メタデータ） (2021-12-23T04:43:31Z)
• Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton [108.01007935498104]
  本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。 まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。