論文の概要: Wasserstein Task Embedding for Measuring Task Similarities

• arxiv url: http://arxiv.org/abs/2208.11726v1
• Date: Wed, 24 Aug 2022 18:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:35:50.116985
• Title: Wasserstein Task Embedding for Measuring Task Similarities
• Title（参考訳）: タスク類似度測定のためのWasserstein Task Embedding
• Authors: Xinran Liu, Yikun Bai, Yuzhe Lu, Andrea Soltoggio, Soheil Kolouri
• Abstract要約: 異なるタスク間の類似度を測定することは、幅広い機械学習問題において重要である。 最適輸送理論を活用し、教師付き分類のための新しいタスク埋め込みを定義する。 提案手法の組込みは, 関連する手法と比較して, タスクの比較を著しく高速化することを示した。
• 参考スコア（独自算出の注目度）: 14.095478018850374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring similarities between different tasks is critical in a broad spectrum of machine learning problems, including transfer, multi-task, continual, and meta-learning. Most current approaches to measuring task similarities are architecture-dependent: 1) relying on pre-trained models, or 2) training networks on tasks and using forward transfer as a proxy for task similarity. In this paper, we leverage the optimal transport theory and define a novel task embedding for supervised classification that is model-agnostic, training-free, and capable of handling (partially) disjoint label sets. In short, given a dataset with ground-truth labels, we perform a label embedding through multi-dimensional scaling and concatenate dataset samples with their corresponding label embeddings. Then, we define the distance between two datasets as the 2-Wasserstein distance between their updated samples. Lastly, we leverage the 2-Wasserstein embedding framework to embed tasks into a vector space in which the Euclidean distance between the embedded points approximates the proposed 2-Wasserstein distance between tasks. We show that the proposed embedding leads to a significantly faster comparison of tasks compared to related approaches like the Optimal Transport Dataset Distance (OTDD). Furthermore, we demonstrate the effectiveness of our proposed embedding through various numerical experiments and show statistically significant correlations between our proposed distance and the forward and backward transfer between tasks.
• Abstract（参考訳）: 異なるタスク間の類似度を測定することは、転送、マルチタスク、継続、メタラーニングなど、幅広い機械学習問題において重要である。 現在のタスクの類似性を測定するアプローチのほとんどはアーキテクチャに依存しています。 1)事前訓練されたモデルに依存すること、又は 2)タスク上のトレーニングネットワーク、およびタスク類似性のプロキシとして前方転送を使用する。 本稿では, 最適輸送理論を活用し, モデル非依存かつトレーニングフリーで, (部分的に) 分離ラベル集合を処理可能な教師付き分類のための新しいタスク埋め込みを定義する。 要約すると、基底構造ラベルを持つデータセットが与えられた場合、多次元のスケーリングを通してラベル埋め込みを行い、対応するラベル埋め込みとデータセットサンプルを結合する。 次に、2つのデータセット間の距離を、更新されたサンプル間の2-wasserstein距離と定義する。 最後に, 2-wasserstein embedded framework を利用してタスクをベクトル空間に埋め込み, 埋め込み点間のユークリッド距離はタスク間の2-wasserstein距離に近似する。 提案手法は,otdd (optimize transport dataset distance) のような関連する手法と比較して,タスクを有意に高速に比較できることを示す。 さらに,様々な数値実験を通して提案手法の有効性を実証し,提案手法とタスク間の前後移動との間に統計的に有意な相関を示す。

関連論文リスト

• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Task2Box: Box Embeddings for Modeling Asymmetric Task Relationships [19.02802837808466]
  ボックス埋め込みを用いたタスク表現手法であるTask2Boxを提案する。 Task2Box は ImageNet と iNaturalist のデータセットのノード間の階層的関係を正確に予測する。 また,タスク表現から推定したボックス埋め込みを,同じ表現で訓練された分類器よりも正確に関係を予測できることを示す。
  論文  参考訳（メタデータ） (2024-03-25T20:39:58Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
  少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。 そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。 次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
  論文  参考訳（メタデータ） (2022-04-07T15:29:27Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• An Information-Geometric Distance on the Space of Tasks [31.359578768463752]
  本稿では,データとラベルの共分散としてモデル化された学習課題間の距離を規定する。 そこで,本研究では,対象タスクのデータに対する残差を反復的に伝達する距離を計算するアルゴリズムを開発した。 様々な画像分類データセットに対して徹底的な実証検証と解析を行い、結合転送距離が微調整の難しさと強く相関していることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:48:39Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Geometric Dataset Distances via Optimal Transport [15.153110906331733]
  本稿では, (i) モデルに依存しない, (ii) トレーニングを伴わない, (iii) ラベル集合が完全に不連結であり, (iv) 理論的な足場が固い場合でも, データセットを比較できる,という,データセット間の距離の代替概念を提案する。 この距離は最適な輸送に依存しており、リッチな幾何学的認識、解釈可能な対応およびよく理解された性質を提供する。 以上の結果から,この新たな距離は,データセットの有意義な比較を提供し,様々な実験環境やデータセット間での伝達学習困難度と相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2020-02-07T17:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。