論文の概要: Universal Metric Learning with Parameter-Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2309.08944v1
• Date: Sat, 16 Sep 2023 10:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:23:04.118192
• Title: Universal Metric Learning with Parameter-Efficient Transfer Learning
• Title（参考訳）: パラメータ効率の高い転送学習を用いたユニバーサルメトリックラーニング
• Authors: Sungyeon Kim, Donghyun Kim, Suha Kwak
• Abstract要約: メトリック学習における一般的なプラクティスは、データセット毎に埋め込みモデルをトレーニングし、テストすることである。 このデータセット固有のアプローチは、複数の異種データの分散を含む実世界のシナリオをシミュレートすることができない。 本稿では,複数のデータ分布にまたがる関係を捉えることのできる統一されたメトリックを学習するUniversal Metric Learning(UML)という,新しいメトリック学習パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 40.85295050164728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common practice in metric learning is to train and test an embedding model for each dataset. This dataset-specific approach fails to simulate real-world scenarios that involve multiple heterogeneous distributions of data. In this regard, we introduce a novel metric learning paradigm, called Universal Metric Learning (UML), which learns a unified distance metric capable of capturing relations across multiple data distributions. UML presents new challenges, such as imbalanced data distribution and bias towards dominant distributions. To address these challenges, we propose Parameter-efficient Universal Metric leArning (PUMA), which consists of a pre-trained frozen model and two additional modules, stochastic adapter and prompt pool. These modules enable to capture dataset-specific knowledge while avoiding bias towards dominant distributions. Additionally, we compile a new universal metric learning benchmark with a total of 8 different datasets. PUMA outperformed the state-of-the-art dataset-specific models while using about 69 times fewer trainable parameters.
• Abstract（参考訳）: メトリック学習の一般的なプラクティスは、各データセットの組み込みモデルをトレーニングし、テストすることだ。 このデータセット固有のアプローチは、複数の異種データ分布を含む現実世界のシナリオをシミュレートすることができない。 本稿では,複数のデータ分布にまたがる関係を捉えることができる統一距離計量を学習するUniversal Metric Learning(UML)と呼ばれる新しい距離学習パラダイムを導入する。 UMLは、不均衡なデータ分布や支配的な分布に対するバイアスなど、新しい課題を提示します。 これらの課題に対処するために,事前学習した凍結モデルと,確率的アダプタとプロンプトプールという2つの追加モジュールで構成されるパラメータ効率のよいユニバーサル・メトリック・レアーニング(PUMA)を提案する。 これらのモジュールは、支配的な分布へのバイアスを避けながら、データセット固有の知識をキャプチャすることを可能にする。 さらに、合計8つのデータセットを持つ新しいユニバーサルメトリック学習ベンチマークをコンパイルする。 PUMAは、トレーニング可能なパラメータの約69分の1を使用して、最先端のデータセット特化モデルを上回った。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• Multiply Robust Estimation for Local Distribution Shifts with Multiple Domains [9.429772474335122]
  我々は、全人口の複数のセグメントにまたがってデータ分布が変化するシナリオに焦点を当てる。 そこで本研究では,各セグメントのモデル性能を改善するために,二段階多重ロバスト推定法を提案する。 本手法は,市販の機械学習モデルを用いて実装されるように設計されている。
  論文  参考訳（メタデータ） (2024-02-21T22:01:10Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。