論文の概要: Universal Metric Learning with Parameter-Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2309.08944v1
• Date: Sat, 16 Sep 2023 10:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:23:04.118192
• Title: Universal Metric Learning with Parameter-Efficient Transfer Learning
• Title（参考訳）: パラメータ効率の高い転送学習を用いたユニバーサルメトリックラーニング
• Authors: Sungyeon Kim, Donghyun Kim, Suha Kwak
• Abstract要約: メトリック学習における一般的なプラクティスは、データセット毎に埋め込みモデルをトレーニングし、テストすることである。 このデータセット固有のアプローチは、複数の異種データの分散を含む実世界のシナリオをシミュレートすることができない。 本稿では,複数のデータ分布にまたがる関係を捉えることのできる統一されたメトリックを学習するUniversal Metric Learning(UML)という,新しいメトリック学習パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 40.85295050164728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common practice in metric learning is to train and test an embedding model for each dataset. This dataset-specific approach fails to simulate real-world scenarios that involve multiple heterogeneous distributions of data. In this regard, we introduce a novel metric learning paradigm, called Universal Metric Learning (UML), which learns a unified distance metric capable of capturing relations across multiple data distributions. UML presents new challenges, such as imbalanced data distribution and bias towards dominant distributions. To address these challenges, we propose Parameter-efficient Universal Metric leArning (PUMA), which consists of a pre-trained frozen model and two additional modules, stochastic adapter and prompt pool. These modules enable to capture dataset-specific knowledge while avoiding bias towards dominant distributions. Additionally, we compile a new universal metric learning benchmark with a total of 8 different datasets. PUMA outperformed the state-of-the-art dataset-specific models while using about 69 times fewer trainable parameters.
• Abstract（参考訳）: メトリック学習の一般的なプラクティスは、各データセットの組み込みモデルをトレーニングし、テストすることだ。 このデータセット固有のアプローチは、複数の異種データ分布を含む現実世界のシナリオをシミュレートすることができない。 本稿では,複数のデータ分布にまたがる関係を捉えることができる統一距離計量を学習するUniversal Metric Learning(UML)と呼ばれる新しい距離学習パラダイムを導入する。 UMLは、不均衡なデータ分布や支配的な分布に対するバイアスなど、新しい課題を提示します。 これらの課題に対処するために,事前学習した凍結モデルと,確率的アダプタとプロンプトプールという2つの追加モジュールで構成されるパラメータ効率のよいユニバーサル・メトリック・レアーニング(PUMA)を提案する。 これらのモジュールは、支配的な分布へのバイアスを避けながら、データセット固有の知識をキャプチャすることを可能にする。 さらに、合計8つのデータセットを持つ新しいユニバーサルメトリック学習ベンチマークをコンパイルする。 PUMAは、トレーニング可能なパラメータの約69分の1を使用して、最先端のデータセット特化モデルを上回った。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Multiply Robust Estimation for Local Distribution Shifts with Multiple Domains [9.429772474335122]
  我々は、全人口の複数のセグメントにまたがってデータ分布が変化するシナリオに焦点を当てる。 そこで本研究では,各セグメントのモデル性能を改善するために,二段階多重ロバスト推定法を提案する。 本手法は,市販の機械学習モデルを用いて実装されるように設計されている。
  論文  参考訳（メタデータ） (2024-02-21T22:01:10Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
  フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。 本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:57:11Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Learning Similarity Metrics for Numerical Simulations [29.39625644221578]
  本稿では,様々な数値シミュレーションソースから得られるデータを比較するため,安定かつ一般化された指標(LSiM)をニューラルネットワークで計算する手法を提案する。 提案手法は,計量の数学的性質を動機としたシームズネットワークアーキテクチャを用いている。
  論文  参考訳（メタデータ） (2020-02-18T20:11:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。