Fugu-MT 論文翻訳(概要): Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles

論文の概要: Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles

arxiv url: http://arxiv.org/abs/2411.13073v1
Date: Wed, 20 Nov 2024 06:50:50 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-21 16:12:56.562135
Title: Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles
Title（参考訳）: 適応埋め込み空間アンサンブルによる事前学習エンコーダのOOD一般化の改善
Authors: Shuman Peng, Arash Khoeini, Sharan Vaswani, Martin Ester,
Abstract要約: MNISTデータセットによる実験結果から,埋め込み空間のアンサンブル法は,単一エンコーダと比較して,分布内およびOODデータの事前学習による埋め込み品質を向上させることが示された。
参考スコア（独自算出の注目度）: 8.229841337925267
License:
Abstract: The quality of self-supervised pre-trained embeddings on out-of-distribution (OOD) data is poor without fine-tuning. A straightforward and simple approach to improving the generalization of pre-trained representation to OOD data is the use of deep ensembles. However, obtaining an effective ensemble in the embedding space with only unlabeled data remains an unsolved problem. We first perform a theoretical analysis that reveals the relationship between individual hyperspherical embedding spaces in an ensemble. We then design a principled method to align these embedding spaces in an unsupervised manner. Experimental results on the MNIST dataset show that our embedding-space ensemble method improves pre-trained embedding quality on in-distribution and OOD data compared to single encoders.
Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)データに対する自己指導型プレトレーニング埋め込みの品質は、微調整なしでは不十分である。 OODデータへの事前学習表現の一般化を改善するための単純で単純なアプローチはディープアンサンブルを使うことである。しかし、ラベルのないデータのみによる埋め込み空間における効果的なアンサンブルは未解決の問題である。まず,個々の超球面埋め込み空間の関係を明らかにする理論解析を行った。次に、これらの埋め込み空間を教師なしの方法で整列する原理的手法を設計する。 MNISTデータセットによる実験結果から,埋め込み空間のアンサンブル法は,単一エンコーダと比較して,分布内およびOODデータの事前学習による埋め込み品質を向上させることが示された。

関連論文リスト

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文参考訳（メタデータ） (2024-10-10T16:01:51Z)
Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文参考訳（メタデータ） (2024-09-19T17:56:16Z)
Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
論文参考訳（メタデータ） (2024-08-22T15:20:32Z)
An Efficient Difference-of-Convex Solver for Privacy Funnel [3.069335774032178]
本稿では,プライバシ・ファンネル(PF)手法の効率的な解法を提案する。提案した直流分離は, クローズドフォーム更新方程式を導出する。提案手法をMNISTおよびFashionデータセットを用いて評価する。
論文参考訳（メタデータ） (2024-03-02T01:05:25Z)
How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文参考訳（メタデータ） (2024-02-05T20:36:33Z)
Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
論文参考訳（メタデータ） (2023-12-25T20:02:51Z)
Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
論文参考訳（メタデータ） (2023-12-25T11:00:38Z)
Optimal Locally Private Nonparametric Classification with Public Data [2.631955426232593]
本研究では,非パラメトリック分類に着目して,公共データを利用した非対話型局所微分プライベート(LDP)学習の問題点について検討する。後方ドリフト仮定の下では, LDP制約による最小収束率を導出する。そこで本研究では,極小最大収束率を達成できる新しい手法である局所微分プライベート分類木を提案する。
論文参考訳（メタデータ） (2023-11-19T16:35:01Z)
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders [11.252245456934348]
我々は、ハブベースの先行とハブベースのコントラスト損失を混合した非教師付きデータ駆動型潜在空間の正規化を提案する。本アルゴリズムは,組込み空間におけるクラスタ分離性,高精度なデータ再構成と生成を実現する。
論文参考訳（メタデータ） (2022-11-18T19:12:15Z)
Improved OOD Generalization via Conditional Invariant Regularizer [43.62211060412388]
クラスラベルが与えられた場合、スプリアス属性の条件付き独立モデルがOOD一般であることが示される。このような条件独立度を測定するために,OOD誤差を制御する計量条件変分(CSV)を提案する。この問題を解決するために,ミニケーブ収束率のアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-07-14T06:34:21Z)
Bi-tuning of Pre-trained Representations [79.58542780707441]
Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
論文参考訳（メタデータ） (2020-11-12T03:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。