論文の概要: ELM: Embedding and Logit Margins for Long-Tail Learning
- arxiv url: http://arxiv.org/abs/2204.13208v1
- Date: Wed, 27 Apr 2022 21:53:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-30 05:46:02.629128
- Title: ELM: Embedding and Logit Margins for Long-Tail Learning
- Title（参考訳）: ELM: 長期学習のための埋め込みとログマージン
- Authors: Wittawat Jitkrittum, Aditya Krishna Menon, Ankit Singh Rawat, Sanjiv
Kumar
- Abstract要約: 長期学習はスキューラベル分布下での学習の問題である。
本稿では,ロジット空間にマージンを強制するための統一アプローチであるEmbedding and Logit Margins(ELM)を提案する。
The ELM method are shown to be well empirically, and result to tight more tail class embeddeds。
- 参考スコア（独自算出の注目度）: 70.19006872113862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-tail learning is the problem of learning under skewed label
distributions, which pose a challenge for standard learners. Several recent
approaches for the problem have proposed enforcing a suitable margin in logit
space. Such techniques are intuitive analogues of the guiding principle behind
SVMs, and are equally applicable to linear models and neural models. However,
when applied to neural models, such techniques do not explicitly control the
geometry of the learned embeddings. This can be potentially sub-optimal, since
embeddings for tail classes may be diffuse, resulting in poor generalization
for these classes. We present Embedding and Logit Margins (ELM), a unified
approach to enforce margins in logit space, and regularize the distribution of
embeddings. This connects losses for long-tail learning to proposals in the
literature on metric embedding, and contrastive learning. We theoretically show
that minimising the proposed ELM objective helps reduce the generalisation gap.
The ELM method is shown to perform well empirically, and results in tighter
tail class embeddings.
- Abstract（参考訳）: 長期学習はスキューラベル分布下での学習の問題であり、標準学習者には課題となる。
この問題に対する最近のいくつかのアプローチは、ロジット空間に適切なマージンを付与することを提案した。
このような手法はSVMの背後にある導出原理の直感的な類似であり、線形モデルやニューラルモデルにも等しく適用できる。
しかし、神経モデルに適用された場合、そのような手法は学習された埋め込みの幾何学を明示的に制御しない。
尾クラスの埋め込みは拡散し、その結果これらのクラスに対する一般化が不十分になるため、これは潜在的に準最適である可能性がある。
我々は,ロジット空間におけるマージンを強制し,埋め込み分布を定式化する統一的アプローチであるembedment and logit margins (elm)を提案する。
これは、ロングテール学習の損失と、計量埋め込みと対比学習に関する文献における提案を結びつける。
理論的には,提案するELM目標の最小化が一般化ギャップの低減に役立つことを示す。
elmメソッドは経験的にうまく機能することが示され、テールクラスの埋め込みがよりタイトになる。
関連論文リスト
- Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。
我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
論文 参考訳（メタデータ） (2023-10-26T17:41:11Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Learning Imbalanced Datasets with Maximum Margin Loss [21.305656747991026]
クラス不均衡データ学習問題を考慮した学習アルゴリズムとして,最大マージン(MM)を提案する。
我々は、シフトする決定境界を通して有界なマージン一般化を最小化することで、新しい最大マージン損失関数を設計する。
論文 参考訳（メタデータ） (2022-06-11T00:21:41Z) - Guided Deep Metric Learning [0.9786690381850356]
我々は、ガイドドディープメトリックラーニングと呼ばれる新しいDML手法を提案する。
提案手法は、最大40%の改善まで、より優れた多様体の一般化と表現が可能である。
論文 参考訳（メタデータ） (2022-06-04T17:34:11Z) - Semi-Supervised Metric Learning: A Deep Resurrection [22.918651280720855]
Semi-Supervised DML (SSDML) はいくつかのラベル付き例と豊富なラベルなし例を使ってメトリクスを学習しようとする。
例のペア間の親和性が最初に伝播するグラフベースのアプローチを提案する。
メトリクスパラメータには、より優れたパフォーマンスをもたらすため、メトリクスの制約を課します。
論文 参考訳（メタデータ） (2021-05-10T12:28:45Z) - Overcoming the curse of dimensionality with Laplacian regularization in
semi-supervised learning [80.20302993614594]
ラプラシア正規化の欠点を克服するための統計的解析を提供する。
望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。
我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
論文 参考訳（メタデータ） (2020-09-09T14:28:54Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z) - Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。
大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
論文 参考訳（メタデータ） (2020-05-28T07:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。