論文の概要: POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples
- arxiv url: http://arxiv.org/abs/2206.04679v1
- Date: Wed, 8 Jun 2022 18:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:28:35.022410
- Title: POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution
Samples
- Title(参考訳): POODLE: アウト・オブ・ディストリビューション・サンプルのペナルティ化による一括学習の改善
- Authors: Duong H. Le, Khoi D. Nguyen, Khoi Nguyen, Quoc-Huy Tran, Rang Nguyen,
Binh-Son Hua
- Abstract要約: そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
- 参考スコア(独自算出の注目度): 19.311470287767385
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we propose to use out-of-distribution samples, i.e., unlabeled
samples coming from outside the target classes, to improve few-shot learning.
Specifically, we exploit the easily available out-of-distribution samples to
drive the classifier to avoid irrelevant features by maximizing the distance
from prototypes to out-of-distribution samples while minimizing that of
in-distribution samples (i.e., support, query data). Our approach is simple to
implement, agnostic to feature extractors, lightweight without any additional
cost for pre-training, and applicable to both inductive and transductive
settings. Extensive experiments on various standard benchmarks demonstrate that
the proposed method consistently improves the performance of pretrained
networks with different architectures.
- Abstract(参考訳): そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。
具体的には、配布外サンプル(サポート、クエリデータなど)を最小化しつつ、プロトタイプから配布外サンプルまでの距離を最大化することで、配布外サンプルを利用して分類器を駆動する。
提案手法は実装が簡単で,特徴抽出器に依存せず,事前学習のコストを必要とせず軽量であり,インダクティブ設定とトランスダクティブ設定の両方に適用できる。
様々な標準ベンチマーク実験により,提案手法はアーキテクチャの異なる事前学習ネットワークの性能を一貫して改善することを示した。
関連論文リスト
- Data Pruning via Moving-one-Sample-out [61.45441981346064]
我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。
MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。
実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2023-10-23T08:00:03Z) - Multisample Flow Matching: Straightening Flows with Minibatch Couplings [38.82598694134521]
連続時間生成モデルを訓練するためのシミュレーション不要な手法は、ノイズ分布と個々のデータサンプルの間の確率経路を構築する。
データとノイズサンプル間の非自明な結合を利用するより一般的なフレームワークであるMultisample Flow Matchingを提案する。
提案手法は,イメージネットデータセットのサンプル一貫性を向上し,低コストなサンプル生成に繋がることを示す。
論文 参考訳(メタデータ) (2023-04-28T11:33:08Z) - Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。
まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。
各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
論文 参考訳(メタデータ) (2022-03-21T10:20:21Z) - Squeezing Backbone Feature Distributions to the Max for Efficient
Few-Shot Learning [3.1153758106426603]
ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。
本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。
また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
論文 参考訳(メタデータ) (2021-10-18T16:29:17Z) - Lightweight Detection of Out-of-Distribution and Adversarial Samples via
Channel Mean Discrepancy [14.103271496247551]
分類モデルによって抽出された特徴の統計を評価するためのモデル非依存距離メトリックであるChannel Mean Disrepancy (CMD)を紹介する。
本研究では, 生検試料と逆検試料よりCMD径が有意に小さいことを実験的に実証した。
予備的な結果から, 簡便かつ効果的な手法は, oodおよびadversarialサンプル検出における最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-04-23T04:15:53Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Free Lunch for Few-shot Learning: Distribution Calibration [10.474018806591397]
キャリブレーション分布から抽出した特徴を用いて学習した単純なロジスティック回帰分類器は、2つのデータセットにおける最先端の精度より優れていることを示す。
論文 参考訳(メタデータ) (2021-01-16T07:58:40Z) - Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。
FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。
MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
論文 参考訳(メタデータ) (2020-07-18T09:48:29Z) - CSI: Novelty Detection via Contrastive Learning on Distributionally
Shifted Instances [77.28192419848901]
コントラストシフトインスタンス (CSI) という,単純かつ効果的な手法を提案する。
従来のコントラスト学習法のように,サンプルを他の例と対比することに加えて,本トレーニング手法では,サンプルを分散シフトによる拡張と対比する。
本実験は, 種々の新規検出シナリオにおける本手法の優位性を実証する。
論文 参考訳(メタデータ) (2020-07-16T08:32:56Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳(メタデータ) (2020-06-16T03:43:59Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。