論文の概要: Are We Really Doing Few-Shot Learning? A Critical Examination of Pre-Training Assumptions

• arxiv url: http://arxiv.org/abs/2609.10851v1
• Date: Wed, 09 Sep 2026 21:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.142816
• Title: Are We Really Doing Few-Shot Learning? A Critical Examination of Pre-Training Assumptions
• Title（参考訳）: 少人数の学習は本当に行われているか? : 事前学習における評価の批判的考察
• Abstract要約: 大規模な補助集合上でモデルを事前訓練するプロトコルの下では、ほとんどショット学習は一般的に評価されない。 本稿では,そのようなプロトコルが低データ学習を真に反映しているかどうかを考察する。
• 参考スコア（独自算出の注目度）: 43.42705848382377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning is commonly evaluated under protocols that pre-train a model on a large auxiliary set whose classes are disjoint from the target episodes yet drawn from the same visual domain. This paper examines whether such protocols truly reflect low-data learning. We systematically compare no pre-training, class-disjoint in-domain pre-training, supervised out-of-domain pre-training, and label-free out-of-domain pre-training across eight datasets, three few-shot architectures, and multiple way-shot settings. Our results show that class disjointness alone is insufficient to remove the influence of target-domain data. In-domain pre-training improves over no pre-training by 33.41 percentage points on average, whereas supervised out-of-domain pre-training yields 23.75 percentage points, revealing a 9.66-point optimistic bias associated with domain overlap. Although out-of-domain pre-training is more realistic in applications where target-domain data are scarce, its effectiveness depends strongly on the compatibility between source and target domains. We further show that labeled source data are not strictly required, with an augmentation-based label-free strategy reaching an average gain of 27.71 percentage points and closely matching supervised out-of-domain pre-training at 27.97 percentage points. Finally, we introduce a descriptor-based source-selection strategy that estimates source-domain suitability before pre-training, reaching a median gap of only 1.37 percentage points to oracle selection. These findings highlight the need to move beyond in-domain pre-training as the default few-shot evaluation protocol, since it can overestimate performance in realistic scenarios where target-domain data are scarce.
• Abstract（参考訳）: 少ないショット学習は、同じ視覚領域から引き出されたターゲットエピソードからクラスが離れている大きな補助集合上のモデルを事前訓練するプロトコルで一般的に評価される。 本稿では,そのようなプロトコルが低データ学習を真に反映しているかどうかを考察する。 事前トレーニング、クラス分離型ドメイン事前トレーニング、教師付きドメイン外事前トレーニング、ラベルなしのドメイン外事前トレーニングを8つのデータセット、3つの数ショットアーキテクチャ、複数ショット設定で体系的に比較する。 その結果,クラス不整合性だけでは対象領域データの影響を取り除くには不十分であることが示唆された。 ドメイン内事前トレーニングは、平均33.41ポイントの事前トレーニングよりも改善され、教師付きドメイン外事前トレーニングは23.75ポイント、ドメインオーバーラップに関連する9.66ポイントの楽観バイアスが示される。 ドメイン外の事前トレーニングは、ターゲットドメインデータが不足しているアプリケーションではより現実的であるが、その効果はソースとターゲットドメイン間の互換性に強く依存する。 さらに、ラベル付きソースデータは厳密には必要とせず、拡張ベースのラベルフリー戦略が平均27.71ポイントに達し、ドメイン外での教師付き事前トレーニングが27.97ポイントであることを示す。 最後に、事前学習前にソースドメインの適合性を推定する記述子ベースのソース選択戦略を導入し、オラクル選択に対して1.37ポイントの中央値のギャップに達する。 これらの知見は、ターゲットドメインデータが不足している現実的なシナリオにおいて、パフォーマンスを過大評価できるため、デフォルトの少数ショット評価プロトコルとして、ドメイン内の事前トレーニングを越える必要性を浮き彫りにしている。

関連論文リスト

• Domain-Division based Progressive Learning for Source-Free Domain Adaptation [73.44692421206774]
  ソースフリードメイン適応は、ソース事前訓練されたモデルとラベルなしのターゲットドメインのみを必要とする。 DPLというドメイン分割に基づくプログレッシブラーニング手法を提案する。 我々のアプローチは2つの交互段階から構成されており、それぞれが対象領域の分割から始まり、適応し易く、適応し難い状態になる。
  論文  参考訳（メタデータ） (2026-07-31T09:21:56Z)
• PAS: Estimating the target accuracy before domain adaptation [5.3657339377154285]
  本研究では,ソースドメインセットと事前学習した特徴抽出器のターゲット分類タスクへの転送可能性を評価するためのスコアであるPASを提案する。 我々はPASを、複数の候補の中で最も関連性の高い事前学習モデルとソースドメインを示すフレームワークに統合する。 画像分類ベンチマークの実験では、PASが実際の目標精度と強く相関していることが示されている。
  論文  参考訳（メタデータ） (2026-04-10T19:46:19Z)
• Data-Efficient Point Cloud Semantic Segmentation Pipeline for Unimproved Roads [0.0]
  未改良道路のロバストなセグメンテーションのための,データ効率のよいポイントクラウドセグメンテーションパイプラインとトレーニングフレームワークを提案する。 まず、プロジェクションベースの畳み込みニューラルネットワークを、公共の都市データセットと、小規模でキュレートされた内部データセットの混合で事前訓練する。 対象領域からの50個のラベル付き点雲を用いて、提案したトレーニング手法により、平均インターセクションオーバーユニオンが33.5%から51.8%に改善され、全体的な精度が85.5%から90.8%に向上したことを示す。
  論文  参考訳（メタデータ） (2025-08-26T20:00:36Z)
• Is Large-Scale Pretraining the Secret to Good Domain Generalization? [69.80606575323691]
  マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。 最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。 評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
  論文  参考訳（メタデータ） (2024-12-03T21:43:11Z)
• Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation [29.989907089369375]
  ディープラーニングでは、事前訓練された重み付きモデルの初期化が、様々な下流タスクの事実上の実践となっている。 多くの教師なしドメイン適応(UDA)メソッドは、一般的にImageNetで事前訓練されたバックボーンを採用する。 本稿では,事前学習が適応に与える影響に対処する新しいフレームワークTriDAを提案する。
  論文  参考訳（メタデータ） (2023-08-06T12:23:40Z)
• Understanding Cross-Domain Few-Shot Learning: An Experimental Study [17.81177649496765]
  ドメイン間数ショットの学習は、ソースとターゲットドメインの大きな違いを扱うために注目されている。 最近の研究は、事前訓練期間中に対象領域からの小規模な未ラベルデータを活用することを検討している。 このデータは、ソースドメインの教師付き事前トレーニングに加えて、ターゲットドメインでの自己教師付き事前トレーニングを可能にする。
  論文  参考訳（メタデータ） (2022-02-01T12:35:25Z)
• Pre-training Graph Neural Network for Cross Domain Recommendation [58.057687253631826]
  推薦システムは、ユーザ/イテムの埋め込みを学習する中心となるアイテムに対するユーザの潜在的関心を予測する。 グラフ表現学習から事前学習を行う現代美術に着想を得て,クロスドメインレコメンデーションのための事前学習および微調整図を提案する。 我々は,グラフエンコーダの自己教師型事前学習を採用するPCRec (Pre-training Graph Neural Network for Cross-Domain Recommendation) を考案した。
  論文  参考訳（メタデータ） (2021-11-16T07:34:42Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。