論文の概要: Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study

• arxiv url: http://arxiv.org/abs/2605.15599v2
• Date: Tue, 19 May 2026 17:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.371149
• Title: Pretraining Objective Matters in Extreme Low-Data FGVC: A Backbone-Controlled Study
• Title（参考訳）: 極低データFGVCにおける目的事項の事前学習:バックボーン制御による研究
• Authors: Alexander Hackett, Srikanth Thudumu, Ginny Fisher, Jason Fisher,
• Abstract要約: 教師付き分類、コントラスト学習(SigLIP2)、マスク再構築(MAE)、自己蒸留(DINOv3)の4つの凍結型ViT-B/16エンコーダを比較した。 教師付きおよび対照的なエンコーダは、最も強い線形分離性(論理的AUC: 0.768 と 0.735; SVM AUC: 0.739 と 0.697)を提供する。 この領域では、DINOv3はプローブファミリーで不活性である。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme low-data fine-grained classification is common in expert domains where labeling is expensive, yet practitioners still need principled guidance for selecting pretrained encoders. We study emerald inclusion grading with a custom dataset of labeled images across three classes and ask: under matched backbone capacity, how does pretraining objective affect downstream representation quality? We compare four frozen ViT-B/16 encoders trained with supervised classification, contrastive learning (SigLIP2), masked reconstruction (MAE), and self-distillation (DINOv3), and evaluate them with leave-one-out cross-validation using linear and nonlinear probes. To control statistical noise in the low-N regime, we use permutation testing (N=1000) on macro one-vs-rest AUC. Supervised and contrastive encoders provide the strongest linear separability (logistic AUC: 0.768 and 0.735; SVM AUC: 0.739 and 0.697), while MAE improves under nonlinear probes (XGBoost AUC: 0.713). We find that DINOv3 underperforms across probe families in this domain. These results support a practical recommendation for extreme low-data FGVC: prioritize margin-enforcing pretraining objectives when data scarcity restricts probing to linear decision rules, and consider reconstruction-style encoders when nonlinear classifiers are feasible given dataset constraints.
• Abstract（参考訳）: ラベル付けが高価である専門家ドメインでは、極端に低データのきめ細かい分類が一般的であるが、訓練済みエンコーダを選択するための原則化されたガイダンスは依然として必要である。 我々は、3つのクラスにまたがるラベル付き画像のカスタムデータセットによるエメラルド包含グレーディングについて検討し、以下の質問をする: マッチしたバックボーン容量の下で、事前学習の目的が下流表現の品質にどのように影響するか? 教師付き分類、コントラスト学習(SigLIP2)、マスク再構築(MAE)、自己蒸留(DINOv3)の4つの凍結型ViT-B/16エンコーダを比較し、線形および非線形プローブを用いて、それらを1回限りのクロスバリデーションで評価した。 低N状態における統計的ノイズを制御するために,マクロ1-vs-rest AUC上での置換試験(N=1000)を用いる。 教師付きおよび対照的なエンコーダは、最も強い線形分離性(論理的AUC: 0.768 と 0.735; SVM AUC: 0.739 と 0.697)を提供する一方、MAEは非線形プローブ(XGBoost AUC: 0.713)の下で改善する。 この領域では、DINOv3はプローブファミリーで不活性である。 これらの結果は,データ不足が線形決定規則に制約される場合の事前学習目標のマージンを優先すること,非線形分類器が与えられたデータセット制約を満たす場合の再構成型エンコーダを検討すること,といった,極端な低データFGVCの実践的推奨を支持する。

関連論文リスト

• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Sharpness Aware Surrogate Training for Spiking Neural Networks [0.0]
  サロゲート勾配はスパイキングニューラルネットワーク(SNN)を訓練するための標準ツールである しかし、従来のハードフォワードまたはサロゲート後方トレーニングは、偏りのある推定器を備えた非滑らかなフォワードモデルである。 後方プロパゲーションにより訓練した前方SNNに対して,シャープネス・アウェア・サロゲート・トレーニング(SAST)を適用し,シャープネス・アウェア・サロゲート・トレーニング(SAM)を適用した。
  論文  参考訳（メタデータ） (2026-03-14T01:26:26Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Unsupervised Feature Selection via Robust Autoencoder and Adaptive Graph Learning [4.371255245299254]
  教師なし機能選択(UFS)は、データを同時にクラスタ化し、最も識別しやすい特徴を特定することを目的としている。 本稿では, ディープオートエンコーダを利用して非線形特徴表現を学習するロバスト・オートエンコーダに基づくunsupervised Feature Selection (RAEUFS)モデルを提案する。 提案手法は, クリーンかつ外部に汚染されたデータ設定において, 最先端のUFSアプローチより優れる。
  論文  参考訳（メタデータ） (2025-12-21T12:42:37Z)
• Learning Sparse Label Couplings for Multilabel Chest X-Ray Diagnosis [0.5735035463793009]
  胸部X線のマルチラベル分類について検討し,SE-ResNeXt101$(32×4d)$で構築した単純で強力なパイプラインについて述べる。 背骨はS状骨頭で14個の胸骨に微細化され,Multilabel Iterative Stratification (MIS) を併用し,堅牢なクロスバリデーションを施行した。 分類器の後に置かれる軽量なラベルグラフ再分極モジュールを提案する: ラベルごとの確率が与えられた場合、スパースで訓練可能なラベル間結合行列を学習する。
  論文  参考訳（メタデータ） (2025-11-11T03:38:01Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• ECG Latent Feature Extraction with Autoencoders for Downstream Prediction Tasks [2.2616169634370076]
  心電図(Electrocardiogram、ECG)は、安価で広く用いられる心臓評価用ツールである。 標準化されたフォーマットと小さなファイルサイズにもかかわらず、ECG信号の複雑さと個人間変動は、ディープラーニングモデルでの使用を困難にしている。 本研究は,代表的ビート心電図から特徴生成手法を探索することにより,これらの課題に対処する。 本稿では,3つの新しい変分自動エンコーダ(VAE)-Stochastic Autoencoder (SAE), Annealed beta-VAE (A beta-VAE), Cyclical beta VAE (C beta-VAE)を導入し,それらの維持効果を比較した。
  論文  参考訳（メタデータ） (2025-07-31T19:37:05Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。