Fugu-MT 論文翻訳(概要): Worst Case Matters for Few-Shot Recognition

論文の概要: Worst Case Matters for Few-Shot Recognition

arxiv url: http://arxiv.org/abs/2203.06574v1
Date: Sun, 13 Mar 2022 05:39:40 GMT
ステータス: 処理完了
システム内更新日: 2022-03-15 14:08:44.834695
Title: Worst Case Matters for Few-Shot Recognition
Title（参考訳）: Few-Shot認識の最悪の事例
Authors: Minghao Fu, Yun-Hao Cao and Jianxin Wu
Abstract要約: 少ないショット認識は、カテゴリ毎に非常に少ない(例:1または5)画像を持つ認識モデルを学ぶ。現在の数発の学習方法は、多くのエピソードの平均精度を改善することに焦点を当てている。現実のアプリケーションでは、多くではなく1回だけ試すことがよくあるので、最悪のケースの精度を最大化することは、平均的な精度を最大化することよりも重要である、と私たちは主張する。
参考スコア（独自算出の注目度）: 27.023352955311502
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Few-shot recognition learns a recognition model with very few (e.g., 1 or 5) images per category, and current few-shot learning methods focus on improving the average accuracy over many episodes. We argue that in real-world applications we may often only try one episode instead of many, and hence maximizing the worst-case accuracy is more important than maximizing the average accuracy. We empirically show that a high average accuracy not necessarily means a high worst-case accuracy. Since this objective is not accessible, we propose to reduce the standard deviation and increase the average accuracy simultaneously. In turn, we devise two strategies from the bias-variance tradeoff perspective to implicitly reach this goal: a simple yet effective stability regularization (SR) loss together with model ensemble to reduce variance during fine-tuning, and an adaptability calibration mechanism to reduce the bias. Extensive experiments on benchmark datasets demonstrate the effectiveness of the proposed strategies, which outperforms current state-of-the-art methods with a significant margin in terms of not only average, but also worst-case accuracy.
Abstract（参考訳）: 少ないショット認識は、カテゴリー毎に非常に少ない(例:1または5)画像を持つ認識モデルを学び、現在の数ショット学習方法は、多くのエピソードの平均精度を改善することに重点を置いている。実世界のアプリケーションでは、多くではなく1つのエピソードだけを試すことが多いため、最悪のケースの正確さを最大化することは、平均的な精度を最大化するよりも重要である、と論じている。実験により,高い平均精度が必ずしも最悪の場合の精度を意味するとは限らないことが示された。この目的には到達できないため,標準偏差を低減し,同時に平均精度を向上させることを提案する。次に、バイアス分散トレードオフの観点から2つの戦略を考案し、この目標を暗黙的に達成する: 微調整時の分散を減らすためのモデルアンサンブルとともに、単純で効果的な安定正規化(sr)損失とバイアスを減らす適応性キャリブレーション機構である。ベンチマークデータセットに関する広範な実験により,提案手法の有効性が示され,平均値だけでなく,最悪の場合の精度も大幅に向上した。

関連論文リスト

FIRST: Teach A Reliable Large Language Model Through Efficient Trustworthy Distillation [29.606646251624923]
微調整は「微調整による誤校正」により、まだ満足のいく信頼性には程遠い本稿では,教師の知識のごく一部を有効活用して,信頼性の高い言語モデルを低コストで得るための信頼に値する蒸留(FIRST)を提案する。実験の結果, 精度が2.3%, 誤校正率が10%以下となる手法の有効性が示された。
論文参考訳（メタデータ） (2024-08-22T07:31:00Z)
Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
論文参考訳（メタデータ） (2024-05-30T03:15:59Z)
PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2024-05-10T08:02:20Z)
Reviving Undersampling for Long-Tailed Learning [16.054442161144603]
我々は,最低性能カテゴリーの精度を高め,調和平均と幾何平均を用いてモデルの性能を評価することを目的とする。我々は,余分なオーバーヘッドを伴わず,高調波平均と幾何平均を改良したモデルアンサンブル戦略を考案した。提案手法の有効性を,長期学習のための広く利用されているベンチマークデータセットに検証する。
論文参考訳（メタデータ） (2024-01-30T08:15:13Z)
Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文参考訳（メタデータ） (2023-11-03T05:41:25Z)
EXACT: How to Train Your Accuracy [6.144680854063938]
本稿では,モデル出力にアセンシティを導入し,予測精度を最適化することで,新しい最適化フレームワークを提案する。線形モデルと深層画像分類の実験により,提案手法は広く用いられている分類損失の強力な代替手段であることが示された。
論文参考訳（メタデータ） (2022-05-19T15:13:00Z)
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文参考訳（メタデータ） (2022-01-11T23:01:12Z)
Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance [5.650647159993238]
小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
論文参考訳（メタデータ） (2021-10-13T17:24:12Z)
FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文参考訳（メタデータ） (2021-07-07T13:39:08Z)
Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文参考訳（メタデータ） (2020-07-16T11:09:36Z)
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。