論文の概要: Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2409.02850v1
• Date: Wed, 4 Sep 2024 16:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 17:11:35.157722
• Title: Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning
• Title（参考訳）: Oops, I Sammpled it: Reprepreting Confidence Intervals in Few-Shot Learning
• Authors: Raphael Lafargue, Luke Smith, Franck Vermet, Mathias Löwe, Ian Reid, Vincent Gripon, Jack Valmadre,
• Abstract要約: 数ショット学習における信頼区間(CI)を計算する主要な方法は、複数のタスクに同じサンプルが現れるように、置換されたタスクをサンプリングすることに基づいている。 これにより、CIはサンプルのランダムさを考慮し、データ自体を考慮しない、という誤解を招くことになる。 本研究は,CIの置換の有無を比較検討し,本手法による過小評価の意義を明らかにした。
• 参考スコア（独自算出の注目度）: 12.003099903015913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The predominant method for computing confidence intervals (CI) in few-shot learning (FSL) is based on sampling the tasks with replacement, i.e.\ allowing the same samples to appear in multiple tasks. This makes the CI misleading in that it takes into account the randomness of the sampler but not the data itself. To quantify the extent of this problem, we conduct a comparative analysis between CIs computed with and without replacement. These reveal a notable underestimation by the predominant method. This observation calls for a reevaluation of how we interpret confidence intervals and the resulting conclusions in FSL comparative studies. Our research demonstrates that the use of paired tests can partially address this issue. Additionally, we explore methods to further reduce the (size of the) CI by strategically sampling tasks of a specific size. We also introduce a new optimized benchmark, which can be accessed at https://github.com/RafLaf/FSL-benchmark-again
• Abstract（参考訳）: 少数ショット学習(FSL)における信頼区間(CI)を計算する主要な方法は、複数のタスクに同じサンプルが現れるように置換されたタスクをサンプリングすることに基づいている。 これにより、CIはサンプルのランダムさを考慮し、データ自体を考慮しない、という誤解を招くことになる。 この問題の程度を定量化するために、我々は置換なしで計算されたCIの比較分析を行う。 これらは支配的な方法による顕著な過小評価を示している。 この観察は、FSL比較研究における信頼区間の解釈方法と結果の結論の再評価を要求する。 私たちの研究は、ペアテストを使用することで、この問題に部分的に対処できることを示しています。 さらに、特定のサイズのタスクを戦略的にサンプリングすることで、CI(サイズ)をさらに削減する方法についても検討する。 また、新しい最適化ベンチマークを導入し、https://github.com/RafLaf/FSL-benchmark-againでアクセスすることができる。

関連論文リスト

• Keep Guessing? When Considering Inference Scaling, Mind the Baselines [45.21178011740911]
  大規模言語モデルにおける推論計算のスケーリングは、サンプルの数が増えるにつれて、常にカバレッジ(問題解決の限界)を増大させる。 我々は、この観察された改善は、標準評価ベンチマークの回答分布が比較的小さな共通回答の集合に傾いていることによるものであると推測する。
  論文  参考訳（メタデータ） (2024-10-20T18:43:05Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• FSL-Rectifier: Rectify Outliers in Few-Shot Learning via Test-Time Augmentation [7.477118370563593]
  FSL(Few-shot-learning)は通常、トレーニング中に目に見えないクラスに属する画像(クエリ)を識別するモデルを必要とする。 生成画像コンバインダを用いて、原サンプルと適切な列車クラスサンプルを組み合わせることで、追加のテストクラスサンプルを生成する。 我々は、平均化によってより典型的な表現をもたらす拡張子を介して平均化された特徴を得る。
  論文  参考訳（メタデータ） (2024-02-28T12:37:30Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Sample and Predict Your Latent: Modality-free Sequential Disentanglement via Contrastive Estimation [2.7759072740347017]
  外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。 実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。 提案手法は,既存の手法と比較して最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-05-25T10:50:30Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Bridging Few-Shot Learning and Adaptation: New Challenges of Support-Query Shift [4.374837991804085]
  わずかなラベル付きデータで新しい概念を学習するアルゴリズムはほとんどない。 テスト時に遭遇した新しいクラスからクエリインスタンスを分類するには、いくつかのラベル付きサンプルからなるサポートセットが必要である。 現実的なセットティングでは、データ分散は、少なくとも変化の対象であり、分散シフト(DS)と呼ばれる状況である。
  論文  参考訳（メタデータ） (2021-05-25T10:10:09Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。