論文の概要: When Softmax Fails at the Top: Extreme Value Corrections for InfoNCE

• arxiv url: http://arxiv.org/abs/2606.00262v1
• Date: Fri, 29 May 2026 18:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.188291
• Title: When Softmax Fails at the Top: Extreme Value Corrections for InfoNCE
• Title（参考訳）: Softmaxがトップに落ちたとき:InfoNCEの極端な値補正
• Abstract要約: InfoNCEのソフトマックス形式は,トップスコーリング例の選択方法に関する統計的仮定を符号化していることを示す。 我々は,従来のソフトマックスロジットとエンドポイントのショートフォール補正をブレンドするために,アンカーワイズオンラインバッチ統計を用いたInfoNCEの簡単な修正であるtextscWEINCEを提案する。
• 参考スコア（独自算出の注目度）: 42.28878878263249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: InfoNCE is the standard contrastive learning objective, but its softmax form is not only a computational convenience: it also encodes a statistical assumption about how the top-scoring example is selected. Using extreme value theory, we show that this assumption is often misaligned with the normalized embedding setting used in modern contrastive learning. Motivated by this mismatch, we propose \textsc{WEINCE}, a simple modification of InfoNCE that uses anchor-wise online batch statistics to blend the usual softmax logits with an endpoint shortfall correction, adding no trainable parameters. Across five vision benchmarks, \textsc{WEINCE} yields consistent improvements in frozen-feature evaluation. These results show that a more faithful statistical treatment of hard negatives can improve contrastive objectives.
• Abstract（参考訳）: InfoNCEは標準的なコントラスト学習の目標であるが、そのソフトマックス形式は計算上の利便性だけでなく、トップスコアの例の選択方法に関する統計的仮定も符号化している。 極値理論を用いて、この仮定は現代のコントラスト学習で用いられる正規化埋め込み設定としばしば一致しないことを示す。 このミスマッチに動機づけられた InfoNCE の簡単な修正である \textsc{WEINCE} を提案する。これはアンカーワイズオンラインバッチ統計を用いて、通常のソフトマックスロジットとエンドポイントのショートフォール補正をブレンドし、トレーニング可能なパラメータを追加しない。 5つのビジョンベンチマークのうち、 \textsc{WEINCE} は凍結機能評価において一貫した改善をもたらす。 これらの結果から, 硬質陰性に対するより忠実な統計的治療は, 対照的な目的を改善できることが示唆された。

関連論文リスト

• The Silent Vote: Improving Zero-Shot LLM Reliability by Aggregating Semantic Neighborhoods [0.0]
  対象ラベルを囲むセマンティック・エリアのスコアを集約することにより,損失情報を復元する推論時間層を提案する。 その結果, 予測誤差 (ECE) とブライアスコア (Brier Score) は, AUROC と Macro-F1 の区別性能を同時に向上した。
  論文  参考訳（メタデータ） (2026-05-10T20:22:10Z)
• Softmax is not Enough (for Adaptive Conformal Classification) [5.184894950445513]
  コンフォーマル予測(CP)は不確実性定量化のための分布のないフレームワークである。 非整合性スコアはソフトマックス出力から導かれるもので、与えられた入力についてモデルが真に確実であるかの信頼性の低い指標となる。 本稿では,Helmholtz Free Energyをモデル不確実性とサンプルの難易度を指標として,ソフトマックス前のロジット空間の情報を活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-02-23T04:33:04Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• TRUST: Test-time Resource Utilization for Superior Trustworthiness [15.031121920821109]
  このようなノイズの影響を考慮し,より信頼性の高い信頼度推定を行う新しいテスト時間最適化法を提案する。 このスコアは単調なサブセット選択関数を定義し、低いスコアを持つサンプルを除去すると、集団の精度は一貫して上昇する。
  論文  参考訳（メタデータ） (2025-06-06T12:52:32Z)
• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [21.63888208442176]
  ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2021-11-30T14:21:47Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。