論文の概要: Does a Shared Temperature Imply a Shared Angular Scale in Probabilistic Contrastive Learning?
- arxiv url: http://arxiv.org/abs/2609.38784v1
- Date: Wed, 30 Sep 2026 02:14:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.017615
- Title: Does a Shared Temperature Imply a Shared Angular Scale in Probabilistic Contrastive Learning?
- Title（参考訳）: 共用温度は確率論的コントラスト学習における共有角スケールを意味するか?
- Abstract要約: 表現次元とクラス濃度が共に大きくなると, ProCo が用いる正確な von Mises-Fisher (vMF) 確率スコアについて検討した。
A_c$が平均長である場合、スコアはクラス依存の主角ゲイン(g_c=A_c/$)を保持する。
実CIFAR-LT、ImageNet-LT、およびiNaturalist表現では、この理論はフルvMFスコアの下で境界運動と局所勾配変化を正確に予測する。
- 参考スコア（独自算出の注目度）: 5.322814402166287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In probabilistic contrastive learning, a shared temperature is commonly interpreted as a shared similarity scale, but this interpretation does not hold for high-dimensional distributional class representations. We study the exact von Mises-Fisher (vMF) probabilistic score used by ProCo when representation dimension and class concentration grow jointly. We prove that the score retains a class-dependent leading angular gain $g_c=A_c/τ$, where $A_c$ is the mean resultant length. This gain enters Softmax competition, pairwise decision boundaries, and feature gradients. On real CIFAR-LT, ImageNet-LT, and iNaturalist representations, the theory accurately predicts boundary movements and local gradient changes under the full vMF score. Classwise temperature adjustment also changes the cosine-zero intercept and finite-dimensional response. We construct intercept-preserving and Pure Angular controls to separate the leading gain from these accompanying changes. Complete gain equalization yields a shared-scale cosine prototype rule at leading order; a finite-dimensional margin condition guarantees agreement of the two classifiers. Across 16 frozen representation settings, prediction agreement is 98.43-99.99%, with disagreements concentrated at small cosine margins. In controlled contrastive-only training with the training-frequency prior, Pure Angular editing improves both learned representations at all tested CIFAR-10/100 imbalance factors and retains positive changes on ImageNet-LT. Thus vMF concentration not only describes class distributions, but also forms a decision and learning scale in high-dimensional probabilistic contrastive learning.
- Abstract（参考訳）: 確率論的対照的学習では、共有温度は共有類似度尺度として一般的に解釈されるが、この解釈は高次元分布クラス表現には当てはまらない。
表現次元とクラス濃度が共に大きくなると, ProCo が用いる正確な von Mises-Fisher (vMF) 確率スコアについて検討した。
スコアがクラス依存の主角ゲイン(g_c=A_c/τ$)を維持していることを証明する。
この利得は、ソフトマックスの競争、ペアの意思決定境界、特徴勾配に入る。
実CIFAR-LT、ImageNet-LT、およびiNaturalist表現では、この理論はフルvMFスコアの下で境界運動と局所勾配変化を正確に予測する。
温度調整はコサインゼロのインターセプトと有限次元の応答も変化させる。
インターセプト保存とPure Angularコントロールを構築し、関連する変更から主要な利益を分離します。
完全ゲイン等化(英語版)は、先頭の順序で共有スケールのコサインの試行規則を導き、有限次元のマージン条件は2つの分類器の一致を保証する。
16の凍結した表現設定で、予測合意は98.43-99.99%であり、不一致は小さなコサインマージンに集中している。
トレーニング周波数以前のコントロールされたコントラストのみのトレーニングでは、Pure Angular編集は、テスト済みのCIFAR-10/100不均衡要因で両方の学習表現を改善し、ImageNet-LTに肯定的な変更を保持する。
したがって、vMF濃度はクラス分布を記述するだけでなく、高次元確率論的コントラスト学習における決定と学習の尺度を形成する。
関連論文リスト
- The Distributional View of Knowledge Distillation [13.841028090842869]
トークンレベルの知識蒸留は、位置ごとに2つの条件分布に一致する。
我々は,教師が単一軟化アウトプットではなく,多温度ビューのファミリで表される分布ビューを開発する。
論文 参考訳（メタデータ） (2026-08-15T13:03:31Z) - Bayesian Wind Tunnels for Model Selection [0.4779196219827507]
変圧器は固定仮説クラス内で正確にベイズフィルタを行うことができることを示す。
離散統計学が算術を必要とする場合、モデル選択は整数トークンで成功する。
定常性制御は、安定なセマンティクスであり、整数のアイデンティティではなく回路のコンパイルを可能にする。
論文 参考訳（メタデータ） (2026-07-01T04:05:08Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Soft Equivariance Regularization for Invariant Self-Supervised Learning [23.047550451521662]
自己教師付き学習(SSL)は通常、意味保存強化に不変な表現を学習する。
本研究では,不等分散と等分散を両立させるプラグイン正規化器であるソフト等分散正規化(SER)を提案する。
SERはサンプルごとの変換コードやラベルを学習/予測し、補助的な変換予測ヘッドを必要としない。
論文 参考訳（メタデータ） (2026-03-04T13:36:17Z) - When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。
比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。
対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
論文 参考訳（メタデータ） (2026-03-01T07:00:38Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Relative Scaling Laws for LLMs [91.73497548097775]
スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。
相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。
これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
論文 参考訳（メタデータ） (2025-10-28T16:55:22Z) - The Copycat Perceptron: Smashing Barriers Through Collective Learning [3.55026004901472]
本研究では,各学生の一般化性能に影響を及ぼすサーマルノイズが存在する場合の一般的な設定を解析する。
レプリカの結合は、$alpha$の小さな値への位相図の曲がりに繋がることがわかった。
これらの結果は、最近推測されたReplicated Simulated Annealingのベイズ最適性に関する解析的および数値的な証拠を与える。
論文 参考訳（メタデータ） (2023-08-07T17:51:09Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - Federated Functional Gradient Boosting [75.06942944563572]
フェデレーション学習における機能最小化に関する研究
FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
論文 参考訳（メタデータ） (2021-03-11T21:49:19Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。