論文の概要: Optimization Dynamics Imprint Semantic Specificity in Contrastive Embedding Norms

• arxiv url: http://arxiv.org/abs/2606.30625v1
• Date: Mon, 29 Jun 2026 17:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.371222
• Title: Optimization Dynamics Imprint Semantic Specificity in Contrastive Embedding Norms
• Title（参考訳）: コントラストエンベディングノルムのセマンティック特異性に関する最適化ダイナミクス
• Abstract要約: 埋め込み長は、この情報をトレーニングプロセスの副産物として自然にエンコードしていることを示す。 また、特定のモデルや検索タスクで「自由」キャリブレーションツールとして機能する信号がもたらされることを示す。
• 参考スコア（独自算出の注目度）: 14.21826317058059
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive embedding models trained with scale-invariant losses are typically paired with distance metrics like cosine similarity, effectively ignoring embedding magnitudes. However, surprisingly, empirical studies reveal that despite this, these "discarded" norms seem to correlate with semantic properties such as concept specificity, token frequency, and human uncertainty. In this work, we provide a formal theoretical framework explaining this phenomenon. By analyzing the optimization dynamics, we derive an analytic formula demonstrating that embedding length naturally encodes this information as a byproduct of the training process. We also show how this gives rise to signals that can serve as "free" calibration tools in specific models and retrieval tasks, providing a grounded explanation for a previously heuristic observation.
• Abstract（参考訳）: スケール不変の損失で訓練された対照的な埋め込みモデルは、通常、コサイン類似性のような距離メトリクスとペアリングされ、埋め込みの規模を効果的に無視する。 しかし、驚くべきことに、これらの「捨てられた」規範は概念の特異性、トークンの頻度、人間の不確実性といった意味的な性質と相関しているように見える。 本研究では,この現象を説明する公式な理論的枠組みを提供する。 最適化力学を解析することにより、埋め込み長が学習過程の副産物として自然にこの情報を符号化することを示す解析式を導出する。 また、このことが特定のモデルや検索タスクにおいて「自由」キャリブレーションツールとして機能する信号を生み出し、それまでのヒューリスティックな観察の根拠となった説明を提供する。

関連論文リスト

• When Are Two Networks the Same? Tensor Similarity for Mechanistic Interpretability [1.2314765641075438]
  重みに基づく計量、テンソル類似性を導入し、そのような対称性に不変である。 経験的に、テンソル類似性は、グラッキングやバックドア挿入のような機能的トレーニングのダイナミクスを、既存のメトリクスよりも忠実に追跡する。
  論文  参考訳（メタデータ） (2026-05-14T17:58:27Z)
• Invariant Representations via Wasserstein Correlation Maximization [0.6554326244334866]
  本研究では、教師なし表現学習におけるワッサースタイン相関の活用について検討する。 入力と分布の相関を最大化するために訓練された(オート)エンコーダが代わりに圧縮機として機能することがわかった。 また、最適輸送に基づく依存度測定のための様々な理論的結果も確立する。
  論文  参考訳（メタデータ） (2025-05-16T21:11:51Z)
• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
  我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。 このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-28T16:25:26Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Instance-Based Neural Dependency Parsing [56.63500180843504]
  依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。 私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
  論文  参考訳（メタデータ） (2021-09-28T05:30:52Z)
• Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective [10.515544361834241]
  最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
  論文  参考訳（メタデータ） (2021-09-27T17:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。