論文の概要: Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2602.09229v1
• Date: Mon, 09 Feb 2026 21:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.261583
• Title: Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning
• Title（参考訳）: ユニットハイパースフィアを超えて - コントラスト学習におけるマグニチュードの埋め込み
• Authors: Xincan Feng, Taro Watanabe,
• Abstract要約: コサインの類似性は対照的な学習でよく見られるが、それは暗黙の仮定である:埋め込みの規模はノイズである。 以前の研究では、ドット製品とコサインの類似性が同等である場合もあったが、未解決のWHAT情報等級は、それが役立つWHEN、HOWはそれを利用する。 テキストおよび視覚モデル間の入力側および出力側正規化を独立に制御する2倍のアブレーションによる系統的研究を行う。
• 参考スコア（独自算出の注目度）: 32.80004054328614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cosine similarity is prevalent in contrastive learning, yet it makes an implicit assumption: embedding magnitude is noise. Prior work occasionally found dot product and cosine similarity comparable, but left unanswered WHAT information magnitude carries, WHEN it helps, and HOW to leverage it. We conduct a systematic study through a $2 \times 2$ ablation that independently controls input-side and output-side normalization across text and vision models. Our findings reveal three key insights. First, in text retrieval, output (document) magnitude strongly correlates with relevance (Cohen's $d$ up to 1.80), yielding the largest gains on reasoning-intensive tasks. Second, input and output magnitudes serve asymmetric roles: output magnitude directly scales similarity scores while input magnitude modulates training dynamics. Third, magnitude learning benefits asymmetric tasks (text retrieval, RAG) but harms symmetric tasks (STS, text-image alignment). These findings establish a task symmetry principle: the choice between cosine and dot product depends on whether the task has distinct input roles, enabling cost-free improvements by simply removing an unnecessary constraint.
• Abstract（参考訳）: コサインの類似性は対照的な学習でよく見られるが、それは暗黙の仮定である:埋め込みの規模はノイズである。 以前の研究では、ドット製品とコサインの類似性が同等である場合もあったが、未解決のWHAT情報等級は、それが役立つWHEN、HOWはそれを利用する。 我々は,テキストモデルと視覚モデル間の入力側および出力側正規化を独立に制御する2ドル2ドルのアブレーションを通じて,体系的な研究を行う。 私たちの発見は3つの重要な洞察を浮き彫りにした。 まず、テキスト検索において、出力(ドキュメント)は関係性(コーエンの$d$最大1.80)と大きく相関し、推論集約的なタスクにおいて最大の利益をもたらす。 出力等級は類似度スコアを直接スケールし、入力等級はトレーニング力学を変調する。 第三に、等級学習は非対称なタスク(テキスト検索、RAG)に効果があるが、対称なタスク(STS、テキストイメージアライメント)には影響しない。 これらの結果は、コサインとドットの積の選択は、タスクに異なる入力ロールがあるかどうかに依存し、不要な制約を取り除くことでコストフリーの改善を可能にする。

関連論文リスト

• Magnitude Matters: a Superior Class of Similarity Metrics for Holistic Semantic Understanding [1.14219428942199]
  本稿では,パラメータフリーで等級対応の類似度尺度を新たに提案し,厳密に評価する。 オーバーラップ類似性(OS)とハイパボリックタンジェント類似性(HTS)という2つの機能を紹介します。 結果が堅牢で一般化可能であることを確認するため,4つの最先端文埋め込みモデルを用いて包括的評価を行った。
  論文  参考訳（メタデータ） (2025-09-12T22:26:15Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Is Smoothness the Key to Robustness? A Comparison of Attention and Convolution Models Using a Novel Metric [0.0]
  既存の堅牢性評価アプローチは理論的な一般性を欠いているか、経験的評価に大きく依存していることが多い。 本研究では,トポロジカルデータ解析とリプシッツ連続性を橋渡ししてロバスト性評価を行う層解析に基づくトポリップを提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:44:14Z)
• Narrowing the Gap between Supervised and Unsupervised Sentence Representation Learning with Large Language Model [44.77515147970206]
  文表現学習(SRL)は自然言語処理(NLP)の基本課題である CSE(Contrastive Learning of Sentence Embeddings)はその優れたパフォーマンスのために主流のテクニックである。 以前の作品では、このパフォーマンスギャップは2つの表現特性(配向と均一性)の違いに起因するとされていた。
  論文  参考訳（メタデータ） (2023-09-12T08:16:58Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。