論文の概要: Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2602.09229v1
• Date: Mon, 09 Feb 2026 21:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.261583
• Title: Beyond the Unit Hypersphere: Embedding Magnitude in Contrastive Learning
• Title（参考訳）: ユニットハイパースフィアを超えて - コントラスト学習におけるマグニチュードの埋め込み
• Authors: Xincan Feng, Taro Watanabe,
• Abstract要約: コサインの類似性は対照的な学習でよく見られるが、それは暗黙の仮定である:埋め込みの規模はノイズである。 以前の研究では、ドット製品とコサインの類似性が同等である場合もあったが、未解決のWHAT情報等級は、それが役立つWHEN、HOWはそれを利用する。 テキストおよび視覚モデル間の入力側および出力側正規化を独立に制御する2倍のアブレーションによる系統的研究を行う。
• 参考スコア（独自算出の注目度）: 32.80004054328614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cosine similarity is prevalent in contrastive learning, yet it makes an implicit assumption: embedding magnitude is noise. Prior work occasionally found dot product and cosine similarity comparable, but left unanswered WHAT information magnitude carries, WHEN it helps, and HOW to leverage it. We conduct a systematic study through a $2 \times 2$ ablation that independently controls input-side and output-side normalization across text and vision models. Our findings reveal three key insights. First, in text retrieval, output (document) magnitude strongly correlates with relevance (Cohen's $d$ up to 1.80), yielding the largest gains on reasoning-intensive tasks. Second, input and output magnitudes serve asymmetric roles: output magnitude directly scales similarity scores while input magnitude modulates training dynamics. Third, magnitude learning benefits asymmetric tasks (text retrieval, RAG) but harms symmetric tasks (STS, text-image alignment). These findings establish a task symmetry principle: the choice between cosine and dot product depends on whether the task has distinct input roles, enabling cost-free improvements by simply removing an unnecessary constraint.
• Abstract（参考訳）: コサインの類似性は対照的な学習でよく見られるが、それは暗黙の仮定である:埋め込みの規模はノイズである。 以前の研究では、ドット製品とコサインの類似性が同等である場合もあったが、未解決のWHAT情報等級は、それが役立つWHEN、HOWはそれを利用する。 我々は,テキストモデルと視覚モデル間の入力側および出力側正規化を独立に制御する2ドル2ドルのアブレーションを通じて,体系的な研究を行う。 私たちの発見は3つの重要な洞察を浮き彫りにした。 まず、テキスト検索において、出力(ドキュメント)は関係性(コーエンの$d$最大1.80)と大きく相関し、推論集約的なタスクにおいて最大の利益をもたらす。 出力等級は類似度スコアを直接スケールし、入力等級はトレーニング力学を変調する。 第三に、等級学習は非対称なタスク(テキスト検索、RAG)に効果があるが、対称なタスク(STS、テキストイメージアライメント)には影響しない。 これらの結果は、コサインとドットの積の選択は、タスクに異なる入力ロールがあるかどうかに依存し、不要な制約を取り除くことでコストフリーの改善を可能にする。

関連論文リスト

• Magnitude Matters: a Superior Class of Similarity Metrics for Holistic Semantic Understanding [1.14219428942199]
  本稿では,パラメータフリーで等級対応の類似度尺度を新たに提案し,厳密に評価する。 オーバーラップ類似性(OS)とハイパボリックタンジェント類似性(HTS)という2つの機能を紹介します。 結果が堅牢で一般化可能であることを確認するため,4つの最先端文埋め込みモデルを用いて包括的評価を行った。
  論文  参考訳（メタデータ） (2025-09-12T22:26:15Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Is Smoothness the Key to Robustness? A Comparison of Attention and Convolution Models Using a Novel Metric [0.0]
  既存の堅牢性評価アプローチは理論的な一般性を欠いているか、経験的評価に大きく依存していることが多い。 本研究では,トポロジカルデータ解析とリプシッツ連続性を橋渡ししてロバスト性評価を行う層解析に基づくトポリップを提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:44:14Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Narrowing the Gap between Supervised and Unsupervised Sentence Representation Learning with Large Language Model [44.77515147970206]
  文表現学習(SRL)は自然言語処理(NLP)の基本課題である CSE(Contrastive Learning of Sentence Embeddings)はその優れたパフォーマンスのために主流のテクニックである。 以前の作品では、このパフォーマンスギャップは2つの表現特性(配向と均一性)の違いに起因するとされていた。
  論文  参考訳（メタデータ） (2023-09-12T08:16:58Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Rebalanced Siamese Contrastive Mining for Long-Tailed Recognition [120.80038161330623]
  教師付きコントラスト学習は、元のバッチレベルとシームズバッチレベルの両方において、二重クラス不均衡の問題に悩まされていることを示す。 コントラスト計算のための情報的ペアを抽出し,表現学習を改善するために,教師付き強正・負のペアマイニングを提案する。
  論文  参考訳（メタデータ） (2022-03-22T07:30:38Z)
• Centroid Transformers: Learning to Abstract with Attention [15.506293166377182]
  自己注意は入力から特徴を抽出する強力なメカニズムである。 N入力をM出力にマップする自己注意の一般化であるセントロイド注意を$(Mleq N)$に提案する。 本手法は,抽象的テキスト要約,3次元視覚,画像処理など,様々なアプリケーションに適用する。
  論文  参考訳（メタデータ） (2021-02-17T07:04:19Z)
• Perspective: A Phase Diagram for Deep Learning unifying Jamming, Feature Learning and Lazy Training [4.318555434063275]
  ディープラーニングアルゴリズムは、画像認識やgoプレイなど、さまざまなタスクにおける技術革命の責任を負う。 しかし、なぜ働くのかは分かっていない。 最終的に、彼らは高い次元に横たわるデータを分類することに成功しました。 我々は、異なる学習体制をフェーズダイアグラムにまとめることができると論じる。
  論文  参考訳（メタデータ） (2020-12-30T11:00:36Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere [32.0469500831667]
  対照的な損失に関連する2つの重要な特性を同定する。 コントラスト損失はこれらの特性を最適化し、下流タスクに対する正の効果を解析する。 注目すべきは、これらの2つのメトリクスを直接最適化することは、対照的な学習よりも下流のタスクにおける同等または優れたパフォーマンスの表現につながることだ。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。