論文の概要: Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings
- arxiv url: http://arxiv.org/abs/2606.29571v1
- Date: Sun, 28 Jun 2026 19:24:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.972966
- Title: Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings
- Title（参考訳）: テキスト埋め込みにおけるコサインとランクメトリクスの異方性
- Abstract要約: エンコーダがその分散を方向に均等に広げるとき、コサインはパラメータフリーの最良の選択である。
分散がいくつかの支配的な方向に集中すると、異方性、ランクベース、L1型と呼ばれる性質がコサインをクリアマージンで破る。
1つの数、つまり1つの最も支配的な次元によって保持される分散の分数(英語版)は、19個のエンコーダ全体において、選択肢がどの程度役立つかを予測する。
- 参考スコア（独自算出の注目度）: 1.14219428942199
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The standard way to compare two text embeddings is cosine similarity. Scattered studies report that a different metric does better, but never pin down the geometric condition that decides when, or why. We settle both with a comprehensive empirical study: nineteen parameter-free similarity metrics on nineteen encoders, from compact sentence transformers up to seven-billion-parameter large language models, across seven datasets. The answer is geometric. When an encoder spreads its variance evenly across directions, cosine is the best parameter-free choice and no other metric helps by a usable margin. When the variance concentrates into a few dominant directions, a property known as anisotropy, rank-based and L1-type metrics beat cosine by a clear margin. The absolute gain is modest, but because cosine starts low on these encoders it is a sizable relative improvement, around twenty percent on average and largest where cosine is weakest. What decides this is the geometry of the embedding space, not how the model was trained: where the two disagree, the metric follows the geometry. One number, the fraction of variance held by the single most dominant dimension, predicts how much the alternatives help across all nineteen encoders, with a rank correlation of 0.86 and a linear correlation of 0.95. To test this as the cause rather than a correlate, we project out the dominant directions: cosine recovers and the advantage of the other metrics nearly vanishes, but only on the encoders that were anisotropic to begin with. The effect is directional, not magnitude based, since it survives normalizing every vector to unit length. Among parameter-free metrics, then, cosine is the right tool wherever an encoder is well spread, which includes the fine-tuned embedders commonly deployed for retrieval, and we give a one-number diagnostic for when it is not.
- Abstract（参考訳）: 2つのテキストの埋め込みを比較する標準的な方法は、コサイン類似性である。
散乱された研究は、異なる計量がより良いことを報告していますが、いつ、なぜかを決定する幾何学的な条件をピン留めすることはありません。
我々は、19のエンコーダ上の19のパラメータフリー類似度指標を、コンパクトな文変換器から7つのデータセットにわたる7ビリオンパラメータ大言語モデルまで、総合的な実証研究で解決した。
答えは幾何学的です。
エンコーダがその分散を方向に均等に広げるとき、コサインは最良のパラメータフリーの選択であり、他の計量は使用可能なマージンによって助けられません。
分散がいくつかの支配的な方向に集中すると、異方性、ランクベース、L1型と呼ばれる性質がコサインをクリアマージンで破る。
絶対的な利得は控えめであるが、コサインはこれらのエンコーダで小さくなり始めるため、コサインが最も弱い平均で約20%の相対的な改善となる。
これを決定するのは埋め込み空間の幾何学であり、モデルがどのように訓練されたかではない。
1つの数、すなわち1つの最も支配的な次元によって保持される分散の分数(英語版)は、19個のエンコーダの全てで、ランク相関は0.86、線形相関は0.95である。
コサインは回復し、他のメトリクスの利点はほぼ消滅するが、最初は異方性のあるエンコーダに限られる。
この効果は、すべてのベクトルを単位長さまで正規化し続けるため、等級に基づくものではない。
パラメータフリーなメトリクスのうち、コサインはエンコーダが適切に展開されている場合に適切なツールであり、検索によく使用される微調整された埋め込み器を含み、その場合の1桁の診断を行う。
関連論文リスト
- Beyond Magnitude and Shape: A Direction-Aware Loss for Time Series Forecasting [13.359564942661251]
MSEで訓練された予測器は、小さな動きの方向で失敗する。
予測と目標の差分ベクトルを整列する,シンプルで効果的な方向認識損失であるCosDirを提案する。
CosDirは軽量なプラグイン用語で、アーキテクチャの変更なしにバックボーンにアタッチされる。
論文 参考訳（メタデータ） (2026-08-03T08:06:39Z) - When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search [61.73232505100331]
アクティベーションステアリングは、再トレーニングせずにLSMを制御する軽量な方法を提供するが、その効果は概念によって大きく異なる。
我々は介入層と係数に対する予算制約付き最適化としてランク1ステアリングを定式化する。
操作困難の原因の診断にアクティベーション幾何を利用するグラニュラリティおよび表現認識概念工学フレームワークである textitGRACE を提案する。
論文 参考訳（メタデータ） (2026-05-09T14:26:49Z) - Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative [1.5718921092089344]
平均プールされたコサイン類似性は、言語、モダリティ、タスク間の神経表現を比較するためのデフォルトの指標である。
現代の変圧器表現を特徴づける異方性の下では、平均プールされたコサインは配列長で単調に成長する。
我々は、Centered Kernel Alignmentのような長さ不変のメトリクスは、クロス表現比較のデフォルトであるべきだと論じる。
論文 参考訳（メタデータ） (2026-05-08T06:48:34Z) - In Defense of Cosine Similarity: Normalization Eliminates the Gauge Freedom [0.42303492200814446]
Steck, Ekanadham, Kallus は、学習された埋め込みの余弦的類似性を対角ゲージ'' 行列$D$で任意にレンダリングできることを示した。
これらの結論は、不整合学習目標の病理と、単位球上の余弦距離の幾何的妥当性を混同していると論じる。
論文 参考訳（メタデータ） (2026-02-23T00:00:57Z) - Variance-Adjusted Cosine Distance as Similarity Metric [3.776817669946595]
本研究はコサイン類似性の限界を示す。
伝統的なコサイン類似度計量はユークリッド空間でのみ有効である。
データにばらつきと相関がある場合、コサイン距離は類似性の完全な正確な尺度ではない。
論文 参考訳（メタデータ） (2025-02-04T11:20:57Z) - Is Cosine-Similarity of Embeddings Really About Similarity? [46.75365717794515]
コサイン相似性(Cosine-similarity)は、2つのベクトル間の角度のコサイン、すなわちそれらの正規化の間のドット積である。
正規化線形モデルから導かれる埋め込みについて検討し、そこでは閉形式解が解析的洞察を促進する。
我々はコサイン相似性が任意の、したがって無意味な類似性をもたらすか分析的に導出する」。
論文 参考訳（メタデータ） (2024-03-08T16:48:20Z) - Hyperbolic Vision Transformers: Combining Improvements in Metric
Learning [116.13290702262248]
計量学習のための新しい双曲型モデルを提案する。
本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。
4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
論文 参考訳（メタデータ） (2022-03-21T09:48:23Z) - A Triangle Inequality for Cosine Similarity [0.0]
類似性探索は多くのデータ解析手法の基本的な問題である。
本稿では,コサイン類似度に対する三角形の不等式を導出し,多くの標準探索構造を用いた効率的な類似度探索を行う。
論文 参考訳（メタデータ） (2021-07-08T19:13:34Z) - Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。
アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-10T16:51:53Z) - Word Rotator's Distance [50.67809662270474]
テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。
単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。
本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
論文 参考訳（メタデータ） (2020-04-30T17:48:42Z) - Fast and Robust Comparison of Probability Measures in Heterogeneous
Spaces [62.35667646858558]
本稿では, アンカー・エナジー (AE) とアンカー・ワッサースタイン (AW) 距離を紹介する。
我々の主な貢献は、素案実装が立方体となる対数四重項時間でAEを正確に計算するスイープラインアルゴリズムを提案することである。
AE と AW は,一般的な GW 近似の計算コストのごく一部において,様々な実験環境において良好に動作することを示す。
論文 参考訳（メタデータ） (2020-02-05T03:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。