論文の概要: Semantics at an Angle: When Cosine Similarity Works Until It Doesn't

• arxiv url: http://arxiv.org/abs/2504.16318v2
• Date: Tue, 20 May 2025 15:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.059525
• Title: Semantics at an Angle: When Cosine Similarity Works Until It Doesn't
• Title（参考訳）: アングルのセマンティックス:コサインの類似性が機能する時
• Authors: Kisung You,
• Abstract要約: コサインの類似性は、機械学習における埋め込みを比較する標準的な指標となっている。 最近の研究は、特に埋め込みノルムが意味のある意味情報を持っている場合、重要な制限を明らかにしている。 この記事では、コサイン類似性の進化、強度、限界について、反射的かつ選択的に検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cosine similarity has become a standard metric for comparing embeddings in modern machine learning. Its scale-invariance and alignment with model training objectives have contributed to its widespread adoption. However, recent studies have revealed important limitations, particularly when embedding norms carry meaningful semantic information. This informal article offers a reflective and selective examination of the evolution, strengths, and limitations of cosine similarity. We highlight why it performs well in many settings, where it tends to break down, and how emerging alternatives are beginning to address its blind spots. We hope to offer a mix of conceptual clarity and practical perspective, especially for quantitative scientists who think about embeddings not just as vectors, but as geometric and philosophical objects.
• Abstract（参考訳）: コサインの類似性は、現代の機械学習における埋め込みを比較する標準的な指標となっている。 スケール不変性とモデルトレーニングの目標との整合性は、広く採用されている。 しかし、最近の研究は、特に埋め込みノルムが意味のある意味情報を持っている場合、重要な制限を明らかにしている。 この非公式な記事は、コサイン類似性の進化、強さ、限界について、反射的かつ選択的に検証するものである。 多くの設定でうまく機能し、故障する傾向があり、新しい選択肢が盲点にどう対処し始めているかを強調している。 特に、埋め込みをベクトルとしてだけでなく、幾何学的および哲学的対象として考える定量的科学者に、概念的明快さと実践的視点の混合を提供したいと思っています。

関連論文リスト

• Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
  本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
  論文  参考訳（メタデータ） (2025-03-19T12:47:37Z)
• Modelling Commonsense Commonalities with Multi-Facet Concept Embeddings [25.52752452574944]
  概念埋め込みは興味のある性質を共有する概念を識別する。 標準埋め込みは基本的な分類学的カテゴリーを反映しており、より特定の側面を参照する共通点を見つけるのに適さない。 これは、より多様なコモンセンス特性をキャプチャし、下流タスクの結果を継続的に改善する埋め込みにつながることを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:44:45Z)
• Is Cosine-Similarity of Embeddings Really About Similarity? [46.75365717794515]
  コサイン相似性(Cosine-similarity)は、2つのベクトル間の角度のコサイン、すなわちそれらの正規化の間のドット積である。 正規化線形モデルから導かれる埋め込みについて検討し、そこでは閉形式解が解析的洞察を促進する。 我々はコサイン相似性が任意の、したがって無意味な類似性をもたらすか分析的に導出する」。
  論文  参考訳（メタデータ） (2024-03-08T16:48:20Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Deflectometry for specular surfaces: an overview [0.0]
  反射面を評価するための技術的アプローチとしてのデフレクトメトリーは、現在40年近く存在しています。 この手法の様々な側面とバリエーションが、複数の論文や研究論文で研究され、また特定のサブトピックにもレビューが利用できるようになった。
  論文  参考訳（メタデータ） (2022-04-10T22:17:47Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• CLEVA-Compass: A Continual Learning EValuation Assessment Compass to Promote Research Transparency and Comparability [15.342039156426843]
  私たちは、Desiderataの正確な定式化の目標は、様々なアプリケーションが常に異なるシナリオを保証できるため、不適切なものであると論じます。 CLEVA-コンパスは、最近のレプリケーショントレンドの精神の中でコンパクトな仕様の促進に加えて、個々のシステムの優先順位を理解するための直感的なチャートを提供する。
  論文  参考訳（メタデータ） (2021-10-07T10:53:26Z)
• CURI: A Benchmark for Productive Concept Learning Under Uncertainty [33.83721664338612]
  我々は、新しい数ショットメタラーニングベンチマーク、コンポジション推論を不確実性の下で導入する(CURI)。 CURIは、疎結合、生産的一般化、学習操作、変数バインディングなどの抽象的な理解を含む、生産的および体系的な一般化の異なる側面を評価します。 また、モデルに依存しない「構成性ギャップ」を定義し、それぞれの軸に沿って分布外分布を一般化することの難しさを評価する。
  論文  参考訳（メタデータ） (2020-10-06T16:23:17Z)
• Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning [157.62595449130973]
  本稿では,現在の数ショット学習法における単純化型クラスモデリングの基本的問題について検討する。 本稿では,ラベル情報をフル活用して画像表現を洗練するための,絶対相対学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-01-12T12:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。