Fugu-MT 論文翻訳(概要): Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings

論文の概要: Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings

arxiv url: http://arxiv.org/abs/2406.10984v3
Date: Tue, 17 Dec 2024 08:03:38 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-18 13:55:33.107769
Title: Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings
Title（参考訳）: 正常化ICA変換インプラントによるコサイン類似性の再検討
Authors: Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira,
Abstract要約: コサイン類似度は、2つの埋め込みの類似度を測定するために広く用いられている。本稿では,コサイン類似性の新たな解釈を,軸上の意味的類似性の和として提案する。
参考スコア（独自算出の注目度）: 2.8402080392117757
License:
Abstract: Cosine similarity is widely used to measure the similarity between two embeddings, while interpretations based on angle and correlation coefficient are common. In this study, we focus on the interpretable axes of embeddings transformed by Independent Component Analysis (ICA), and propose a novel interpretation of cosine similarity as the sum of semantic similarities over axes. The normalized ICA-transformed embeddings exhibit sparsity, enhancing the interpretability of each axis, and the semantic similarity defined by the product of the components represents the shared meaning between the two embeddings along each axis. The effectiveness of this approach is demonstrated through intuitive numerical examples and thorough numerical experiments. By deriving the probability distributions that govern each component and the product of components, we propose a method for selecting statistically significant axes.
Abstract（参考訳）: コサイン類似度は2つの埋め込みの類似度を測定するために広く用いられ、角度と相関係数に基づく解釈は一般的である。本研究では,独立成分分析(ICA)によって変換された埋め込みの解釈可能な軸に着目し,軸上の意味的類似性の和としてコサイン類似性の新たな解釈を提案する。正規化ICA変換埋め込みは各軸の解釈可能性を高め、成分の積によって定義される意味的類似性は、各軸に沿った2つの埋め込み間の共有意味を表す。この手法の有効性は直感的な数値例と徹底的な数値実験によって実証される。それぞれの成分と成分の積を管理する確率分布を導出することにより,統計的に有意な軸を選択する方法を提案する。

関連論文リスト

Is Cosine-Similarity of Embeddings Really About Similarity? [46.75365717794515]
コサイン相似性(Cosine-similarity)は、2つのベクトル間の角度のコサイン、すなわちそれらの正規化の間のドット積である。正規化線形モデルから導かれる埋め込みについて検討し、そこでは閉形式解が解析的洞察を促進する。我々はコサイン相似性が任意の、したがって無意味な類似性をもたらすか分析的に導出する」。
論文参考訳（メタデータ） (2024-03-08T16:48:20Z)
Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文参考訳（メタデータ） (2024-01-10T02:38:21Z)
Duality of Bures and Shape Distances with Implications for Comparing Neural Representations [6.698235069945606]
ニューラルネットワーク表現間の複数の類似度尺度が提案され、その結果、断片化された研究ランドスケープが生み出された。第一に、線形回帰、正準相関解析(CCA)、形状距離などの尺度は、全て類似性を定量化するために神経ユニット間の明示的なマッピングを学習する。第二に、表現類似性分析(RSA)、中心核アライメント(CKA)、正規化されたバーズ類似性(NBS)といった尺度は、すべて要約統計において類似性を定量化する。
論文参考訳（メタデータ） (2023-11-19T22:17:09Z)
Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文参考訳（メタデータ） (2023-05-19T08:22:23Z)
On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。不変性はデータの変換におけるモデル予測の一貫性を測定する。データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文参考訳（メタデータ） (2022-07-14T17:08:25Z)
Relating an entanglement measure with statistical correlators for two-qudit mixed states using only a pair of complementary observables [0.0]
本研究では,2量子混合状態に対する様々な統計相関器を用いた高次元バイパートイト状態の絡み合いのキャラクタリゼーションに着目する。ネガティビティと統計相関子を結びつける関係は、蒸留可能な絡み合いの領域におけるそのようなホロデッキー状態に対して導かれる。
論文参考訳（メタデータ） (2022-01-17T02:58:36Z)
Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文参考訳（メタデータ） (2021-09-15T02:26:07Z)
Disentanglement Analysis with Partial Information Decomposition [31.56299813238937]
不整合表現は、異なる生成因子を個別にキャプチャする複数のランダム変数にデータをマッピングすることで、プロセスを逆転させることを目的としている。現在の遠絡測定値は、各生成因子によって条件付けられた各変数の絶対偏差、分散、エントロピーなどの濃度を測定するように設計されている。本研究では,2つ以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,新しいアンタングル化指標を含むフレームワークを構築する。
論文参考訳（メタデータ） (2021-08-31T11:09:40Z)
Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。注意点の変動の大部分は低次元固有空間にあることがわかった。トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
論文参考訳（メタデータ） (2021-06-16T14:38:42Z)
Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文参考訳（メタデータ） (2020-07-25T08:54:26Z)
Bias-corrected estimator for intrinsic dimension and differential entropy--a visual multiscale approach [0.0]
本稿では,本論文の系統的偏りを含む固有および微分エントロピー推定器について検討する。これら2つの基本尺度の結合推定とバイアス補正のための実用的手法を提案する。両推定器は一つのアプローチの相補的な部分であり、微分エントロピーと内在次元の同時推定は互いに意味を持つことが示されている。
論文参考訳（メタデータ） (2020-04-30T00:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。