論文の概要: Understanding Higher-Order Correlations Among Semantic Components in Embeddings
- arxiv url: http://arxiv.org/abs/2409.19919v1
- Date: Mon, 30 Sep 2024 03:48:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:04:58.089306
- Title: Understanding Higher-Order Correlations Among Semantic Components in Embeddings
- Title（参考訳）: 埋め込みにおける意味成分の高次相関の理解
- Authors: Momose Oyama, Hiroaki Yamagiwa, Hidetoshi Shimodaira,
- Abstract要約: 独立成分分析(ICA)は、埋め込みの固有の幾何学的構造を意味的要素として解釈する有効な方法である。
ICAが排除できない推定成分間の非依存性を定量化した。
構造全体の可視化は、セマンティックコンポーネントの最大スパンニングツリーを使用して行われた。
- 参考スコア（独自算出の注目度）: 2.8402080392117757
- License:
- Abstract: Independent Component Analysis (ICA) is an effective method for interpreting the intrinsic geometric structure of embeddings as semantic components. While ICA theory assumes that embeddings can be linearly decomposed into independent components, real-world data often do not satisfy this assumption. Consequently, there are remaining non-independencies between the estimated components that ICA cannot eliminate. We quantified these non-independencies using higher-order correlations and demonstrated that when the higher-order correlation between two components is large, it indicates a strong semantic association between them. The entire structure was revealed through visualization using a maximum spanning tree of semantic components. These findings allow for further understanding of embeddings through ICA.
- Abstract（参考訳）: 独立成分分析(ICA)は、埋め込みの固有の幾何学的構造を意味的要素として解釈する有効な方法である。
ICA理論は埋め込みを独立成分に線形に分解できると仮定するが、現実のデータはこの仮定を満たさないことが多い。
その結果、ICAが排除できない推定コンポーネントの間には、非依存が残っている。
我々は高次相関を用いてこれらの非独立性を定量化し、高次相関が大きい場合、それら間の強い意味的関連性を示すことを示した。
構造全体の可視化は、セマンティックコンポーネントの最大スパンニングツリーを使用して行われた。
これらの知見はICAによる埋め込みのさらなる理解を可能にする。
関連論文リスト
- Revisiting Structured Sentiment Analysis as Latent Dependency Graph Parsing [38.27437431585664]
スパンの内部構造は無視されるため、スパンの境界トークンのみが関係予測やスパン認識に使用される。
長いスパンはSSAデータセットのかなりの割合を占めており、内部構造が無視されるという問題をさらに悪化させる。
本稿では,2段階解析手法を提案し,木CRFをアルゴリズム内部に制約を課し,遅延構造を明示的にモデル化する。
論文 参考訳（メタデータ） (2024-07-05T18:18:50Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。
本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。
RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
論文 参考訳（メタデータ） (2023-09-20T08:11:58Z) - Discovering Universal Geometry in Embeddings with ICA [3.1921092049934647]
それぞれの埋め込みは、いくつかの内在的解釈可能な軸の合成として表現できることを示す。
埋め込みの幾何学的パターンにおける普遍的意味構造の発見は、埋め込みにおける表現の理解を深める。
論文 参考訳（メタデータ） (2023-05-22T16:04:44Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Shared Independent Component Analysis for Multi-Subject Neuroimaging [107.29179765643042]
本稿では,ShICA (Shared Independent Component Analysis) を導入し,各ビューを加法ガウス雑音によって汚染された共有独立成分の線形変換としてモデル化する。
このモデルは、成分がガウス的でないか、あるいはノイズ分散に十分な多様性がある場合、同定可能であることを示す。
我々は,fMRIおよびMEGデータセットの実証的証拠として,ShICAが代替品よりも正確な成分推定を行うことを示す。
論文 参考訳（メタデータ） (2021-10-26T08:54:41Z) - Compositional Generalization in Dependency Parsing [15.953482168182003]
しかし、依存性には構成解析ベンチマークがない。
複合分散の増大は依存性性能を低下させるが、意味解析性能ほど劇的ではない。
最も難しい分割において、依存関係の低いパフォーマンスを駆動する多くの構文構造を特定します。
論文 参考訳（メタデータ） (2021-10-13T16:32:24Z) - A Dataset-Level Geometric Framework for Ensemble Classifiers [0.76146285961466]
多数決と重み付けされた多数決は、アンサンブル学習で一般的に使用される2つの組み合わせスキームである。
本稿では,これら2つの組み合わせスキームの特性群を,データセットレベルの幾何学的枠組みの下で正式に提示する。
論文 参考訳（メタデータ） (2021-06-16T09:48:12Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳（メタデータ） (2021-06-08T14:20:07Z) - Linguistic dependencies and statistical dependence [76.89273585568084]
文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。
最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
論文 参考訳（メタデータ） (2021-04-18T02:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。