論文の概要: Understanding Higher-Order Correlations Among Semantic Components in Embeddings
- arxiv url: http://arxiv.org/abs/2409.19919v2
- Date: Wed, 9 Oct 2024 14:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 16:57:15.409555
- Title: Understanding Higher-Order Correlations Among Semantic Components in Embeddings
- Title（参考訳）: 埋め込みにおける意味成分の高次相関の理解
- Authors: Momose Oyama, Hiroaki Yamagiwa, Hidetoshi Shimodaira,
- Abstract要約: 独立コンポーネント分析(ICA)は、埋め込みの解釈可能なセマンティックコンポーネントを提供する。
我々は高次相関を用いて非独立性を定量化し、それら間の強い意味的関連を実証した。
これらの知見はICAによる埋め込みに関する深い洞察を与える。
- 参考スコア（独自算出の注目度）: 2.8402080392117757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Independent Component Analysis (ICA) offers interpretable semantic components of embeddings. While ICA theory assumes that embeddings can be linearly decomposed into independent components, real-world data often do not satisfy this assumption. Consequently, non-independencies remain between the estimated components, which ICA cannot eliminate. We quantified these non-independencies using higher-order correlations and demonstrated that when the higher-order correlation between two components is large, it indicates a strong semantic association between them, along with many words sharing common meanings with both components. The entire structure of non-independencies was visualized using a maximum spanning tree of semantic components. These findings provide deeper insights into embeddings through ICA.
- Abstract（参考訳）: 独立コンポーネント分析(ICA)は、埋め込みの解釈可能なセマンティックコンポーネントを提供する。
ICA理論は埋め込みを独立成分に線形に分解できると仮定するが、現実のデータはこの仮定を満たさないことが多い。
その結果、非依存はICAが排除できない推定コンポーネントの間に留まる。
我々は,高次相関を用いてこれらの非独立性を定量化し,高次相関が大きい場合,両者の強い意味的関連性を示すとともに,共通意味を両成分と共有する語が多いことを実証した。
非独立性の全体構造は、セマンティックコンポーネントの最大スパンニングツリーを使用して視覚化された。
これらの知見はICAによる埋め込みに関する深い洞察を与える。
関連論文リスト
- Revisiting Structured Sentiment Analysis as Latent Dependency Graph Parsing [38.27437431585664]
スパンの内部構造は無視されるため、スパンの境界トークンのみが関係予測やスパン認識に使用される。
長いスパンはSSAデータセットのかなりの割合を占めており、内部構造が無視されるという問題をさらに悪化させる。
本稿では,2段階解析手法を提案し,木CRFをアルゴリズム内部に制約を課し,遅延構造を明示的にモデル化する。
論文 参考訳（メタデータ） (2024-07-05T18:18:50Z) - Discovering Universal Geometry in Embeddings with ICA [3.1921092049934647]
それぞれの埋め込みは、いくつかの内在的解釈可能な軸の合成として表現できることを示す。
埋め込みの幾何学的パターンにおける普遍的意味構造の発見は、埋め込みにおける表現の理解を深める。
論文 参考訳（メタデータ） (2023-05-22T16:04:44Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Shared Independent Component Analysis for Multi-Subject Neuroimaging [107.29179765643042]
本稿では,ShICA (Shared Independent Component Analysis) を導入し,各ビューを加法ガウス雑音によって汚染された共有独立成分の線形変換としてモデル化する。
このモデルは、成分がガウス的でないか、あるいはノイズ分散に十分な多様性がある場合、同定可能であることを示す。
我々は,fMRIおよびMEGデータセットの実証的証拠として,ShICAが代替品よりも正確な成分推定を行うことを示す。
論文 参考訳（メタデータ） (2021-10-26T08:54:41Z) - Compositional Generalization in Dependency Parsing [15.953482168182003]
しかし、依存性には構成解析ベンチマークがない。
複合分散の増大は依存性性能を低下させるが、意味解析性能ほど劇的ではない。
最も難しい分割において、依存関係の低いパフォーマンスを駆動する多くの構文構造を特定します。
論文 参考訳（メタデータ） (2021-10-13T16:32:24Z) - A Dataset-Level Geometric Framework for Ensemble Classifiers [0.76146285961466]
多数決と重み付けされた多数決は、アンサンブル学習で一般的に使用される2つの組み合わせスキームである。
本稿では,これら2つの組み合わせスキームの特性群を,データセットレベルの幾何学的枠組みの下で正式に提示する。
論文 参考訳（メタデータ） (2021-06-16T09:48:12Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳（メタデータ） (2021-06-08T14:20:07Z) - Linguistic dependencies and statistical dependence [76.89273585568084]
文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。
最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
論文 参考訳（メタデータ） (2021-04-18T02:43:37Z) - Learning to Decouple Relations: Few-Shot Relation Classification with
Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。
一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。
一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
論文 参考訳（メタデータ） (2020-10-21T11:07:53Z) - Hierarchical Human Parsing with Typed Part-Relation Reasoning [179.64978033077222]
このタスクでは、人体構造をモデル化する方法が中心的なテーマである。
深層グラフネットワークの表現能力と階層的人間構造を同時に活用することを模索する。
論文 参考訳（メタデータ） (2020-03-10T16:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。