Fugu-MT 論文翻訳(概要): Discovering Universal Geometry in Embeddings with ICA

論文の概要: Discovering Universal Geometry in Embeddings with ICA

arxiv url: http://arxiv.org/abs/2305.13175v2
Date: Thu, 2 Nov 2023 16:03:33 GMT
ステータス: 処理完了
システム内更新日: 2023-11-03 17:45:10.940904
Title: Discovering Universal Geometry in Embeddings with ICA
Title（参考訳）: ICAを用いた埋め込みにおける普遍幾何学の発見
Authors: Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira
Abstract要約: それぞれの埋め込みは、いくつかの内在的解釈可能な軸の合成として表現できることを示す。埋め込みの幾何学的パターンにおける普遍的意味構造の発見は、埋め込みにおける表現の理解を深める。
参考スコア（独自算出の注目度）: 3.1921092049934647
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study utilizes Independent Component Analysis (ICA) to unveil a consistent semantic structure within embeddings of words or images. Our approach extracts independent semantic components from the embeddings of a pre-trained model by leveraging anisotropic information that remains after the whitening process in Principal Component Analysis (PCA). We demonstrate that each embedding can be expressed as a composition of a few intrinsic interpretable axes and that these semantic axes remain consistent across different languages, algorithms, and modalities. The discovery of a universal semantic structure in the geometric patterns of embeddings enhances our understanding of the representations in embeddings.
Abstract（参考訳）: 本研究では独立成分分析(ICA)を用いて単語や画像の埋め込みにおける一貫した意味構造を明らかにする。本手法は,主成分分析(PCA)における白化処理後に残る異方性情報を活用することにより,事前学習モデルの埋め込みから独立した意味成分を抽出する。それぞれの埋め込みは、いくつかの内在的解釈可能な軸の合成として表現でき、これらの意味的軸は異なる言語、アルゴリズム、モダリティ間で一貫性があることを示す。埋め込みの幾何学的パターンにおける普遍的意味構造の発見は、埋め込みにおける表現の理解を深める。

関連論文リスト

Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
論文参考訳（メタデータ） (2024-10-03T20:51:02Z)
Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
構成性は表現の本質的な次元に反映されていることを示す。また, 構成性と幾何学的複雑性の関係は, 学習した言語的特徴によってもたらされることを示した。
論文参考訳（メタデータ） (2024-10-02T11:54:06Z)
Exploring Intra and Inter-language Consistency in Embeddings with ICA [17.87419386215488]
独立成分分析(ICA)は、独立鍵特徴を識別することによって、より明確な意味軸を生成する。これまでの研究では、ICAが言語全体にわたって普遍的な意味軸を明らかにする可能性を示している。セマンティック軸の整合性は、一つの言語内と複数の言語にまたがる2つの方法で検討した。
論文参考訳（メタデータ） (2024-06-18T10:24:50Z)
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。まず,幾何学的観点から構成構造を理解するための枠組みを提案する。次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文参考訳（メタデータ） (2023-02-28T08:11:56Z)
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文参考訳（メタデータ） (2023-01-22T08:02:23Z)
Invariance-adapted decomposition and Lasso-type contrastive learning [30.974508897223124]
対照的な学習は、データ空間をすべての拡張とその補完に不変な空間に分解することができることを示す。この分解は、citetcontent_isolateで導入されたものを一般化し、群の調和解析における周波数に類似した構造を記述する。
論文参考訳（メタデータ） (2022-10-13T23:30:12Z)
Probing for Constituency Structure in Neural Language Models [11.359403179089817]
我々は、Penn Treebank (PTB)で表される構成構造に焦点をあてる。 4つの事前訓練されたトランスフォーマーLMが,我々の探索作業において高い性能を得ることがわかった。完全な選挙区木をLM表現から線形に分離できることを示す。
論文参考訳（メタデータ） (2022-04-13T07:07:37Z)
Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文参考訳（メタデータ） (2021-09-15T02:26:07Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。