Fugu-MT 論文翻訳(概要): Discovering Universal Geometry in Embeddings with ICA

論文の概要: Discovering Universal Geometry in Embeddings with ICA

arxiv url: http://arxiv.org/abs/2305.13175v1
Date: Mon, 22 May 2023 16:04:44 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 14:37:27.362111
Title: Discovering Universal Geometry in Embeddings with ICA
Title（参考訳）: ICAを用いた埋め込みにおける普遍幾何学の発見
Authors: Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira
Abstract要約: 本研究では,単語や画像の埋め込みの普遍的性質を明らかにするために,独立成分分析(ICA)を用いる。 ICAは、埋め込みの独立した意味成分を抽出し、各埋め込みを固有の解釈可能な軸の合成として表現することができる。
参考スコア（独自算出の注目度）: 6.5637745527678115
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study employs Independent Component Analysis (ICA) to uncover universal properties of embeddings of words or images. Our approach extracts independent semantic components of embeddings, enabling each embedding to be represented as a composition of intrinsic interpretable axes. We demonstrate that embeddings can be expressed as a combination of a few axes and that these semantic axes are consistent across different languages, modalities, and embedding algorithms. This discovery of universal properties in embeddings contributes to model interpretability, potentially facilitating the development of highly interpretable models and the compression of large-scale models.
Abstract（参考訳）: 本研究では独立成分分析(ICA)を用いて,単語や画像の埋め込みの普遍的性質を明らかにする。本手法では,埋め込みの独立した意味成分を抽出し,各埋め込みを内在的解釈可能な軸の合成として表現する。埋め込みはいくつかの軸の組み合わせとして表現でき、これらの意味軸は異なる言語、モダリティ、埋め込みアルゴリズム間で一貫性があることを実証する。この埋め込みにおける普遍的性質の発見はモデル解釈可能性に寄与し、高解釈可能なモデルの開発と大規模モデルの圧縮を促進する可能性がある。

関連論文リスト

Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
論文参考訳（メタデータ） (2024-10-03T20:51:02Z)
Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
構成性は表現の本質的な次元に反映されていることを示す。また, 構成性と幾何学的複雑性の関係は, 学習した言語的特徴によってもたらされることを示した。
論文参考訳（メタデータ） (2024-10-02T11:54:06Z)
Exploring Intra and Inter-language Consistency in Embeddings with ICA [17.87419386215488]
独立成分分析(ICA)は、独立鍵特徴を識別することによって、より明確な意味軸を生成する。これまでの研究では、ICAが言語全体にわたって普遍的な意味軸を明らかにする可能性を示している。セマンティック軸の整合性は、一つの言語内と複数の言語にまたがる2つの方法で検討した。
論文参考訳（メタデータ） (2024-06-18T10:24:50Z)
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。まず,幾何学的観点から構成構造を理解するための枠組みを提案する。次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文参考訳（メタデータ） (2023-02-28T08:11:56Z)
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文参考訳（メタデータ） (2023-01-22T08:02:23Z)
Invariance-adapted decomposition and Lasso-type contrastive learning [30.974508897223124]
対照的な学習は、データ空間をすべての拡張とその補完に不変な空間に分解することができることを示す。この分解は、citetcontent_isolateで導入されたものを一般化し、群の調和解析における周波数に類似した構造を記述する。
論文参考訳（メタデータ） (2022-10-13T23:30:12Z)
Probing for Constituency Structure in Neural Language Models [11.359403179089817]
我々は、Penn Treebank (PTB)で表される構成構造に焦点をあてる。 4つの事前訓練されたトランスフォーマーLMが,我々の探索作業において高い性能を得ることがわかった。完全な選挙区木をLM表現から線形に分離できることを示す。
論文参考訳（メタデータ） (2022-04-13T07:07:37Z)
Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文参考訳（メタデータ） (2021-09-15T02:26:07Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。