論文の概要: Latent Topology Induction for Understanding Contextualized Representations

• arxiv url: http://arxiv.org/abs/2206.01512v1
• Date: Fri, 3 Jun 2022 11:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 20:40:20.575729
• Title: Latent Topology Induction for Understanding Contextualized Representations
• Title（参考訳）: 文脈表現理解のための潜在トポロジー誘導
• Authors: Yao Fu and Mirella Lapata
• Abstract要約: 本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
• 参考スコア（独自算出の注目度）: 84.7918739062235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we study the representation space of contextualized embeddings and gain insight into the hidden topology of large language models. We show there exists a network of latent states that summarize linguistic properties of contextualized representations. Instead of seeking alignments to existing well-defined annotations, we infer this latent network in a fully unsupervised way using a structured variational autoencoder. The induced states not only serve as anchors that mark the topology (neighbors and connectivity) of the representation manifold but also reveal the internal mechanism of encoding sentences. With the induced network, we: (1). decompose the representation space into a spectrum of latent states which encode fine-grained word meanings with lexical, morphological, syntactic and semantic information; (2). show state-state transitions encode rich phrase constructions and serve as the backbones of the latent space. Putting the two together, we show that sentences are represented as a traversal over the latent network where state-state transition chains encode syntactic templates and state-word emissions fill in the content. We demonstrate these insights with extensive experiments and visualizations.
• Abstract（参考訳）: 本研究では,コンテキスト化埋め込みの表現空間を研究し,大規模言語モデルの隠れたトポロジーについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。 既存のよく定義されたアノテーションにアライメントを求める代わりに、構造化変分オートエンコーダを使用して、完全に教師なしの方法でこの潜在ネットワークを推測します。 誘導状態は表現多様体のトポロジー(近さと接続性)を示すアンカーとして機能するだけでなく、文を符号化する内部機構も明らかにする。 誘導ネットワークでは、(1)。 表現空間を、語彙的、形態的、構文的、意味的情報できめ細かい単語の意味をエンコードする潜伏状態のスペクトルに分解する。(2) 状態遷移はリッチな句構成をエンコードし、潜在空間のバックボーンとして機能する。 これら2つをまとめると、文は、状態遷移チェーンが構文テンプレートをコードし、ステートワードのエミッションがコンテンツを満たす潜在ネットワーク上のトラバースとして表現されることを示す。 これらの知見を広範な実験と可視化で実証する。

関連論文リスト

• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Unifying Latent and Lexicon Representations for Effective Video-Text Retrieval [87.69394953339238]
  ビデオテキスト検索における微細な意味を捉えるために語彙表現を学習するUNIFYフレームワークを提案する。 MSR-VTT と DiDeMo をそれぞれ4.8%,Recall@1 を8.2%改善した。
  論文  参考訳（メタデータ） (2024-02-26T17:36:50Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Semantic Representation and Inference for NLP [2.969705152497174]
  この論文は、新しい意味表現と推論のための深層学習の利用について考察する。 我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。 語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
  論文  参考訳（メタデータ） (2021-06-15T13:22:48Z)
• A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution [3.5991811164452923]
  文の構造表現を学習するための自己教師型フレームワークを提案する。 本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
  論文  参考訳（メタデータ） (2020-10-14T02:57:10Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Semantic Holism and Word Representations in Artificial Neural Networks [0.0]
  単語2vecモデルのSkip-gram変種からの単語表現は興味深い意味的特性を示す。 これは通常、一般分布仮説を参照して説明される。 本稿では,フレーゲの包括的,機能的アプローチに基づく,より具体的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-11T21:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。