論文の概要: Mechanistic Decomposition of Sentence Representations

• arxiv url: http://arxiv.org/abs/2506.04373v2
• Date: Tue, 10 Jun 2025 17:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 12:52:34.263752
• Title: Mechanistic Decomposition of Sentence Representations
• Title（参考訳）: 文表現の機械的分解
• Authors: Matthieu Tehenan, Vikram Natarajan, Jonathan Michala, Milton Lin, Juri Opitz,
• Abstract要約: 文の埋め込みは現代のNLPとAIシステムの中心であるが、内部構造についてはほとんど知られていない。 文の埋め込みを解釈可能なコンポーネントに機械的に分解する新しい手法を提案する。 我々は,これらの特徴を文表現に圧縮する方法を解析し,文埋め込みに存在する潜在的特徴を評価する。
• 参考スコア（独自算出の注目度）: 3.9146761527401432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence embeddings are central to modern NLP and AI systems, yet little is known about their internal structure. While we can compare these embeddings using measures such as cosine similarity, the contributing features are not human-interpretable, and the content of an embedding seems untraceable, as it is masked by complex neural transformations and a final pooling operation that combines individual token embeddings. To alleviate this issue, we propose a new method to mechanistically decompose sentence embeddings into interpretable components, by using dictionary learning on token-level representations. We analyze how pooling compresses these features into sentence representations, and assess the latent features that reside in a sentence embedding. This bridges token-level mechanistic interpretability with sentence-level analysis, making for more transparent and controllable representations. In our studies, we obtain several interesting insights into the inner workings of sentence embedding spaces, for instance, that many semantic and syntactic aspects are linearly encoded in the embeddings.
• Abstract（参考訳）: 文の埋め込みは現代のNLPとAIシステムの中心であるが、内部構造についてはほとんど知られていない。 これらの埋め込みをコサイン類似性などの尺度を用いて比較することはできるが、寄与する特徴は人間の解釈不可能であり、埋め込みの内容は複雑なニューラルネットワーク変換と個々のトークン埋め込みを組み合わせた最終的なプール操作によって隠蔽されるため、追跡不能であるように見える。 そこで本稿では,トークンレベルの表現に関する辞書学習を用いて,文の埋め込みを解釈可能なコンポーネントに機械的に分解する手法を提案する。 我々は,これらの特徴を文表現に圧縮する方法を解析し,文埋め込みに存在する潜在的特徴を評価する。 これはトークンレベルの機械的解釈可能性と文レベルの分析を橋渡しし、より透明で制御可能な表現を可能にします。 本研究では, 文埋め込み空間の内部構造, 例えば, 意味的側面や構文的側面の多くが, 埋め込み空間に線形にエンコードされているという興味深い知見を得た。

関連論文リスト

• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences [69.3939291118954]
  本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。 その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。 一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
  論文  参考訳（メタデータ） (2021-10-02T00:47:35Z)
• Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
  文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。 このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
  論文  参考訳（メタデータ） (2021-04-15T16:30:31Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。