論文の概要: Interpretable Syntactic Representations Enable Hierarchical Word Vectors

• arxiv url: http://arxiv.org/abs/2411.08384v1
• Date: Wed, 13 Nov 2024 07:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:33.346585
• Title: Interpretable Syntactic Representations Enable Hierarchical Word Vectors
• Title（参考訳）: 階層的な単語ベクトルを可能にする解釈可能な構文表現
• Authors: Biraj Silwal,
• Abstract要約: 現在使われている分散表現は、密度が高く解釈不能である。 本稿では,これらの単語ベクトルを構文表現の縮小に変換する手法を提案する。 結果として得られる表現はコンパクトで解釈可能であり、単語ベクトルのより良い視覚化と比較を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The distributed representations currently used are dense and uninterpretable, leading to interpretations that themselves are relative, overcomplete, and hard to interpret. We propose a method that transforms these word vectors into reduced syntactic representations. The resulting representations are compact and interpretable allowing better visualization and comparison of the word vectors and we successively demonstrate that the drawn interpretations are in line with human judgment. The syntactic representations are then used to create hierarchical word vectors using an incremental learning approach similar to the hierarchical aspect of human learning. As these representations are drawn from pre-trained vectors, the generation process and learning approach are computationally efficient. Most importantly, we find out that syntactic representations provide a plausible interpretation of the vectors and subsequent hierarchical vectors outperform the original vectors in benchmark tests.
• Abstract（参考訳）: 現在使われている分散表現は密度が高く解釈不能であり、それ自体が相対的であり、過剰完全であり、解釈が難しいという解釈に繋がる。 本稿では,これらの単語ベクトルを構文表現の縮小に変換する手法を提案する。 得られた表現はコンパクトで解釈可能であり、単語ベクトルのより良い視覚化と比較を可能にし、描画された解釈が人間の判断と一致していることを順次示す。 構文表現は、人間の学習の階層的な側面に似た漸進的な学習アプローチを用いて、階層的な単語ベクトルを作成するために使用される。 これらの表現は事前訓練されたベクトルから引き出されるので、生成プロセスと学習アプローチは計算的に効率的である。 最も重要なことは、構文表現が、ベンチマークテストにおいて、ベクトルとその後の階層ベクトルのもっともらしい解釈を提供し、元のベクトルよりも優れていることである。

関連論文リスト

• Optimal synthesis embeddings [1.565361244756411]
  単語集合に対する公平な埋め込み表現が満足すべきという直感的な考え方に基づく単語埋め込み合成手法を提案する。 本手法は,文の単純な言語的特徴を捉えることを目的とした探索課題の解法に優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-10T18:06:33Z)
• Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations [4.507860128918788]
  そこで本研究では,具体的シミュレーションによって収集されたエージェント体験を用いて,文脈化された単語ベクトルをオブジェクト表現にグラウンド化する手法を提案する。 類似性学習を用いて、相互作用するオブジェクトの特性に基づいて、異なるオブジェクトタイプの比較を行い、オブジェクトの振る舞いに関連する共通の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-05-23T04:22:00Z)
• An Investigation on Word Embedding Offset Clustering as Relationship Classification [0.0]
  本研究は,一対の単語ベクトル間の関係のベクトル表現を導出する試みである。 我々は6つのプーリング戦略を使ってベクトル関係を表現している。 本研究の目的は,単語の組込みに基づく教師なし手法により,一対の単語で表される関係の性質を識別することである。
  論文  参考訳（メタデータ） (2023-05-07T13:03:17Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection [46.97185212695267]
  本稿では,この基本戦略に従って単語表現を学習する手法を提案する。 我々は、文脈を符号化するワードベクトルの袋ではなく、文脈化された言語モデル(CLM)を利用する。 この単純な戦略は、単語埋め込みや既存のCLMベースの戦略よりも意味的特性をより予測し、高品質な単語ベクトルに繋がることを示す。
  論文  参考訳（メタデータ） (2021-06-15T08:02:42Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Generating Sense Embeddings for Syntactic and Semantic Analogy for Portuguese [0.0]
  我々は、感覚埋め込みを生成する技術を使用し、ポルトガルで実施された最初の実験を提示する。 本実験は,意味的類似タスクにおいて,感覚ベクトルが従来の単語ベクトルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-21T14:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。