論文の概要: Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test

• arxiv url: http://arxiv.org/abs/2212.09580v2
• Date: Wed, 4 Sep 2024 09:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:20:22.452846
• Title: Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test
• Title（参考訳）: 自動単語イントルーダテストによる単語埋め込みの独立成分の解釈可能性の検討
• Authors: Tomáš Musil, David Mareček,
• Abstract要約: 独立成分分析(Independent Component Analysis, ICA)は、もともと混合信号中の異なるソースを見つけるために開発されたアルゴリズムである。 ICAは単語の意味的特徴を見つけるのに利用でき、これらの特徴を組み合わせれば、その組み合わせを満たす単語を検索することができる。 コンポーネントの解釈可能性の定量化には、人間と大規模言語モデルの両方で実行される「侵入者テスト」という単語を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Independent Component Analysis (ICA) is an algorithm originally developed for finding separate sources in a mixed signal, such as a recording of multiple people in the same room speaking at the same time. Unlike Principal Component Analysis (PCA), ICA permits the representation of a word as an unstructured set of features, without any particular feature being deemed more significant than the others. In this paper, we used ICA to analyze word embeddings. We have found that ICA can be used to find semantic features of the words, and these features can easily be combined to search for words that satisfy the combination. We show that most of the independent components represent such features. To quantify the interpretability of the components, we use the word intruder test, performed both by humans and by large language models. We propose to use the automated version of the word intruder test as a fast and inexpensive way of quantifying vector interpretability without the need for human effort.
• Abstract（参考訳）: 独立成分分析(Independent Component Analysis, ICA)は、もともと同じ部屋にいる複数の人の録音を同時に行うような、混合信号で別々のソースを見つけるために開発されたアルゴリズムである。 主成分分析(PCA)とは異なり、ICAは単語を非構造的な特徴の集合として表現することを許可する。 本稿では,ICAを用いて単語の埋め込みを分析した。 ICAは単語の意味的特徴を見つけるのに利用でき、これらの特徴を組み合わせれば、その組み合わせを満たす単語を検索することができる。 独立したコンポーネントのほとんどは、このような特徴を表しています。 コンポーネントの解釈可能性の定量化には、人間と大規模言語モデルの両方で実行される「侵入者テスト」という単語を用いる。 本稿では,人的努力を必要とせず,高速かつ安価なベクトル解釈可能性の定量化手法として,単語侵入テストの自動バージョンを提案する。

関連論文リスト

• Exploring Intra and Inter-language Consistency in Embeddings with ICA [17.87419386215488]
  独立成分分析(ICA)は、独立鍵特徴を識別することによって、より明確な意味軸を生成する。 これまでの研究では、ICAが言語全体にわたって普遍的な意味軸を明らかにする可能性を示している。 セマンティック軸の整合性は、一つの言語内と複数の言語にまたがる2つの方法で検討した。
  論文  参考訳（メタデータ） (2024-06-18T10:24:50Z)
• Discovering Universal Geometry in Embeddings with ICA [3.1921092049934647]
  それぞれの埋め込みは、いくつかの内在的解釈可能な軸の合成として表現できることを示す。 埋め込みの幾何学的パターンにおける普遍的意味構造の発見は、埋め込みにおける表現の理解を深める。
  論文  参考訳（メタデータ） (2023-05-22T16:04:44Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Multilingual Irony Detection with Dependency Syntax and Neural Models [61.32653485523036]
  これは構文知識からの貢献に焦点を当て、普遍依存スキームに従って構文が注釈付けされた言語資源を活用する。 その結果, 依存性をベースとした微粒な構文情報は, アイロンの検出に有用であることが示唆された。
  論文  参考訳（メタデータ） (2020-11-11T11:22:05Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms [0.0]
  セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。 まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。 そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
  論文  参考訳（メタデータ） (2020-06-17T14:25:36Z)
• Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
  分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。 ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。 適切な単語の埋め込みを選択することは 複雑な作業です なぜなら、投影された埋め込み空間は 人間にとって直感的ではないからです
  論文  参考訳（メタデータ） (2020-05-08T01:16:03Z)
• Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve [49.878051587667244]
  名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。 文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。 我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
  論文  参考訳（メタデータ） (2020-04-09T14:37:12Z)
• Analyzing autoencoder-based acoustic word embeddings [37.78342106714364]
  音響単語埋め込み(AWEs)は、その音響的特徴を符号化した単語の表現である。 本研究では,6言語でシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルにより学習したAWE空間の基本特性を解析する。 AWEは、人間の音声処理と語彙アクセスに関する様々な研究で報告されたパターンと同様、単語の発症バイアスを示す。
  論文  参考訳（メタデータ） (2020-04-03T16:11:57Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。