論文の概要: Interpretable Neural Embeddings with Sparse Self-Representation

• arxiv url: http://arxiv.org/abs/2306.14135v1
• Date: Sun, 25 Jun 2023 05:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 16:31:12.908226
• Title: Interpretable Neural Embeddings with Sparse Self-Representation
• Title（参考訳）: スパース自己表現を用いた解釈可能な神経組込み
• Authors: Minxue Xia and Hao Zhu
• Abstract要約: 既存の単語埋め込みは一般に密接な表現であり、従って潜在次元の意味を解釈することは困難である。 これにより、単語の埋め込みはブラックボックスのようになり、人間が読めるようになり、さらに操作されるのを防ぐ。 本稿では,表現的,解釈可能な単語埋め込みを学習するために,データ自己表現と浅いニューラルネットワークを関連付ける新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 6.969983808566474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability benefits the theoretical understanding of representations. Existing word embeddings are generally dense representations. Hence, the meaning of latent dimensions is difficult to interpret. This makes word embeddings like a black-box and prevents them from being human-readable and further manipulation. Many methods employ sparse representation to learn interpretable word embeddings for better interpretability. However, they also suffer from the unstable issue of grouped selection in $\ell1$ and online dictionary learning. Therefore, they tend to yield different results each time. To alleviate this challenge, we propose a novel method to associate data self-representation with a shallow neural network to learn expressive, interpretable word embeddings. In experiments, we report that the resulting word embeddings achieve comparable and even slightly better interpretability than baseline embeddings. Besides, we also evaluate that our approach performs competitively well on all downstream tasks and outperforms benchmark embeddings on a majority of them.
• Abstract（参考訳）: 解釈性は表現の理論的理解に役立つ。 既存の単語埋め込みは一般に密度の高い表現である。 したがって、潜在次元の意味を解釈することは困難である。 これにより、単語はブラックボックスのように埋め込まれ、人間が読めるようになり、さらに操作できなくなる。 多くの方法は、解釈可能性を高めるために解釈可能な単語埋め込みを学ぶためにスパース表現を用いる。 しかし、彼らは$\ell1$とオンライン辞書学習におけるグループ選択の不安定な問題も抱えている。 そのため、毎回異なる結果が得られる傾向にある。 この課題を緩和するために,データ自己表現と浅いニューラルネットワークを関連付け,表現豊かで解釈可能な単語埋め込みを学習する新しい手法を提案する。 実験では,結果の単語埋め込みは,ベースライン埋め込みよりも同等で,解釈性も若干向上した。 さらに、我々のアプローチは下流のすべてのタスクにおいて競争力に優れており、ベンチマークの埋め込みよりも優れています。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
  単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。 本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
  論文  参考訳（メタデータ） (2023-01-11T20:25:53Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Perturbing Inputs for Fragile Interpretations in Deep Natural Language Processing [18.91129968022831]
  解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。 本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
  論文  参考訳（メタデータ） (2021-08-11T02:07:21Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Can a Fruit Fly Learn Word Embeddings? [16.280120177501733]
  フルーツフライ脳は、神経科学で最も研究されたシステムの1つです。 ネットワークモチーフは単語の意味表現を学習し,静的および文脈依存の単語埋め込みを生成できることを示す。 また,fruit fly networkのモチーフはnlpの既存の手法に匹敵する性能を実現するだけでなく,計算資源のほんの一部しか使用できないことを示した。
  論文  参考訳（メタデータ） (2021-01-18T05:41:50Z)
• Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding [0.0]
  それぞれの次元が、その次元の意味を記述できる人間の理解可能なヒントと結びついているシステムを作成する。 我々はこれらの埋め込みをスパース符号化により構築し、基底集合の各ベクトルはそれ自体がワード埋め込みである。 これらのスパース埋め込みを用いて訓練されたモデルは、優れた性能を達成でき、人的評価を含む実践上より解釈可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-08T19:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。