論文の概要: Enhancing Interpretability using Human Similarity Judgements to Prune Word Embeddings

• arxiv url: http://arxiv.org/abs/2310.10262v1
• Date: Mon, 16 Oct 2023 10:38:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:06:40.010381
• Title: Enhancing Interpretability using Human Similarity Judgements to Prune Word Embeddings
• Title（参考訳）: 人間の類似性判断による単語埋め込みの解釈性の向上
• Authors: Natalia Flechas Manrique, Wanqian Bao, Aurelie Herbelot, Uri Hasson
• Abstract要約: NLPの解釈可能性メソッドは、特定のシステムアーキテクチャの基礎となるセマンティクスに関する洞察を提供することを目的としている。 本稿では,人間の類似性判断の予測を強く改善するモデル特徴のサブセットを同定する教師付き学習手法を提案する。 本手法は,8つの独立したセマンティックドメインに対して,元の埋め込みの20～40%しか保持していないことを示す。 次に、保持された特徴のセマンティクスを解釈するための2つのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability methods in NLP aim to provide insights into the semantics underlying specific system architectures. Focusing on word embeddings, we present a supervised-learning method that, for a given domain (e.g., sports, professions), identifies a subset of model features that strongly improve prediction of human similarity judgments. We show this method keeps only 20-40% of the original embeddings, for 8 independent semantic domains, and that it retains different feature sets across domains. We then present two approaches for interpreting the semantics of the retained features. The first obtains the scores of the domain words (co-hyponyms) on the first principal component of the retained embeddings, and extracts terms whose co-occurrence with the co-hyponyms tracks these scores' profile. This analysis reveals that humans differentiate e.g. sports based on how gender-inclusive and international they are. The second approach uses the retained sets as variables in a probing task that predicts values along 65 semantically annotated dimensions for a dataset of 535 words. The features retained for professions are best at predicting cognitive, emotional and social dimensions, whereas features retained for fruits or vegetables best predict the gustation (taste) dimension. We discuss implications for alignment between AI systems and human knowledge.
• Abstract（参考訳）: NLPの解釈可能性メソッドは、特定のシステムアーキテクチャの基礎となるセマンティクスに関する洞察を提供することを目的としている。 単語埋め込みに着目し,特定のドメイン(スポーツ,専門職など)に対して,人間の類似性判断の予測を強く改善するモデル特徴のサブセットを同定する教師付き学習手法を提案する。 8つの独立したセマンティックドメインに対して、元の埋め込みの20～40%しか保持せず、ドメイン間で異なる特徴セットを保持することを示す。 次に、保存された機能のセマンティクスを解釈するための2つのアプローチを示す。 第1は、保持された埋め込みの最初の主成分であるドメインワード(コハイポニム)のスコアを取得し、コハイポニムとの共起がこれらのスコアのプロファイルを追跡する用語を抽出する。 この分析は、例えばスポーツを性別と国際性に基づいて区別していることを示している。 第2のアプローチでは、保持された集合を535ワードのデータセットに対して65のセマンティックアノテートされた次元に沿って値を予測する探索タスクの変数として使用する。 職業に残る特徴は認知的、感情的、社会的な次元を予測するのに最適であるが、果物や野菜に残る特徴は味覚(味覚)の次元を予測するのが最善である。 我々は、AIシステムと人間の知識の整合性について論じる。

関連論文リスト

• Identifying and interpreting non-aligned human conceptual representations using language modeling [0.0]
  先天性失明は,a-モダル語と知覚関連言語ドメインの両方において概念的再編成を引き起こすことを示す。 視覚障害者は、より強く社会的・認知的な意味と、行動に関連する動詞を関連づける。 一部の動詞では、盲目と盲目の表現は非常に似ている。
  論文  参考訳（メタデータ） (2024-03-10T13:02:27Z)
• Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language [65.268245109828]
  電子辞書から抽出した言語情報と語彙情報に富んだ分布意味資源を提案する。 リソースは21のドメイン固有の行列と1つの包括的なマトリックスとグラフィカルユーザインタフェースから構成される。 本モデルは,具体的概念知識に直接関連した行列を選択することにより,概念の意味的記述の推論を容易にする。
  論文  参考訳（メタデータ） (2024-02-26T15:04:35Z)
• Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings [17.803726860514193]
  単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。 意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。 対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:58:21Z)
• Semantic Human Parsing via Scalable Semantic Transfer over Multiple Label Domains [25.083197183341007]
  本稿では,強力な人間構文解析ネットワークを学習するための新しい訓練パラダイムを提案する。 2つの一般的なアプリケーションシナリオが対処され、ユニバーサルパースと専用パースと呼ばれる。 実験により、SSTは有望な普遍的パーシング性能を効果的に達成できることを示した。
  論文  参考訳（メタデータ） (2023-04-09T02:44:29Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms [0.0]
  セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。 まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。 そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
  論文  参考訳（メタデータ） (2020-06-17T14:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。