論文の概要: Inspecting the concept knowledge graph encoded by modern language models

• arxiv url: http://arxiv.org/abs/2105.13471v1
• Date: Thu, 27 May 2021 22:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 23:26:07.912568
• Title: Inspecting the concept knowledge graph encoded by modern language models
• Title（参考訳）: 現代言語モデルで符号化された概念知識グラフの検査
• Authors: Carlos Aspillaga, Marcelo Mendoza, Alvaro Soto
• Abstract要約: 我々は過去9つの最も影響力のある言語モデルによって符号化された基礎知識について研究する。 我々の結果は、全てのモデルがこの知識を符号化しているが、いくつかの不正確さに悩まされていることを示している。 我々は、ある概念がなぜ難しいのかを説明する特定の要因を発見するために、体系的な評価を行う。
• 参考スコア（独自算出の注目度）: 5.2117321443066364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of natural language understanding has experienced exponential progress in the last few years, with impressive results in several tasks. This success has motivated researchers to study the underlying knowledge encoded by these models. Despite this, attempts to understand their semantic capabilities have not been successful, often leading to non-conclusive, or contradictory conclusions among different works. Via a probing classifier, we extract the underlying knowledge graph of nine of the most influential language models of the last years, including word embeddings, text generators, and context encoders. This probe is based on concept relatedness, grounded on WordNet. Our results reveal that all the models encode this knowledge, but suffer from several inaccuracies. Furthermore, we show that the different architectures and training strategies lead to different model biases. We conduct a systematic evaluation to discover specific factors that explain why some concepts are challenging. We hope our insights will motivate the development of models that capture concepts more precisely.
• Abstract（参考訳）: 自然言語理解の分野はここ数年で指数関数的に進歩し、いくつかのタスクで印象的な結果が得られた。 この成功は、研究者がこれらのモデルによって符号化された基礎知識を研究する動機となった。 それにもかかわらず、それらの意味的能力を理解する試みは成功せず、しばしば異なる作品の間で非決定的あるいは矛盾する結論に至る。 探索型分類器を用いて,単語埋め込み,テキスト生成,コンテキストエンコーダなど,過去9年間で最も影響力のある言語モデルの知識グラフを抽出する。 このプローブはWordNetに基づく概念関連性に基づいている。 その結果、すべてのモデルがこの知識をエンコードしているが、いくつかの不正確さに苦しむことが明らかとなった。 さらに,異なるアーキテクチャとトレーニング戦略が異なるモデルバイアスをもたらすことを示す。 我々は、ある概念がなぜ難しいのかを説明する特定の要因を発見するために、体系的な評価を行う。 私たちの洞察が、概念をより正確に捉えるモデルの開発を動機付けることを期待しています。

関連論文リスト

• Compositional Generalization with Grounded Language Models [9.96679221246835]
  基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。 本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
  論文  参考訳（メタデータ） (2024-06-07T14:56:51Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• CommonsenseVIS: Visualizing and Understanding Commonsense Reasoning Capabilities of Natural Language Models [30.63276809199399]
  本稿では,外部コモンセンス知識ベースを用いた視覚的説明システムであるCommonsenseVISについて述べる。 本システムでは,異なる概念とその基盤となる関係について,多段階の可視化とインタラクティブなモデル探索と編集を行う。
  論文  参考訳（メタデータ） (2023-07-23T17:16:13Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph [124.45799297285083]
  知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
  論文  参考訳（メタデータ） (2020-09-24T13:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。