論文の概要: Knowledge Graph Guided Semantic Evaluation of Language Models For User Trust

• arxiv url: http://arxiv.org/abs/2305.04989v1
• Date: Mon, 8 May 2023 18:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 14:41:38.870866
• Title: Knowledge Graph Guided Semantic Evaluation of Language Models For User Trust
• Title（参考訳）: ユーザ信頼のための知識グラフによる言語モデルのセマンティック評価
• Authors: Kaushik Roy, Tarun Garg, Vedant Palit, Yuxin Zi, Vignesh Narayanan, Amit Sheth
• Abstract要約: 本研究では、明示的な知識グラフ構造を利用して、自己注意変換器の符号化意味性を評価する。 言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。
• 参考スコア（独自算出の注目度）: 7.063958622970576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental question in natural language processing is - what kind of language structure and semantics is the language model capturing? Graph formats such as knowledge graphs are easy to evaluate as they explicitly express language semantics and structure. This study evaluates the semantics encoded in the self-attention transformers by leveraging explicit knowledge graph structures. We propose novel metrics to measure the reconstruction error when providing graph path sequences from a knowledge graph and trying to reproduce/reconstruct the same from the outputs of the self-attention transformer models. The opacity of language models has an immense bearing on societal issues of trust and explainable decision outcomes. Our findings suggest that language models are models of stochastic control processes for plausible language pattern generation. However, they do not ascribe object and concept-level meaning and semantics to the learned stochastic patterns such as those described in knowledge graphs. Furthermore, to enable robust evaluation of concept understanding by language models, we construct and make public an augmented language understanding benchmark built on the General Language Understanding Evaluation (GLUE) benchmark. This has significant application-level user trust implications as stochastic patterns without a strong sense of meaning cannot be trusted in high-stakes applications.
• Abstract（参考訳）: 自然言語処理における基本的な質問は、言語モデルが捉えている言語構造とセマンティクスである。 知識グラフのようなグラフ形式は、言語のセマンティクスと構造を明示的に表現するため、簡単に評価できる。 本研究では, 明示的なナレッジグラフ構造を用いて, 自己着脱トランスフォーマーに符号化された意味論を評価する。 本稿では,ナレッジグラフからグラフパスシーケンスを提供し,自己着脱変圧器モデルの出力からそれを再現・再構成しようとする場合の再構成誤差を測定するための新しい指標を提案する。 言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。 以上より,言語モデルは確率的制御過程のモデルであることが示唆された。 しかし、オブジェクトや概念レベルの意味や意味を知識グラフに記述されたような学習された確率的パターンには記述しない。 さらに,言語モデルによる概念理解の堅牢な評価を可能にするため,汎用言語理解評価(GLUE)ベンチマーク上に構築された拡張言語理解ベンチマークを構築し,公開する。 これは、強い意味感覚のない確率的パターンとして、アプリケーションレベルのユーザ信頼が、高信頼のアプリケーションでは信頼できない、という重要な意味を持っている。

関連論文リスト

• ImpScore: A Learnable Metric For Quantifying The Implicitness Level of Language [40.4052848203136]
  インプシット言語は, 自然言語処理システムにおいて, 正確なテキスト理解を実現し, ユーザとの自然な対話を促進するために不可欠である。 本稿では,外部参照に頼ることなく,言語の暗黙度を定量化するスカラー計量を開発した。 ImpScoreは、12,580$(単純文、明示文)のペアからなる特別なキュレートされたデータセットに対して、ペアのコントラスト学習を使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-11-07T20:23:29Z)
• CodeKGC: Code Language Model for Generative Knowledge Graph Construction [46.220237225553234]
  コードのような構造化データに基づいて訓練された大規模な生成言語モデルは、構造予測や推論タスクのために自然言語を理解する素晴らしい能力を示してきた。 知識グラフ内の意味構造を効果的に活用するスキーマ対応プロンプトを開発した。 実験結果から,提案手法はベースラインと比較してベンチマークデータセットの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-18T15:12:34Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
  本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。 本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-01T07:48:03Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。