論文の概要: Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach

• arxiv url: http://arxiv.org/abs/2105.02629v1
• Date: Thu, 6 May 2021 13:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 13:30:03.589153
• Title: Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach
• Title（参考訳）: bird's eye: 単純な情報理論による言語グラフ構造の探索
• Authors: Yifan Hou and Mrinmaya Sachan
• Abstract要約: 本研究では,言語グラフに表現がエンコードされているかどうかを検知する新しい情報理論プローブ,Bird's Eyeを提案する。 また,本研究では,摂動解析を用いて言語グラフの局所言語情報を調べる手法を提案する。
• 参考スコア（独自算出の注目度）: 23.66191446048298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP has a rich history of representing our prior understanding of language in the form of graphs. Recent work on analyzing contextualized text representations has focused on hand-designed probe models to understand how and to what extent do these representations encode a particular linguistic phenomenon. However, due to the inter-dependence of various phenomena and randomness of training probe models, detecting how these representations encode the rich information in these linguistic graphs remains a challenging problem. In this paper, we propose a new information-theoretic probe, Bird's Eye, which is a fairly simple probe method for detecting if and how these representations encode the information in these linguistic graphs. Instead of using classifier performance, our probe takes an information-theoretic view of probing and estimates the mutual information between the linguistic graph embedded in a continuous space and the contextualized word representations. Furthermore, we also propose an approach to use our probe to investigate localized linguistic information in the linguistic graphs using perturbation analysis. We call this probing setup Worm's Eye. Using these probes, we analyze BERT models on their ability to encode a syntactic and a semantic graph structure, and find that these models encode to some degree both syntactic as well as semantic information; albeit syntactic information to a greater extent.
• Abstract（参考訳）: NLPには、グラフの形での言語に対するこれまでの理解を表す、豊富な歴史がある。 文脈化されたテキスト表現の分析に関する最近の研究は、特定の言語現象をエンコードする程度や程度を理解するために手作りのプローブモデルに焦点を当てている。 しかし、様々な現象の相互依存性と訓練プローブモデルのランダム性により、これらの表現がこれらの言語グラフのリッチな情報をエンコードする方法を検出することは難しい問題である。 本稿では,これらの表現がこれらの言語グラフにどのように情報をエンコードしているかを,比較的単純なプローブ手法である鳥眼を提案する。 本研究は,分類器の性能を利用する代わりに,連続空間に埋め込まれた言語グラフと文脈化された単語表現との間の相互情報の探索と推定を行う。 さらに,摂動解析を用いて言語グラフの局所的言語情報を調べる手法を提案する。 この装置をワームの目と呼んでいます これらのプローブを用いて、bertモデルを用いて構文と意味グラフ構造をエンコードする能力を分析し、これらのモデルが構文と意味情報の両方をある程度エンコードしていることを見出した。

関連論文リスト

• When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
  本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。 このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。 研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
  論文  参考訳（メタデータ） (2023-12-16T08:14:11Z)
• Semantic Parsing for Question Answering over Knowledge Graphs [3.10647754288788]
  本稿では,知識グラフ上での質問応答のためのグラフ・ツー・セグメンテーション・マッピングを用いた新しい手法を提案する。 この手法は、これらの発話を解釈するための重要なアプローチである意味解析に焦点を当てている。 我々のフレームワークはルールベースとニューラルベースを組み合わせて意味セグメントのシーケンスを解析・構築する。
  論文  参考訳（メタデータ） (2023-12-01T20:45:06Z)
• Logographic Information Aids Learning Better Representations for Natural Language Inference [3.677231059555795]
  本稿では,より優れた意味表現を学習する上で,言語モデルにログ情報を提供することのメリットを探求する新しい研究を提案する。 6つの言語で評価した結果,ロゴグラフシステムを持つ言語にマルチモーダル埋め込みを組み込むことによる大きなメリットが示唆された。
  論文  参考訳（メタデータ） (2022-11-03T20:40:14Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
  本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。 本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-01T07:48:03Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。