論文の概要: A Matter of Framing: The Impact of Linguistic Formalism on Probing Results

• arxiv url: http://arxiv.org/abs/2004.14999v1
• Date: Thu, 30 Apr 2020 17:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:42:22.954990
• Title: A Matter of Framing: The Impact of Linguistic Formalism on Probing Results
• Title（参考訳）: フレーミングの問題:言語形式主義が調査結果に及ぼす影響
• Authors: Ilia Kuznetsov, Iryna Gurevych
• Abstract要約: BERT (Delvin et al.) のような事前訓練されたコンテキスト化エンコーダは、下流タスクで顕著なパフォーマンスを示す。 調査における最近の研究は、事前学習中にこれらのモデルによって暗黙的に学習された言語知識について調査している。 形式主義の選択は調査結果に影響を及ぼすか? BERTによる意味的役割情報とプロトロール情報のエンコーディングにおける言語学的意義の相違は,形式主義に依存している。
• 参考スコア（独自算出の注目度）: 69.36678873492373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep pre-trained contextualized encoders like BERT (Delvin et al., 2019) demonstrate remarkable performance on a range of downstream tasks. A recent line of research in probing investigates the linguistic knowledge implicitly learned by these models during pre-training. While most work in probing operates on the task level, linguistic tasks are rarely uniform and can be represented in a variety of formalisms. Any linguistics-based probing study thereby inevitably commits to the formalism used to annotate the underlying data. Can the choice of formalism affect probing results? To investigate, we conduct an in-depth cross-formalism layer probing study in role semantics. We find linguistically meaningful differences in the encoding of semantic role- and proto-role information by BERT depending on the formalism and demonstrate that layer probing can detect subtle differences between the implementations of the same linguistic formalism. Our results suggest that linguistic formalism is an important dimension in probing studies, along with the commonly used cross-task and cross-lingual experimental settings.
• Abstract（参考訳）: BERT(Delvin et al., 2019)のような、事前訓練されたコンテキスト化されたエンコーダは、下流のタスクで顕著なパフォーマンスを示している。 最近の研究は、事前学習中にこれらのモデルによって暗黙的に学習された言語知識を調査している。 探索の作業の多くはタスクレベルで行われるが、言語的タスクはまれに均一であり、様々な形式主義で表される。 言語学に基づく調査研究は、必然的に基礎となるデータを注釈する形式主義にコミットする。 形式主義の選択は調査結果に影響を与えるか? 本研究は,ロールセマンティクスにおける詳細なクロスフォルマリズム層調査を行う。 我々は、bertによる意味的役割とプロト・ロール情報のエンコーディングにおける言語学的に有意義な違いを見いだし、同じ言語的形式化の実装間の微妙な違いを層探索によって検出できることを実証する。 以上より,言語形式論は,一般的に用いられるクロスタスクとクロスリンガルの実験的設定とともに,調査研究において重要な要素であることが示唆された。

関連論文リスト

• What does BERT learn about prosody? [1.1548853370822343]
  モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。 以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2023-04-25T10:34:56Z)
• Transfer Learning of Lexical Semantic Families for Argumentative Discourse Units Identification [0.8508198765617198]
  引数マイニングのタスクは、低から高の複雑さの言語現象と常識知識のインフォームドレンジを必要とする。 これまでの研究では、事前学習された言語モデルは、構文的および意味論的言語現象を符号化するのに非常に効果的であることが示されている。 既存のトレーニング済み言語モデルが、引数マイニングタスクの複雑さをどの程度含んでいるかは、依然として問題である。
  論文  参考訳（メタデータ） (2022-09-06T13:38:47Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。