論文の概要: Universal Dependencies according to BERT: both more specific and more general

• arxiv url: http://arxiv.org/abs/2004.14620v3
• Date: Tue, 6 Oct 2020 10:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:16:59.784538
• Title: Universal Dependencies according to BERT: both more specific and more general
• Title（参考訳）: BERTによるユニバーサル依存関係:より具体的でより一般的なもの
• Authors: Tomasz Limisiewicz and Rudolf Rosa and David Mare\v{c}ek
• Abstract要約: 本研究は,自己意図からラベル付き依存木を抽出することにより,BERTが捉えた構文抽象の形式と範囲を分析することに焦点を当てる。 BERTとUD(Universal Dependencies)アノテーションを明示的に比較することにより,これらの知見を拡張し,一対一で一致しないことが多いことを示す。 このアプローチは,従来の作業よりもはるかに一貫性のある依存性ツリーを生成し,BERTの構文的抽象化をよりうまく説明できることを示す。
• 参考スコア（独自算出の注目度）: 4.63257209402195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions. Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one. We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.
• Abstract（参考訳）: 本研究は,自己意図からラベル付き依存木を抽出することにより,BERTが捉えた構文抽象の形式と範囲を分析することに焦点を当てる。 以前の研究では、個々のBERTヘッドが特定の依存関係関係型をエンコードする傾向があった。 BERTとUD(Universal Dependencies)アノテーションを明示的に比較することにより,これらの知見を拡張し,一対一で一致しないことが多いことを示す。 関係の同定と構文木構築の手法を提案する。 私たちのアプローチは、以前の作業よりもはるかに一貫性のある依存関係ツリーを生成します。 同時に、最小限の監督だけでうまく適用でき、言語をまたいでうまく一般化することができる。

関連論文リスト

• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)
• Data Augmentation for Machine Translation via Dependency Subtree Swapping [0.0]
  依存関係のサブツリースワップによるデータ拡張のための汎用フレームワークを提案する。 我々は、ソースとターゲット文の依存関係解析木から対応するサブツリーを抽出し、ビセントスに置換して拡張サンプルを作成する。 我々は,IWSLTテキスト翻訳データセットとHunglish2コーパスを用いて,両方向の4つの言語対に関する資源制約実験を行った。
  論文  参考訳（メタデータ） (2023-07-13T19:00:26Z)
• Relation-Specific Attentions over Entity Mentions for Enhanced Document-Level Relation Extraction [4.685620089585031]
  本稿では,候補関係に関して,異なるエンティティの言及に対して選択的に注目するRSMANを提案する。 2つのベンチマークデータセットによる実験により、RSMANはいくつかのバックボーンモデルに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-28T10:40:31Z)
• TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
  TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。 事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。 5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
  論文  参考訳（メタデータ） (2022-05-25T08:57:46Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Entity Relation Extraction as Dependency Parsing in Visually Rich Documents [18.67730663266417]
  一般的な依存性解析モデルであるbiaffineを,このエンティティ関係抽出タスクに適用する。 単語間の依存関係関係を認識する依存性解析モデルとは異なることから,単語群間の関係をレイアウト情報で識別する。 実世界のアプリケーションについては、本モデルが社内の税関データに適用され、プロダクション環境で信頼性の高い性能を実現している。
  論文  参考訳（メタデータ） (2021-10-19T12:26:40Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)
• Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings [2.88848244747161]
  遠隔制御型変換器を用いたRE法であるREDSandTを提案する。 BERTの事前学習モデルとラベルとエンティティの関係をそれぞれ活用する。 NYT-10データセットの実験によると、REDSandTは信頼性の高いより広い関係をキャプチャする。
  論文  参考訳（メタデータ） (2021-02-01T20:50:24Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
  我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。 最悪の制約違反率は24%です。
  論文  参考訳（メタデータ） (2020-10-06T08:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。