論文の概要: On the Branching Bias of Syntax Extracted from Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2010.02448v1
• Date: Tue, 6 Oct 2020 03:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:39:13.841843
• Title: On the Branching Bias of Syntax Extracted from Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルから抽出した構文の分岐バイアスについて
• Authors: Huayang Li, Lemao Liu, Guoping Huang, Shuming Shi
• Abstract要約: 本稿では,言語とその逆言語の性能ギャップを比較することで,分岐バイアスを定量的に測定する。 分岐バイアス,すなわち解析アルゴリズム,特徴定義,言語モデルに対する3つの要因の影響を分析する。
• 参考スコア（独自算出の注目度）: 47.82102426290707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many efforts have been devoted to extracting constituency trees from pre-trained language models, often proceeding in two stages: feature definition and parsing. However, this kind of methods may suffer from the branching bias issue, which will inflate the performances on languages with the same branch it biases to. In this work, we propose quantitatively measuring the branching bias by comparing the performance gap on a language and its reversed language, which is agnostic to both language models and extracting methods. Furthermore, we analyze the impacts of three factors on the branching bias, namely parsing algorithms, feature definitions, and language models. Experiments show that several existing works exhibit branching biases, and some implementations of these three factors can introduce the branching bias.
• Abstract（参考訳）: 多くの取り組みは、事前訓練された言語モデルから選挙区木を抽出し、しばしば特徴定義と解析の2段階に進む。 しかし、この種の方法は分岐バイアスの問題に陥り、偏りが同じ分岐を持つ言語のパフォーマンスを膨らませる可能性がある。 本研究では,言語モデルや抽出手法と無関係な言語とその逆言語の性能差を比較することにより,分岐バイアスを定量的に測定する手法を提案する。 さらに,解析アルゴリズム,特徴定義,言語モデルという3つの要因が分岐バイアスに与える影響を分析した。 実験によると、いくつかの既存の研究が分岐バイアスを示しており、これらの3つの要因の実装によって分岐バイアスを導入することができる。

関連論文リスト

• ASTE Transformer Modelling Dependencies in Aspect-Sentiment Triplet Extraction [2.07180164747172]
  Aspect-Sentiment Triplet extract (ASTE) は、ある文から三重項(アスペクトフレーズ、意見フレーズ、感情極性)を抽出するタスクである。 最近の最先端手法は、まず与えられた文から可能な全てのスパンを抽出することで、このタスクにアプローチする。
  論文  参考訳（メタデータ） (2024-09-23T16:49:47Z)
• Design Choices for Crowdsourcing Implicit Discourse Relations: Revealing the Biases Introduced by Task Design [23.632204469647526]
  タスク設計は、アノテータを特定の関係に向かわせることができることを示す。 このタイプのバイアスは、トレーニングやテストモデルにおいて考慮すべきである、と結論付けています。
  論文  参考訳（メタデータ） (2023-04-03T09:04:18Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
  我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。 本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。 パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
  論文  参考訳（メタデータ） (2021-06-22T21:25:43Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Language Models for Lexical Inference in Context [4.581468205348204]
  文脈における語彙推論(英: Lexical inference in context, LIiC)とは、2つの非常に類似した文間のテキストの含意を認識するタスクである。 本稿では,この課題に対する事前学習言語モデル(LM)に基づいて,最初のアプローチを定式化し,評価する。 LIiC に対する事前訓練による LM の可能性が示された。
  論文  参考訳（メタデータ） (2021-02-10T09:08:22Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences [18.19093600136057]
  並列コーパスから任意の言語対の発散パターンを抽出するフレームワークを提案する。 我々のフレームワークは、言語間の相違の詳細な図を提供し、以前のアプローチを一般化し、完全に自動化することを示します。
  論文  参考訳（メタデータ） (2020-05-07T13:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。