論文の概要: Why Can't Discourse Parsing Generalize? A Thorough Investigation of the Impact of Data Diversity

• arxiv url: http://arxiv.org/abs/2302.06488v1
• Date: Mon, 13 Feb 2023 16:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 14:52:32.682988
• Title: Why Can't Discourse Parsing Generalize? A Thorough Investigation of the Impact of Data Diversity
• Title（参考訳）: なぜ談話解析が一般化できないのか? データ多様性の影響に関する徹底的な調査
• Authors: Yang Janet Liu and Amir Zeldes
• Abstract要約: 標準的な英語ニュースワイヤベンチマークでトレーニングされた最先端アーキテクチャは、十分に一般化されていないことを示す。 学習データにおけるジャンルの多様性の影響を定量化し,テキストタイプへの一般化を実現する。 本研究は,全木におけるクロスコーパスRTT解析の一般化性を評価する最初の試みである。
• 参考スコア（独自算出の注目度）: 10.609715843964263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in discourse parsing performance create the impression that, as in other NLP tasks, performance for high-resource languages such as English is finally becoming reliable. In this paper we demonstrate that this is not the case, and thoroughly investigate the impact of data diversity on RST parsing stability. We show that state-of-the-art architectures trained on the standard English newswire benchmark do not generalize well, even within the news domain. Using the two largest RST corpora of English with text from multiple genres, we quantify the impact of genre diversity in training data for achieving generalization to text types unseen during training. Our results show that a heterogeneous training regime is critical for stable and generalizable models, across parser architectures. We also provide error analyses of model outputs and out-of-domain performance. To our knowledge, this study is the first to fully evaluate cross-corpus RST parsing generalizability on complete trees, examine between-genre degradation within an RST corpus, and investigate the impact of genre diversity in training data composition.
• Abstract（参考訳）: 談話解析性能の最近の進歩は、他のNLPタスクと同様に、英語などの高リソース言語のパフォーマンスがようやく信頼性を持つようになったという印象を生み出している。 本稿では,rst解析の安定性に対するデータ多様性の影響を徹底的に検討する。 標準英語ニュースワイヤベンチマークでトレーニングされた最先端アーキテクチャは,ニュースドメイン内であっても,十分に一般化されていないことを示す。 複数のジャンルのテキストを含む2つの最大のrstコーパスを用いて、トレーニングデータにおけるジャンル多様性の影響を定量化し、トレーニング中のテキストタイプへの一般化を実現する。 この結果から,異種学習体制はパーサアーキテクチャ全体にわたって,安定かつ一般化可能なモデルに不可欠であることが示唆された。 また,モデル出力の誤差解析と領域外性能も提供する。 本研究は,完全木上でのクロスコーポレートなrst解析の一般化可能性を完全に評価し,rstコーパス内の遺伝子間分解を調べ,トレーニングデータ構成におけるジャンル多様性の影響について検討した。

関連論文リスト

• MACT: Model-Agnostic Cross-Lingual Training for Discourse Representation Structure Parsing [4.536003573070846]
  意味表現解析モデルのための言語間学習戦略を導入する。 事前訓練された言語モデルにエンコードされた言語間のアライメントを利用する。 実験では、英語、ドイツ語、イタリア語、オランダ語におけるDRS節とグラフ解析の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-03T07:02:57Z)
• A deep Natural Language Inference predictor without language-specific training data [44.26507854087991]
  本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。 我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。 このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
  論文  参考訳（メタデータ） (2023-09-06T10:20:59Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
  この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。 以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T15:57:53Z)
• Sentiment Analysis on Brazilian Portuguese User Reviews [0.0]
  本研究は,システム結果の極性を仮定して,文書埋め込み戦略の予測性能を解析する。 この分析には、単一のデータセットに統合されたブラジルの5つの感情分析データセットと、トレーニング、テスト、バリデーションセットの参照パーティショニングが含まれている。
  論文  参考訳（メタデータ） (2021-12-10T11:18:26Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。