論文の概要: A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing

• arxiv url: http://arxiv.org/abs/2210.08355v1
• Date: Sat, 15 Oct 2022 18:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:16:50.666703
• Title: A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
• Title（参考訳）: エンド・ツー・エンドニューラルRTT型談話構文解析のためのシンプルで強力なベースライン
• Authors: Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, Masaaki Nagata
• Abstract要約: 本稿では,既存の単純な構文解析手法であるトップダウンとボトムアップと,トランスフォーマーに基づく事前学習言語モデルを統合することで,強力なベースラインを探求する。 2つのベンチマークデータセットから得られた実験結果は、解析性能が解析戦略よりも事前訓練された言語モデルに依存していることを示している。
• 参考スコア（独自算出の注目度）: 44.72809363746258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To promote and further develop RST-style discourse parsing models, we need a strong baseline that can be regarded as a reference for reporting reliable experimental results. This paper explores a strong baseline by integrating existing simple parsing strategies, top-down and bottom-up, with various transformer-based pre-trained language models. The experimental results obtained from two benchmark datasets demonstrate that the parsing performance strongly relies on the pretrained language models rather than the parsing strategies. In particular, the bottom-up parser achieves large performance gains compared to the current best parser when employing DeBERTa. We further reveal that language models with a span-masking scheme especially boost the parsing performance through our analysis within intra- and multi-sentential parsing, and nuclearity prediction.
• Abstract（参考訳）: rst型談話解析モデルの促進とさらなる発展のためには,信頼性の高い実験結果を報告するための参考となる強固なベースラインが必要である。 本稿では,既存の単純な構文解析手法であるトップダウンとボトムアップと,トランスフォーマーに基づく事前学習言語モデルを統合することで,強力なベースラインを探求する。 2つのベンチマークデータセットから得られた実験結果は、解析性能が解析戦略よりも事前訓練された言語モデルに強く依存していることを示している。 特にボトムアップパーサは、DeBERTaを使用する場合の現在の最高のパーサと比較して大きなパフォーマンス向上を達成する。 さらに,スパンマスク方式による言語モデルでは,内的・多感覚的解析や核性予測において,解析による解析性能の向上が期待できることを明らかにした。

関連論文リスト

• MACT: Model-Agnostic Cross-Lingual Training for Discourse Representation Structure Parsing [4.536003573070846]
  意味表現解析モデルのための言語間学習戦略を導入する。 事前訓練された言語モデルにエンコードされた言語間のアライメントを利用する。 実験では、英語、ドイツ語、イタリア語、オランダ語におけるDRS節とグラフ解析の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-03T07:02:57Z)
• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Structural Guidance for Transformer Language Models [24.00537240110055]
  本研究では,トランスフォーマー言語モデルにおける構造的ガイダンスが,より人間らしい体系的言語一般化につながるかどうかを考察する。 実験結果から、生成的構造的監督がより堅牢で人間らしい言語的一般化を誘導できるという確固たる証拠が示唆された。
  論文  参考訳（メタデータ） (2021-07-30T23:14:51Z)
• Unleashing the Power of Neural Discourse Parsers -- A Context and Structure Aware Approach Using Large Scale Pretraining [26.517219486173598]
  RSTに基づく談話解析は、要約、機械翻訳、意見マイニングなど、多くの下流アプリケーションにおいて重要なNLPタスクである。 本稿では,近年の文脈言語モデルを取り入れた,シンプルかつ高精度な談話解析について述べる。 RST-DTとInstr-DTの2つの主要なRTTデータセットにおける構造と核性を予測するための新しい最先端(SOTA)性能を確立する。
  論文  参考訳（メタデータ） (2020-11-06T06:11:26Z)
• Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers [59.345145623931636]
  我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。 本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
  論文  参考訳（メタデータ） (2020-04-16T13:18:55Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。