論文の概要: Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing

• arxiv url: http://arxiv.org/abs/2605.13373v1
• Date: Wed, 13 May 2026 11:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.013345
• Title: Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
• Title（参考訳）: 列列列構成解析のための事前学習エンコーダ・デコーダ変換器の試作
• Authors: Daniel Fernández-González, Cristina Outeiriño Cid,
• Abstract要約: 最近のアプローチでは、シーケンス・ツー・シーケンスモデルを使用して構成解析を機械翻訳問題として扱う。 これらのモデルは典型的には、BERTやRoBERTaのような訓練済みエンコーダのみの言語モデルである。 我々は、BART、mBART、T5など、事前訓練されたエンコーダデコーダアーキテクチャ上に構築されたノットを調査して、このフレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 1.332091725929965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To achieve deep natural language understanding, syntactic constituent parsing plays a crucial role and is widely required by many artificial intelligence systems for processing both text and speech. A recent approach involves using standard sequence-to-sequence models to handle constituent parsing as a machine translation problem, moving away from traditional task-specific parsers. These models are typically initialized with pre-trained encoder-only language models like BERT or RoBERTa. However, the use of pre-trained encoder-decoder language models for constituency parsing has not been thoroughly explored. To bridge this gap, we extend the sequence-to-sequence framework by investigating parsers built on pre-trained encoder-decoder architectures, including BART, mBART, and T5. We fine-tune them to generate linearized parse trees and extensively evaluate them on different linearization strategies across both continuous treebanks and more complex discontinuous benchmarks. Our results demonstrate that our approach outperforms all prior sequence-to-sequence models and performs competitively with leading task-specific constituent parsers on continuous constituent parsing.
• Abstract（参考訳）: 自然言語の理解を深めるためには、構文解析が重要な役割を担い、テキストと音声の両方を処理するために多くの人工知能システムで広く必要とされる。 最近のアプローチでは、標準的なシーケンス・ツー・シーケンスモデルを使用して、機械翻訳問題として構成解析を処理し、従来のタスク固有のパーサから遠ざかる。 これらのモデルは、通常、BERTやRoBERTaのような訓練済みエンコーダのみの言語モデルで初期化される。 しかし, 事前学習したエンコーダ・デコーダ言語モデルを用いた選挙区解析は, 十分に研究されていない。 このギャップを埋めるために、BART、mBART、T5など、事前訓練されたエンコーダ・デコーダアーキテクチャ上に構築されたパーサを調べることでシーケンス・ツー・シーケンス・フレームワークを拡張する。 我々はそれらを微調整して線形化解析木を生成し、連続木バンクとより複雑な不連続ベンチマークの両方にわたる異なる線形化戦略について広範囲に評価する。 提案手法は,従来のシーケンス・ツー・シーケンス・モデルよりも優れており,連続的な構成解析におけるタスク固有構成パーサと競合することを示す。

関連論文リスト

• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• Outline, Then Details: Syntactically Guided Coarse-To-Fine Code Generation [61.50286000143233]
  ChainCoderは、Pythonコードを段階的に生成するプログラム合成言語モデルである。 自然言語記述と構文的に整合したI/Oデータサンプルを共同で符号化するために、カスタマイズされたトランスフォーマーアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2023-04-28T01:47:09Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Discontinuous Grammar as a Foreign Language [0.7412445894287709]
  構成解析のためのシーケンス・ツー・シーケンス・モデルの枠組みを拡張した。 我々は不連続性を完全に生成できるいくつかの新規化を設計する。 提案手法はまず,主要な不連続なベンチマーク上でシーケンス・ツー・シーケンス・モデルをテストする。
  論文  参考訳（メタデータ） (2021-10-20T08:58:02Z)
• Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees [15.245017922785403]
  本稿では,構文木を事前学習したトランスフォーマーに効果的に組み込む新しいフレームワークSyntax-BERTを提案する。 自然言語理解の様々なデータセットの実験は、構文木の有効性を検証し、複数の事前学習モデルに対して一貫した改善を実現する。
  論文  参考訳（メタデータ） (2021-03-07T13:11:31Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Exploring Neural Models for Parsing Natural Language into First-Order Logic [10.62143644603835]
  英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。 自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
  論文  参考訳（メタデータ） (2020-02-16T09:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。