Fugu-MT 論文翻訳(概要): On the Challenges of Fully Incremental Neural Dependency Parsing

論文の概要: On the Challenges of Fully Incremental Neural Dependency Parsing

arxiv url: http://arxiv.org/abs/2309.16254v1
Date: Thu, 28 Sep 2023 08:44:08 GMT
ステータス: 処理完了
システム内更新日: 2023-09-29 15:29:11.792331
Title: On the Challenges of Fully Incremental Neural Dependency Parsing
Title（参考訳）: 完全インクリメンタルニューラルネットワーク依存構文解析の課題について
Authors: Ana Ezquerro, Carlos G\'omez-Rodr\'iguez, David Vilares
Abstract要約: BiLSTMやTransformerベースの双方向エンコーダの普及以来、最先端の構文は漸進性を欠いている。本稿では、最新のアーキテクチャと完全にインクリメンタルな依存関係解析が競合するかどうかを考察する。我々は、厳密に左から右へのニューラルエンコーダと、完全にインクリメンタルなシーケンスラベル付けとトランジッションベースのデコーダを組み合わせた双方向を構築する。
参考スコア（独自算出の注目度）: 7.466159270333272
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Since the popularization of BiLSTMs and Transformer-based bidirectional encoders, state-of-the-art syntactic parsers have lacked incrementality, requiring access to the whole sentence and deviating from human language processing. This paper explores whether fully incremental dependency parsing with modern architectures can be competitive. We build parsers combining strictly left-to-right neural encoders with fully incremental sequence-labeling and transition-based decoders. The results show that fully incremental parsing with modern architectures considerably lags behind bidirectional parsing, noting the challenges of psycholinguistically plausible parsing.
Abstract（参考訳）: BiLSTMやTransformerベースの双方向エンコーダの普及以来、最先端の構文解析器は、文全体にアクセスし、人間の言語処理から逸脱するインクリメンタル性を欠いている。本稿では、最新のアーキテクチャと完全にインクリメンタルな依存関係解析が競合するかどうかを考察する。完全インクリメンタルなシーケンスラベルとトランジッションベースのデコーダを組み合わせた,厳密な左から右のニューラルネットワークエンコーダを構築する。その結果、現代のアーキテクチャによる完全な漸進的な解析は、双方向のパースにかなり遅れており、精神言語学的に妥当なパースという課題が指摘されている。

関連論文リスト

Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation? [0.0]
変換器からの双方向表現を微調整する手法と2つの埋め込みを結合して、積層した2方向長短期記憶-二方向Gated Recurrent Unitsモデルの性能を向上させる方法の比較研究を行う。 2つの手法のレベルで最高の学習率の探索を行い、各文の埋め込み組み合わせに対して最適な埋め込みの比較を行った。
論文参考訳（メタデータ） (2023-12-12T23:23:23Z)
Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
論文参考訳（メタデータ） (2023-05-18T16:02:04Z)
Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文参考訳（メタデータ） (2022-12-12T15:40:30Z)
Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization [15.367455931848252]
抽象テキスト要約のためのコントラスト学習によるシーケンス・ツー・シーケンス(seq2seq)オートエンコーダを提案する。本モデルは,多層双方向エンコーダと自動回帰デコーダを備えた標準トランスフォーマーアーキテクチャを採用する。 2つのデータセットで実験を行い、我々のモデルが既存のベンチマークより優れていることを示す。
論文参考訳（メタデータ） (2021-08-26T18:45:13Z)
Dependency Parsing with Bottom-up Hierarchical Pointer Networks [0.7412445894287709]
左から右へ、トップダウンのトランジションベースのアルゴリズムは、依存性解析を行う上で最も正確なアプローチである。文を右から左の順に解析するアプローチと、外部から実行する変種という2つの新しい遷移ベースの代替案を提案する。提案したニューラルアーキテクチャを、さまざまな言語で異なるアルゴリズムで実証的にテストし、そのすべてにおいて、元のアプローチよりも優れています。
論文参考訳（メタデータ） (2021-05-20T09:10:42Z)
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
論文参考訳（メタデータ） (2021-01-22T04:12:17Z)
Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。実験の結果,提案手法の有効性が示された。複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
論文参考訳（メタデータ） (2020-12-13T05:52:07Z)
A Unifying Theory of Transition-based and Sequence Labeling Parsing [14.653008985229617]
文を左から右へ読み取る遷移に基づく構文解析アルゴリズムを,構文木をエンコードするシーケンスラベリングアルゴリズムにマップする。これにより、トランジションベースの構文解析とシーケンスラベル解析の理論的関係が確立される。 4つのアルゴリズムのシーケンスラベリングバージョンを実装し、学習可能であり、既存のエンコーディングに匹敵する性能が得られることを示す。
論文参考訳（メタデータ） (2020-11-01T18:25:15Z)
Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
論文参考訳（メタデータ） (2020-10-15T14:34:26Z)
Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU [19.812562421377706]
双方向LSTMとTransformerは、エンコードされるシーケンスがフルである、と仮定する。インクリメンタルなインタフェースの下でどのように振る舞うかを、部分的な出力が提供される必要があるか検討する。その結果,非インクリメンタルな品質を維持しつつ,双方向エンコーダをインクリメンタルモードで使用することが可能になった。
論文参考訳（メタデータ） (2020-10-11T19:51:21Z)
Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。