論文の概要: Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing

• arxiv url: http://arxiv.org/abs/2302.02275v1
• Date: Sun, 5 Feb 2023 01:37:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 19:10:13.000644
• Title: Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing
• Title（参考訳）: sequence-to-sequenceモデルの真のポテンシャルを解き放つ : sequence tagging と structure parse
• Authors: Han He, Jinho D. Choi
• Abstract要約: シーケンス・ツー・シーケンス(S2S)モデルは、様々なテキスト生成タスクにおいて顕著な成功を収めた。 本研究では,4つのコアタスクに対する包含デコーディングを用いたS2Sモデリングの体系化について述べる。
• 参考スコア（独自算出の注目度）: 18.441585314765632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence-to-Sequence (S2S) models have achieved remarkable success on various text generation tasks. However, learning complex structures with S2S models remains challenging as external neural modules and additional lexicons are often supplemented to predict non-textual outputs. We present a systematic study of S2S modeling using contained decoding on four core tasks: part-of-speech tagging, named entity recognition, constituency and dependency parsing, to develop efficient exploitation methods costing zero extra parameters. In particular, 3 lexically diverse linearization schemas and corresponding constrained decoding methods are designed and evaluated. Experiments show that although more lexicalized schemas yield longer output sequences that require heavier training, their sequences being closer to natural language makes them easier to learn. Moreover, S2S models using our constrained decoding outperform other S2S approaches using external resources. Our best models perform better than or comparably to the state-of-the-art for all 4 tasks, lighting a promise for S2S models to generate non-sequential structures.
• Abstract（参考訳）: sequence-to-sequence (s2s) モデルは様々なテキスト生成タスクで顕著な成功を収めている。 しかしながら、S2Sモデルで複雑な構造を学ぶことは、外部の神経モジュールや追加のレキシコンがテキスト以外の出力を予測するために補われるため、依然として困難である。 本稿では,4つのコアタスク(part-of-speech tagging, name entity recognition, constituency and dependency parse)のデコードを用いたs2sモデリングの体系的検討を行った。 特に3つの線形化スキーマとそれに対応する制約付き復号法を設計・評価する。 実験により、より語彙化されたスキーマはより重い訓練を必要とするより長い出力シーケンスを生成するが、それらのシーケンスは自然言語に近いため、学習が容易である。 さらに、制約付きデコードを用いたS2Sモデルは、外部リソースを用いた他のS2Sアプローチより優れている。 我々の最高のモデルでは、すべての4つのタスクにおいて最先端よりも、あるいは比較可能なパフォーマンスを実現しています。

関連論文リスト

• Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration [53.63593099509471]
  本稿では,既存のS2S-拡散モデルの限界を克服するために,スケジューラ・エクスロイタS2S-拡散パラダイムを提案する。 我々はメタ探索を用いて、各文の文脈化ノイズをスケジューリングするための追加スケジューラモデルを訓練する。 我々のエクスプローラーモデルであるS2S-拡散モデルでは、スケジューラモデルによってスケジュールされたノイズを利用して更新と生成を行う。
  論文  参考訳（メタデータ） (2024-10-17T04:06:02Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• RASR2: The RWTH ASR Toolkit for Generic Sequence-to-sequence Speech Recognition [43.081758770899235]
  C++で実装された研究指向の汎用S2SデコーダであるRASR2を提案する。 さまざまなS2Sモデル、言語モデル、ラベル単位/トポロジ、ニューラルネットワークアーキテクチャに対して、強力な柔軟性/互換性を提供する。 オープンおよびクローズドボキャブラリーの両方のシナリオに対して,検索モードや設定の充実したサポートを備えた汎用検索フレームワークをベースとした,効率的なデコーディングを提供する。
  論文  参考訳（メタデータ） (2023-05-28T17:48:48Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。