論文の概要: Dynamic ordering in sequence generation in Transformers: experiments on low-resource Tagging scenarios

• arxiv url: http://arxiv.org/abs/2610.21862v1
• Date: Thu, 15 Oct 2026 13:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.091078
• Title: Dynamic ordering in sequence generation in Transformers: experiments on low-resource Tagging scenarios
• Title（参考訳）: 変圧器のシークエンス生成における動的順序付け--低リソースタギングシナリオの実験
• Abstract要約: 本稿では,トランスフォーマーの共通左-右(L2R)生成パラダイムに挑戦するトランスフォーマーベースモデルであるTagInsertを紹介する。 BERTのようなエンコーダのみのモデルは、タグ付けタスクの強力なパフォーマーのままであるが、TagInsertはL2Rエンコーダ・デコーダモデルよりも高い性能を示す。 解析の結果、TagInsertは自己回帰モデルに典型的な誤りの伝播を軽減し、難解な予測を復号過程の後半段階まで遅らせることが判明した。
• 参考スコア（独自算出の注目度）: 0.042970700836450486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces TagInsert, a Transformer-based model that challenges the common left-to-right (L2R) generation paradigm in Transformers, for sequence labelling tasks where dependencies may not naturally align with a L2R order. TagInsert lifts the L2R constraint by removing the decoder-side attention mask and enabling the model to decide a preferred order of tag generation at inference time. We experiment on the common Part-of-Speech tagging and the more complex Combinatory Categorial Grammar (CCG) supertagging tasks on multiple languages and low-resource data settings. We show that, although encoder-only models like BERT remain strong performers for tagging tasks, TagInsert frequently outperforms a L2R encoder-decoder model, achieves results comparable to encoder-only models under data-scarce conditions, and shows better results on the long-tail of rare categories. Our analyses show that TagInsert alleviates error propagation typical of autoregressive models by learning to defer difficult predictions to later stages in the decoding process.
• Abstract（参考訳）: 本稿ではトランスフォーマーの左から右への共通生成パラダイムに挑戦するトランスフォーマーベースモデルであるTagInsertを紹介し,依存がL2R順序と自然に一致しないようなシーケンスラベリングタスクについて述べる。 TagInsertは、デコーダ側注目マスクを除去し、推論時にタグ生成の優先順序を決定することでL2R制約を解除する。 我々は、複数の言語と低リソースデータ設定における共通Part-of-Speechタグとより複雑な Combinatory Categorial Grammar(CCG)スーパータグタスクについて実験を行った。 BERTのようなエンコーダのみのモデルでは、タグ付けタスクの強力なパフォーマーが引き続き存在するが、TagInsertはL2Rエンコーダデコーダモデルよりも優れており、データスカース条件下ではエンコーダのみのモデルに匹敵する結果が得られ、レアカテゴリの長いテールでより良い結果が得られる。 解析の結果、TagInsertは自己回帰モデルに典型的な誤りの伝播を軽減し、難解な予測を復号過程の後半段階まで遅らせることが判明した。

関連論文リスト

• Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models [2.91425891370655]
  シーケンス反復(SR)はデコーダのみのモデルで双方向性を実現するための、より侵襲的な代替手段である。 SRは本質的にデコーダを双方向にし,トークンレベルの埋め込みの品質を向上し,エンコーダや非マスケデコーダを超越することを示す。 以上の結果から,SRはデコーダの構造的制約を緩和し,より効率的で適応可能なLMを実現し,他のトークンレベルタスクにも適用可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-24T20:49:13Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks [53.550782959908524]
  エンコーダ・デコーダモデルのための新しい構成を導入し、構造化された出力と分解可能なタスクの効率を改善する。 提案手法は,インプットを一度エンコードして並列にデコードすることで,トレーニングと推論の効率を向上する。
  論文  参考訳（メタデータ） (2024-03-19T19:27:23Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• A Framework for Bidirectional Decoding: Case Study in Morphological Inflection [4.602447284133507]
  外部からシーケンスを復号するフレームワークを提案する。 各ステップで、モデルは左、右にトークンを生成するか、左と右のシーケンスを結合するかを選択します。 我々のモデルは2022年と2023年の共有タスクに最先端のSOTA(State-of-the-art)を設定し、それぞれ平均精度4.7ポイントと2.7ポイント以上で次の最高のシステムを上回った。
  論文  参考訳（メタデータ） (2023-05-21T22:08:31Z)
• Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation [47.33223015862104]
  本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。 また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。 実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-01-05T19:35:30Z)
• Hierarchical Character Tagger for Short Text Spelling Error Correction [27.187562419222218]
  短文スペル誤り訂正のための階層的文字タガーモデル(HCTagger)を提案する。 文字レベルの事前訓練された言語モデルをテキストエンコーダとして使用し、文字レベルの編集を予測して、元のテキストをエラーのない形式に変換し、ラベル空間をはるかに小さくする。 2つの公開ミススペル補正データセットの実験では、HCTaggerは既存のモデルよりも正確ではるかに高速なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2021-09-29T08:04:34Z)
• Semi-supervised Autoencoding Projective Dependency Parsing [33.73819721400118]
  半教師付きグラフベースの射影依存性解析のための2つのエンドツーエンド自動符号化モデルについて述べる。 どちらのモデルも、コンテキスト情報を利用して潜伏変数にエンコードできるディープニューラルネットワーク(DNN)と、入力を再構築可能な生成モデルであるデコーダの2つの部分で構成されている。
  論文  参考訳（メタデータ） (2020-11-02T03:21:39Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Pseudo-Bidirectional Decoding for Local Sequence Transduction [31.05704333618685]
  LSTタスクに対してPseudo-Bidirectional Decoding (PBD) というシンプルなアプローチを提案する。 提案したPBDアプローチはデコーダの右サイドコンテキスト情報を提供し、LSTタスクの帰納バイアスをモデル化する。 いくつかのベンチマークデータセットによる実験結果から,LSTタスク上での標準Seq2seqモデルの性能は一貫して向上することが示された。
  論文  参考訳（メタデータ） (2020-01-31T07:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。