論文の概要: Bringing Emerging Architectures to Sequence Labeling in NLP

• arxiv url: http://arxiv.org/abs/2509.25918v1
• Date: Tue, 30 Sep 2025 08:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.063225
• Title: Bringing Emerging Architectures to Sequence Labeling in NLP
• Title（参考訳）: 新たなアーキテクチャをNLPのシーケンスラベリングに持ち込む
• Authors: Ana Ezquerro, Carlos Gómez-Rodríguez, David Vilares,
• Abstract要約: トランスフォーマーエンコーダは、構造的複雑さ、ラベル空間、トークン依存に異なるタグ付けタスクにどのように適応するかを検討する。 以前より単純な設定で観測された強いパフォーマンスは、言語やデータセットをまたいで常にうまく一般化するわけではないし、より複雑な構造化タスクにまで拡張することもわかっています。
• 参考スコア（独自算出の注目度）: 9.660348625678001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Transformer encoders are the dominant approach to sequence labeling. While some alternative architectures-such as xLSTMs, structured state-space models, diffusion models, and adversarial learning-have shown promise in language modeling, few have been applied to sequence labeling, and mostly on flat or simplified tasks. We study how these architectures adapt across tagging tasks that vary in structural complexity, label space, and token dependencies, with evaluation spanning multiple languages. We find that the strong performance previously observed in simpler settings does not always generalize well across languages or datasets, nor does it extend to more complex structured tasks.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーエンコーダはシーケンスラベリングの主要なアプローチである。 xLSTM、構造化状態空間モデル、拡散モデル、対数学習などいくつかの代替アーキテクチャは言語モデリングにおける将来性を示しているが、シーケンシャルラベリングにはほとんど適用されていない。 これらのアーキテクチャは、構造的複雑性、ラベル空間、トークン依存などによって異なるタグ付けタスクにまたがってどのように適応するか、複数の言語にまたがる評価を行う。 以前より単純な設定で観測された強いパフォーマンスは、言語やデータセットをまたいで必ずしもうまく一般化するわけではないし、より複雑な構造化タスクにまで拡張することもわかっています。

関連論文リスト

• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
  既存のコード生成方法はシードデータとしてコードスニペットを使用する。 階層的なコード機能を中心に展開する,新しい機能ツリーベースの合成フレームワークを提案する。 我々のフレームワークは、生成されたコードの複雑さを正確に制御し、関数レベルの操作からマルチファイルのシナリオまで幅広い機能を実現する。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Neural Architecture Search for Sentence Classification with BERT [4.862490782515929]
  計算コストが小さいだけで,現在の単一層よりも優れたアーキテクチャを見つけるために,AutoML検索を実行します。 GLUEデータセットから,様々なNLPベンチマークを用いて分類アーキテクチャを検証する。
  論文  参考訳（メタデータ） (2024-03-27T13:25:43Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Structural Concept Learning via Graph Attention for Multi-Level Rearrangement Planning [2.7195102129095003]
  本稿では,階層構造を持つシーンに対して,複数レベルのオブジェクトアレンジメント計画を実行するためのディープラーニング手法を提案する。 直感的な構造を持つ自己生成シミュレーションデータセットでトレーニングされ、任意の数のオブジェクトで見えないシーンで動作する。 提案手法を古典的およびモデルベースラインの範囲と比較し,そのシーン理解を活用して性能,柔軟性,効率性を向上することを示す。
  論文  参考訳（メタデータ） (2023-09-05T19:35:44Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。