論文の概要: Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models

• arxiv url: http://arxiv.org/abs/2510.20033v1
• Date: Wed, 22 Oct 2025 21:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.844853
• Title: Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models
• Title（参考訳）: 事前学習型ニューラルネットワークモデルの適用によるシーケンスラベリングタスクの伝達学習の改善
• Authors: David Dukić,
• Abstract要約: この論文は、事前訓練されたニューラルネットワークモデルを適用することにより、シーケンスラベリングタスクの転送学習を改善する。 転送学習の改善には、追加の信号を含むマルチタスクモデルの導入が含まれる。 第3の改良は、自動回帰的な大規模言語モデルをテキストジェネレータとして、生成的に教師付きインコンテキスト微調整フレームワークを通じて活用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This doctoral thesis improves the transfer learning for sequence labeling tasks by adapting pre-trained neural language models. The proposed improvements in transfer learning involve introducing a multi-task model that incorporates an additional signal, a method based on architectural modifications in autoregressive large language models, and a sequence labeling framework for autoregressive large language models utilizing supervised in-context fine-tuning combined with response-oriented adaptation strategies. The first improvement is given in the context of domain transfer for the event trigger detection task. The domain transfer of the event trigger detection task can be improved by incorporating an additional signal obtained from a domain-independent text processing system into a multi-task model. The second improvement involves modifying the model's architecture. For that purpose, a method is proposed to enable bidirectional information flow across layers of autoregressive large language models. The third improvement utilizes autoregressive large language models as text generators through a generative supervised in-context fine-tuning framework. The proposed model, method, and framework demonstrate that pre-trained neural language models achieve their best performance on sequence labeling tasks when adapted through targeted transfer learning paradigms.
• Abstract（参考訳）: この博士論文は、事前訓練されたニューラルネットワークモデルを適用することにより、シーケンスラベリングタスクの転写学習を改善する。 トランスファーラーニングの改良には、追加の信号を含むマルチタスクモデル、自動回帰型大言語モデルにおけるアーキテクチャ変更に基づく手法、および教師付きインコンテキスト微調整と応答指向適応戦略を組み合わせた自己回帰型大言語モデルのためのシーケンスラベリングフレームワークの導入が含まれる。 最初の改善点は、イベントトリガ検出タスクのドメイン転送のコンテキストで行われます。 ドメインに依存しないテキスト処理システムから得られた追加信号をマルチタスクモデルに組み込むことで、イベントトリガ検出タスクのドメイン転送を改善することができる。 2つ目の改善は、モデルのアーキテクチャを変更することである。 そこで本研究では,自動回帰型大規模言語モデル層間の双方向情報フローを実現する手法を提案する。 第3の改良は、自動回帰的な大規模言語モデルをテキストジェネレータとして、生成的に教師付きインコンテキスト微調整フレームワークを通じて活用する。 提案したモデル,方法,およびフレームワークは,対象の移動学習パラダイムを応用したシーケンスラベリングタスクにおいて,事前学習されたニューラルネットワークモデルが最高の性能を発揮することを示す。

関連論文リスト

• Contextually Guided Transformers via Low-Rank Adaptation [14.702057924366345]
  変換器をベースとした大規模言語モデル(LLM)は、テキスト処理において優れているが、特殊な振る舞いのプロンプトに依存しているため、計算オーバーヘッドが生じる。 本稿では,モデル重みにコンテキストをエンコードすることで,明示的なプロンプトの必要性を解消するトランスフォーマーアーキテクチャの修正を提案する。
  論文  参考訳（メタデータ） (2025-06-06T01:34:39Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。