論文の概要: Supervised In-Context Fine-Tuning for Generative Sequence Labeling

• arxiv url: http://arxiv.org/abs/2509.00921v1
• Date: Sun, 31 Aug 2025 16:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.463066
• Title: Supervised In-Context Fine-Tuning for Generative Sequence Labeling
• Title（参考訳）: 逐次ラベリングのためのインコンテキストファインチューニング
• Authors: David Dukić, Goran Glavaš, Jan Šnajder,
• Abstract要約: 生成SLのための教師付きインコンテキスト微調整(SIFT)を提案する。 SIFTはSLタスクをLLMに自然に制約された応答生成としてキャストする。 ICLとSIFTの双方において、長いコンテキストでは生成SLの性能が損なわれるが、この欠損は命令を除去することで軽減できる。
• 参考スコア（独自算出の注目度）: 1.5606248019654914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence labeling (SL) tasks, where labels are assigned to tokens, are abundant in NLP (e.g., named entity recognition and aspect-based sentiment analysis). Owing to the intuition that they require bidirectional context, SL tasks are commonly tackled with encoder-only models. Recent work also shows that removing the causal mask in fine-tuning enables decoder-based LLMs to become effective token classifiers. Less work, however, focused on (supervised) generative SL, a more natural setting for causal LLMs. Due to their rapid scaling, causal LLMs applied to SL are expected to outperform encoders, whose own development has stagnated. In this work, we propose supervised in-context fine-tuning (SIFT) for generative SL. SIFT casts SL tasks as constrained response generation, natural to LLMs, combining (1) in-context learning (ICL) from demonstrations with (2) supervised fine-tuning. SIFT considerably outperforms both ICL and decoder-as-encoder fine-tuning baselines on a range of standard SL tasks. We further find that although long context hinders the performance of generative SL in both ICL and SIFT, this deficiency can be mitigated by removing the instruction, as instructions are shown to be largely unnecessary for achieving strong SL performance with SIFT. Our findings highlight strengths and limitations of SL with LLMs, underscoring the importance of a response-based generative task formulation for effective SL performance.
• Abstract（参考訳）: ラベルがトークンに割り当てられるシーケンスラベリング(SL)タスクは、NLP(名前付きエンティティ認識とアスペクトベースの感情分析)に豊富である。 双方向のコンテキストを必要とするという直感から、SLタスクはエンコーダのみのモデルによく取り組まれる。 近年の研究では、微調整における因果マスクの除去により、デコーダベースのLCMが効果的なトークン分類器となることが示されている。 しかし、あまりの研究は、因果性LLMのより自然な設定である(教師付き)生成SLに焦点を絞った。 高速なスケーリングのため、SLに適用された因果LLMはエンコーダよりも優れており、その開発は停滞している。 本研究では,生成SLのための教師付きインコンテキスト微調整(SIFT)を提案する。 SIFTは,(1)インコンテキスト学習(ICL)と(2)教師付き微調整を組み合わせることで,SLタスクをLLMに自然な制約応答生成としてキャストする。 SIFTは、ICLとデコーダ・アズ・エンコーダの両方で標準SLタスクの微調整ベースラインをかなり上回っている。 ICLとSIFTの双方において、長いコンテキストは生成SLの性能を阻害するが、SIFTによる強力なSL性能を達成するために、命令を除去することで、この欠損を軽減できることが判明した。 本研究は,LLMを用いたSLの強度と限界を強調し,有効なSL性能のための応答型生成タスクの定式化の重要性を強調した。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• CRANE: Reasoning with constrained LLM generation [5.971462597321995]
  制約付きデコードアルゴリズムであるCRANEを提案し,制約付き生成の正しさと制約なし生成の柔軟性のバランスをとる。 CRANEは最先端の制約付き復号化戦略と標準の制約なし復号化戦略の両方を大きく上回っている。
  論文  参考訳（メタデータ） (2025-02-13T08:23:42Z)
• Control Large Language Models via Divide and Conquer [94.48784966256463]
  本稿では,Lexically Constrained Generation(LCG)に着目し,大規模言語モデル(LLM)のプロンプトベース制御による制御可能生成について検討する。 我々は,レキシカル制約を満たすためのLLMの性能を,プロンプトベース制御により評価し,下流アプリケーションでの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-06T21:20:06Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)
• Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling [0.0]
  最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。 因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。 その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-25T22:50:48Z)
• Label Supervised LLaMA Finetuning [13.939718306233617]
  本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。 最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。 LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
  論文  参考訳（メタデータ） (2023-10-02T13:53:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。