論文の概要: Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

• arxiv url: http://arxiv.org/abs/2512.12677v1
• Date: Sun, 14 Dec 2025 13:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.378458
• Title: Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches
• Title（参考訳）: テキスト分類のための微調整因果LLM:埋め込み型対命令型アプローチ
• Authors: Amirhossein Yousefiramandi, Ciaran Cooney,
• Abstract要約: 我々は、リソース制約下での下流テキスト分類のためのLLM(Large Language Models)を微調整する戦略について検討する。 1)事前訓練した因果LLMに分類ヘッドをアタッチしてタスクを微調整し,(2)分類のためのプロンプト>応答形式でLSMを指導する,という2つの手法を検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore efficient strategies to fine-tune decoder-only Large Language Models (LLMs) for downstream text classification under resource constraints. Two approaches are investigated: (1) attaching a classification head to a pre-trained causal LLM and fine-tuning on the task (using the LLM's final token embedding as a sequence representation), and (2) instruction-tuning the LLM in a prompt->response format for classification. To enable single-GPU fine-tuning of models up to 8B parameters, we combine 4-bit model quantization with Low-Rank Adaptation (LoRA) for parameter-efficient training. Experiments on two datasets - a proprietary single-label dataset and the public WIPO-Alpha patent dataset (extreme multi-label classification) - show that the embedding-based method significantly outperforms the instruction-tuned method in F1-score, and is very competitive with - even surpassing - fine-tuned domain-specific models (e.g. BERT) on the same tasks. These results demonstrate that directly leveraging the internal representations of causal LLMs, along with efficient fine-tuning techniques, yields impressive classification performance under limited computational resources. We discuss the advantages of each approach while outlining practical guidelines and future directions for optimizing LLM fine-tuning in classification scenarios.
• Abstract（参考訳）: リソース制約下での下流テキスト分類において,デコーダのみを微調整するLarge Language Model (LLMs) の効率的な戦略を検討する。 1)事前訓練された因果LLMに分類ヘッドをアタッチしてタスクを微調整(LLMの最終トークン埋め込みをシーケンス表現として使用)し,(2)分類用プロンプト>応答形式でLLMをインストラクションチューニングする。 最大8BパラメータまでのモデルのシングルGPU微調整を可能にするため、4ビットモデル量子化とLo-Rank Adaptation (LoRA)を組み合わせてパラメータ効率のトレーニングを行う。 2つのデータセット(プロプライエタリなシングルラベルデータセットとパブリックなWIPO-Alpha特許データセット(極端なマルチラベル分類))に関する実験は、埋め込みベースの手法がF1スコアで命令チューニングされたメソッドを著しく上回っており、同じタスクにおいて細調整されたドメイン固有モデル(例えばBERT)と非常に競合していることを示している。 これらの結果は、因果LLMの内部表現を直接活用し、効率的な微調整技術とともに、限られた計算資源下での優れた分類性能が得られることを示した。 分類シナリオにおけるLCMの微調整を最適化するための実践的ガイドラインと今後の方向性を概説しながら,それぞれのアプローチの利点について論じる。

関連論文リスト

• Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
  大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。 クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。 公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。 データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
  論文  参考訳（メタデータ） (2025-11-10T02:26:14Z)
• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification [4.811763060654019]
  本稿では,テキスト分類のための簡易かつ効果的なマルチエージェントプロンプトであるPRINCIPLE-BASED PROMPINGを提案する。 提案手法はマクロF1スコアでのゼロショットプロンプトよりも大きなパフォーマンス向上(1.55%から19.37%)を達成する。 我々のマルチエージェント PRINCIPLE-BASED PROMPING アプローチは、実演ベースの少数ショットプロンプトアプローチと比較して、オンパーまたはより良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-02-11T01:10:13Z)
• When Do LLMs Help With Node Classification? A Comprehensive Analysis [21.120619437937382]
  我々はLarge Language Models (LLMs) を用いたノード分類のための包括的でテストベッドを開発する。 10のホモ親和性データセット、4つのヘテロ親和性データセット、8つのLLMアルゴリズム、8つの古典的ベースライン、3つの学習パラダイムを含む。 その結果,(1) LLMに基づく手法は, 半教師付き環境では従来手法よりも優れているが, 教師付き環境では優位性が低い, という8つの知見が得られた。
  論文  参考訳（メタデータ） (2025-02-02T15:56:05Z)
• Data Quality Enhancement on the Basis of Diversity with Large Language Models for Text Classification: Uncovered, Difficult, and Noisy [5.225010551503337]
  本稿では,大規模言語モデル(LLM)に基づくテキスト分類のためのデータ品質向上手法を提案する。 実験の結果,本手法はテキスト分類作業におけるLLMの性能を効果的に向上することが示された。 提案手法は,いくつかのオープンソース分類タスクにおいて最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-09T15:28:39Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation [18.986613405565514]
  大規模言語モデル(LLM)は、シーケンシャルなレコメンデーションのために大量のテキストコーパスで事前訓練される。 本稿では,2つの対照的な損失と言語モデリング損失を混合して,事前学習したLLMを2tower方式で微調整する2段階のLLMファインタニングフレームワークを提案する。 我々のモデルは、多くの最先端のベースラインを著しく上回ります。
  論文  参考訳（メタデータ） (2024-05-03T18:51:19Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。