論文の概要: Efficient Layer-wise LLM Fine-tuning for Revision Intention Prediction

• arxiv url: http://arxiv.org/abs/2510.00268v1
• Date: Tue, 30 Sep 2025 20:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.251909
• Title: Efficient Layer-wise LLM Fine-tuning for Revision Intention Prediction
• Title（参考訳）: レイヤワイズLDMファインタニングによるリビジョンインテンション予測
• Authors: Zhexiong Liu, Diane Litman,
• Abstract要約: 大規模言語モデル(LLM)は、様々なテキスト生成タスクで驚くべき成功を収めている。 しかし、単純だが本質的なテキスト分類の可能性はいまだ未解明のままである。 本稿では, IR-Tuning という, プラグ・アンド・プレイ方式のパラメータ効率向上のためのファインチューニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.70303436819479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown extraordinary success across various text generation tasks; however, their potential for simple yet essential text classification remains underexplored, as LLM pre-training tends to emphasize generation over classification. While LLMs with instruction tuning can transform classification into a generation task, they often struggle to categorize nuanced texts. One such example is text revision, which involves nuanced edits between pairs of texts. Although simply fine-tuning LLMs for revision classification seems plausible, it requires a large amount of revision annotations, which are exceptionally expensive and scarce in the community. To address this issue, we introduce a plug-and-play layer-wise parameter-efficient fine-tuning (PEFT) framework, i.e., IR-Tuning, which fine-tunes a subset of important LLM layers that are dynamically selected based on their gradient norm distribution, while freezing those of redundant layers. Extensive experiments suggest that IR-Tuning surpasses several layer-wise PEFT baselines over diverse text revisions, while achieving fast convergence, low GPU memory consumption, and effectiveness on small revision corpora.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なテキスト生成タスクにおいて驚くべき成功を収めてきたが、LLM事前学習は、分類よりも生成を重視する傾向にあるため、単純で必須なテキスト分類の可能性はまだ探索されていない。 命令チューニングを備えたLLMは、分類を生成タスクに変換することができるが、ニュアンステキストの分類に苦慮することが多い。 そのような例の1つはテキストリビジョンであり、これはテキストのペア間の微妙な編集を含む。 単に修正分類のための微調整 LLM は妥当に思えるが、多くの修正アノテーションが必要であり、これはコミュニティでは非常に高価で不足している。 この問題に対処するために、プラグ・アンド・プレイのパラメータ・エフェクト・ファインタニング(PEFT)フレームワーク(IR-Tuning)を導入し、冗長層を凍結しながら、勾配分布に基づいて動的に選択される重要なLCM層のサブセットを微調整する。 IR-Tuningは、高速収束、低GPUメモリ消費、小さなリビジョンコーパスでの有効性を達成しつつ、様々なテキストリビジョンよりも複数のレイヤワイズPEFTベースラインを超越している。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Streamlining Redundant Layers to Compress Large Language Models [21.27944103424621]
  本稿では,LLM-Streamlineについて紹介する。 異なる層が隠れた状態に様々な影響を与えるという観察に基づいており、重要でない層を識別することができる。 実験により, LLM-Streamlineは, 性能および訓練効率の両面において, 先行および同時のプルーニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-28T04:12:13Z)
• Pushing The Limit of LLM Capacity for Text Classification [27.684335455517417]
  本稿では,特殊なテキスト分類 LLM を生成するための適応型ブースティングフレームワーク RGPT を提案する。 RGPTは,4つのベンチマークで平均1.36%,8個のSOTA PLMと7個のSOTA LLMより有意に優れていた。
  論文  参考訳（メタデータ） (2024-02-12T08:14:03Z)
• SPIN: Sparsifying and Integrating Internal Neurons in Large Language Models for Text Classification [6.227343685358882]
  本稿では,テキスト分類のための大規模言語モデルの中間層の内部ニューロンを分散・統合するモデルに依存しないフレームワークを提案する。 SPINはテキスト分類の精度、効率、解釈可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-11-27T16:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。