論文の概要: NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks

• arxiv url: http://arxiv.org/abs/2610.29134v1
• Date: Wed, 21 Oct 2026 03:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.228129
• Title: NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks
• Title（参考訳）: NormTune: Reasoning-Intensive TasksのためのNorm-Guidedパラメータ効率の良いファインチューニング
• Abstract要約: 完全な微調整は推論集約的なタスクにおいて顕著な成功を収めた。 しかし、推論集約的なタスクにおいて、大きなパフォーマンスギャップが観測される。 ノームガイドを提案します。 効率的なファインチューニング(NormTune)
• 参考スコア（独自算出の注目度）: 30.848015087691255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full fine-tuning has achieved remarkable success on reasoning-intensive tasks, but it often requires substantial GPU resource consumption. Parameter-efficient fine-tuning (PEFT) provides a promising alternative for reducing this cost, yet we observe a substantial performance gap on reasoning-intensive tasks. In this paper, we present three key observations showing that this gap is closely associated with norm-related under-adaptation, where PEFT produces markedly smaller weight-update norms than full fine-tuning. Based on these observations, we propose Norm-Guided Parameter-Efficient Fine-Tuning (NormTune), a simple yet effective strategy that adaptively strengthens insufficiently updated layers according to their weight-update norms. Extensive experiments show that NormTune consistently enhances multiple PEFT methods across challenging reasoning benchmarks. Specifically, when trained on S1K-1.1, integrating NormTune into rank-8 LoRA, Bone, and MoRA yields substantial average accuracy improvements of 24.24\%, 11.33\%, and 16.21\% , respectively, across AIME 2024, MATH 500, GPQA, and AIME 2025. Moreover, NormTune-enhanced rank-256 LoRA, Bone, and MoRA achieve performance comparable to S1 full fine-tuning, with respective average gains of 2.17\%, 0.93\%, and 3.00\% over this baseline.
• Abstract（参考訳）: 完全な微調整は推論集約的なタスクで顕著に成功したが、GPUリソースのかなりの消費を必要とすることが多い。 パラメータ効率のよい微調整(PEFT)は,このコスト削減のための有望な代替手段である。 本稿では,このギャップがノルム関係のアンダーアダプテーションと密接に関連していることを示す3つの重要な観測結果を示す。 これらの観測に基づいて, 重量更新基準に従って, 不十分に更新された層を適応的に強化する, 単純かつ効果的な手法であるノルムガイド型パラメータ効率ファインチューニング(NormTune)を提案する。 大規模な実験により、NormTuneは難解な推論ベンチマークにまたがる複数のPEFTメソッドを一貫して拡張している。 具体的には、S1K-1.1でトレーニングすると、NormTuneをランク8のLoRA、Body、MoRAに統合すると、AIME 2024、MATH 500、GPQA、AIME 2025でそれぞれ24.24\%、11.33\%、および16.21\%の平均精度が大幅に向上する。 さらに、NormTuneで強化されたランク256のLoRA、Body、MoRAは、S1のフル微調整に匹敵するパフォーマンスを達成し、それぞれ平均ゲインは2.17\%、0.93\%、3.00\%である。

関連論文リスト

• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• SIBO: A Simple Booster for Parameter-Efficient Fine-Tuning [10.450910399290818]
  初期残基を注入することによりPEFTを増強するSIBOを提案する。 22のベンチマークデータセットに対する大規模な実験により、SIBOは様々な強力なベースラインの性能を著しく向上させ、算術および常識推論タスクにおける既存のPEFTメソッドよりも最大15.7%、23.5%向上した。
  論文  参考訳（メタデータ） (2024-02-19T07:22:29Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。