論文の概要: Efficient Task Adaptation in Large Language Models via Selective Parameter Optimization

• arxiv url: http://arxiv.org/abs/2604.17051v1
• Date: Sat, 18 Apr 2026 16:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.308837
• Title: Efficient Task Adaptation in Large Language Models via Selective Parameter Optimization
• Title（参考訳）: 選択パラメータ最適化による大規模言語モデルの効率的なタスク適応
• Authors: Weijie Wan, Jiangjiang Zhao,
• Abstract要約: 大きな言語モデル(LLM)は、一般的な言語理解、生成、その他のタスクにおいて優れたパフォーマンスを示している。 特定のドメインタスクを微調整する場合、事前学習フェーズに蓄積された一般的な知識は、部分的に上書きされたり、忘れられたりすることが多い。 本稿では,パラメータを「コアパラメータ」と「非コアパラメータ」に分割するパラメータ要素重要度評価手法を提案する。
• 参考スコア（独自算出の注目度）: 1.6987750397343426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated excellent performance in general language understanding, generation and other tasks. However, when fine-tuning for specific domain tasks, the general knowledge accumulated in the pre-training phase is often partially overwritten or forgotten due to parameter updates, which severely limits the generalization ability and transferability of LLMs. Traditional fine-tuning strategies mostly train on the entire parameter space, ignoring the heterogeneity of model parameters, that is, some parameters are extremely important for general tasks, while other parameters are more sensitive to specific tasks. To alleviate the above problems, this paper innovatively proposes a parameter element importance evaluation method, which divides parameters into "core parameters" and "non-core parameters" by distinguishing the importance of parameters for general language ability tasks and specific domain tasks, and fixes the core parameters during fine-tuning, and only fine-tunes the non-core parameters. Extensive experiments on scientific, medical and physical tasks using GPT-J and LLaMA-3 show that our method can mitigate catastrophic forgetting while enhancing the adaptability of the model.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、一般的な言語理解、生成、その他のタスクにおいて優れたパフォーマンスを示している。 しかし、特定のドメインタスクを微調整する場合、事前学習フェーズに蓄積される一般的な知識は、パラメータの更新によって部分的に上書きされるか、あるいは忘れられることが多いため、LLMの一般化能力と転送性は著しく制限される。 従来の微調整戦略は、主にパラメータ空間全体を訓練し、モデルパラメータの不均一性を無視する、すなわち、いくつかのパラメータは一般的なタスクにとって非常に重要であり、他のパラメータは特定のタスクに対してより敏感である。 そこで本研究では,パラメータを「コアパラメータ」と「非コアパラメータ」に分割し,汎用言語能力タスクと特定のドメインタスクのパラメータの重要性を識別し,微調整中にコアパラメータを修正し,非コアパラメータのみを微調整するパラメータ要素重要度評価手法を革新的に提案する。 GPT-JおよびLLaMA-3を用いた科学的,医学的,身体的なタスクに対する広範囲な実験により,本手法は,モデルの適応性を高めながら破滅的な忘れを軽減できることが示唆された。

関連論文リスト

• Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration [40.02031646222292]
  モデルサイズを小さくして最適なグローバルベースハイパーパラメータを探索し,大規模に転送する方法を示す。 実験により,大規模言語モデルにおける学習速度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2025-12-26T20:56:04Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning [45.99877631719761]
  本稿では,PE手法の少数ショット適応と一般化能力を高めるための汎用PEプライミングフレームワークを提案する。 我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2022-12-02T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。