論文の概要: Efficient Task Adaptation in Large Language Models via Selective Parameter Optimization
- arxiv url: http://arxiv.org/abs/2604.17051v1
- Date: Sat, 18 Apr 2026 16:13:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.308837
- Title: Efficient Task Adaptation in Large Language Models via Selective Parameter Optimization
- Title（参考訳）: 選択パラメータ最適化による大規模言語モデルの効率的なタスク適応
- Abstract要約: 大きな言語モデル(LLM)は、一般的な言語理解、生成、その他のタスクにおいて優れたパフォーマンスを示している。
特定のドメインタスクを微調整する場合、事前学習フェーズに蓄積された一般的な知識は、部分的に上書きされたり、忘れられたりすることが多い。
本稿では,パラメータを「コアパラメータ」と「非コアパラメータ」に分割するパラメータ要素重要度評価手法を提案する。
- 参考スコア（独自算出の注目度）: 1.6987750397343426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated excellent performance in general language understanding, generation and other tasks. However, when fine-tuning for specific domain tasks, the general knowledge accumulated in the pre-training phase is often partially overwritten or forgotten due to parameter updates, which severely limits the generalization ability and transferability of LLMs. Traditional fine-tuning strategies mostly train on the entire parameter space, ignoring the heterogeneity of model parameters, that is, some parameters are extremely important for general tasks, while other parameters are more sensitive to specific tasks. To alleviate the above problems, this paper innovatively proposes a parameter element importance evaluation method, which divides parameters into "core parameters" and "non-core parameters" by distinguishing the importance of parameters for general language ability tasks and specific domain tasks, and fixes the core parameters during fine-tuning, and only fine-tunes the non-core parameters. Extensive experiments on scientific, medical and physical tasks using GPT-J and LLaMA-3 show that our method can mitigate catastrophic forgetting while enhancing the adaptability of the model.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、一般的な言語理解、生成、その他のタスクにおいて優れたパフォーマンスを示している。
しかし、特定のドメインタスクを微調整する場合、事前学習フェーズに蓄積される一般的な知識は、パラメータの更新によって部分的に上書きされるか、あるいは忘れられることが多いため、LLMの一般化能力と転送性は著しく制限される。
従来の微調整戦略は、主にパラメータ空間全体を訓練し、モデルパラメータの不均一性を無視する、すなわち、いくつかのパラメータは一般的なタスクにとって非常に重要であり、他のパラメータは特定のタスクに対してより敏感である。
そこで本研究では,パラメータを「コアパラメータ」と「非コアパラメータ」に分割し,汎用言語能力タスクと特定のドメインタスクのパラメータの重要性を識別し,微調整中にコアパラメータを修正し,非コアパラメータのみを微調整するパラメータ要素重要度評価手法を革新的に提案する。
GPT-JおよびLLaMA-3を用いた科学的,医学的,身体的なタスクに対する広範囲な実験により,本手法は,モデルの適応性を高めながら破滅的な忘れを軽減できることが示唆された。
関連論文リスト
- High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration [40.02031646222292]
モデルサイズを小さくして最適なグローバルベースハイパーパラメータを探索し,大規模に転送する方法を示す。
実験により,大規模言語モデルにおける学習速度の大幅な向上が示された。
論文 参考訳（メタデータ） (2025-12-26T20:56:04Z) - Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。
そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。
特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
論文 参考訳（メタデータ） (2025-06-30T17:14:12Z) - Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。
これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。
本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文 参考訳（メタデータ） (2025-04-01T14:36:45Z) - Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。
実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
論文 参考訳（メタデータ） (2024-11-25T06:59:16Z) - Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。
解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
論文 参考訳（メタデータ） (2024-08-26T17:58:53Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳（メタデータ） (2023-05-26T08:44:42Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning [45.99877631719761]
本稿では,PE手法の少数ショット適応と一般化能力を高めるための汎用PEプライミングフレームワークを提案する。
我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
論文 参考訳（メタデータ） (2022-12-02T08:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。