論文の概要: Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models

• arxiv url: http://arxiv.org/abs/2509.03057v1
• Date: Wed, 03 Sep 2025 06:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.434849
• Title: Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models
• Title（参考訳）: パラメータ効率の良い大言語モデルのための構造学習型適応器ファインタニング
• Authors: Ming Gong, Yingnan Deng, Nia Qi, Yujun Zou, Zhihao Xue, Yun Zi,
• Abstract要約: 本稿では,構造学習機構を基盤としたアダプタを用いたファインチューニング手法を提案する。 これにより、モデルがマルチタスク設定で柔軟に構造を調整し、異なるタスク特性に適合させることができる。 精度、圧縮速度、ノイズや摂動に対する頑健さのバランスが良くなる。
• 参考スコア（独自算出の注目度）: 5.019928514737434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the issues of parameter redundancy, rigid structure, and limited task adaptability in the fine-tuning of large language models. It proposes an adapter-based fine-tuning method built on a structure-learnable mechanism. By introducing differentiable gating functions and structural sparsity control variables, the method enables automatic optimization of adapter insertion points, activation paths, and module combinations. This allows the model to adjust its structure flexibly in multi-task settings to match different task characteristics. With the backbone parameters kept frozen, the method uses a structure search mechanism to guide the dynamic construction of task-specific efficient substructures during training. This significantly improves parameter utilization and representational capacity. In addition, the paper designs a set of sensitivity analysis experiments to systematically evaluate the effects of sparsity weight, noise injection ratio, and data perturbation on model performance. These experiments verify the stability and robustness of the proposed method across various multi-task natural language understanding tasks. The experimental results show that the proposed method outperforms mainstream parameter-efficient tuning techniques on multiple tasks. It achieves a better balance among accuracy, compression rate, and robustness to noise and perturbation.
• Abstract（参考訳）: 本稿では,大規模言語モデルの微調整におけるパラメータ冗長性,剛性構造,タスク適応性の問題に対処する。 構造学習機構上に構築したアダプタに基づくファインチューニング手法を提案する。 可変ゲーティング関数と構造空間制御変数を導入することにより,アダプタ挿入点,アクティベーションパス,モジュールの組み合わせを自動的に最適化することができる。 これにより、モデルは、異なるタスク特性に適合するように、マルチタスク設定で柔軟に構造を調整することができる。 バックボーンパラメータを凍結したままにしておくと、トレーニング中にタスク固有の効率的なサブ構造を動的に構築するための構造探索機構が使用される。 これによりパラメータ利用率と表現能力が大幅に向上する。 さらに, モデル性能に対する空間重み, ノイズ注入率, およびデータ摂動の影響を系統的に評価するための感度解析実験のセットを設計した。 これらの実験は、様々なマルチタスク自然言語理解タスクにおける提案手法の安定性と堅牢性を検証する。 実験結果から,提案手法は複数のタスクにおいて主観的パラメータ効率のチューニング手法よりも優れていた。 精度、圧縮速度、ノイズや摂動に対する頑健さのバランスが良くなる。

関連論文リスト

• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning [5.69600290598441]
  目標は、訓練中の微調整効率と構造意識の両方を改善することである。 重み付きグラフを構築し、周波数領域モデリングを可能にするためにラプラシアンスペクトル分解を適用した。 最適化フェーズ中にスペクトルフィルタリング機構を導入し、モデルのトレーニング安定性と収束挙動を向上させる。
  論文  参考訳（メタデータ） (2025-04-28T08:42:35Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Prompt Guided Transformer for Multi-Task Dense Prediction [14.815576352301322]
  本稿では,Prompt Guided Transformerと呼ばれる軽量なタスク条件モデルを導入し,性能とモデルパラメータを最適化する。 提案手法は,タスク条件のパラメータを少なくしながら,タスク条件付き手法の最先端化を実現し,性能とパラメータサイズの間に大きなバランスを保っている。
  論文  参考訳（メタデータ） (2023-07-28T07:25:57Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Meta-Learning the Difference: Preparing Large Language Models for Efficient Adaptation [11.960178399478718]
  大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。 その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
  論文  参考訳（メタデータ） (2022-07-07T18:00:22Z)
• Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention [53.72897232951918]
  本稿では,カーネル構造を自己アテンションに利用して,可変パラメータの割り当てを誘導するアダプタを提案する。 提案するアダプタは,既存のベースラインの性能向上や性能向上を図っている。
  論文  参考訳（メタデータ） (2022-05-07T20:52:54Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。