論文の概要: SAPE: Sandwich Adapters for Parameter Efficiency in Large Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.15360v1
• Date: Sat, 15 Aug 2026 18:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.276267
• Title: SAPE: Sandwich Adapters for Parameter Efficiency in Large Language Model Fine-Tuning
• Title（参考訳）: SAPE:大規模言語モデルファインチューニングにおけるパラメータ効率のためのサンドウィッチアダプタ
• Abstract要約: サンドイッチスタイルの重量共有トポロジーに基づくPEFTフレームワークであるSAPEを紹介する。 SAPEは、バランスの取れたグループアダプタを介して中間トランスフォーマー層をルーティングする。 動的パラメータ共有法に関連する計算オーバーヘッドを排除しつつ、メモリ消費を大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Parameter-Efficient Fine-Tuning (PEFT) has substantially reduced the hardware cost of adapting Large Language Models (LLMs) by decreasing the number of trainable parameters, recent studies have sought to further improve PEFT through parameter sharing. However, these approaches either employ uniform parameter sharing across layers, which can delay convergence, or rely on dynamic masking strategies, which add computational overhead. The potential of sharing patterns inspired by the inherent hierarchical structure of Transformer architectures remains unexplored in PEFT. To address this gap, we introduce SAPE (Sandwich Adapters for Parameter Efficiency), a PEFT framework based on a sandwich-style hard weight-sharing topology. SAPE routes intermediate Transformer layers through balanced shared group adapters while strictly isolating the input embedding and final projection boundary transformations to prevent gradient interference. This design significantly reduces memory consumption while eliminating the computational overhead associated with dynamic parameter-sharing methods. Extensive evaluations across encoder-only and causal decoder architectures demonstrate that SAPE achieves state-of-the-art performance in low-parameter regimes. On natural language understanding, SAPE outperforms proPETL on RoBERTa-large while utilizing only 10% of the baseline's parameter budget. On natural language generation and world knowledge reasoning with LLaMA-3.2 (3B) under a strict ~0.6M parameter constraint, SAPE outperforms AdaLoRA, yielding absolute improvements of +4.85% on GSM8K and +3.11% on CommonsenseQA. Furthermore, through comprehensive topological ablations, we formalize an inherent capacity trade-off: while hard parameter sharing strongly regularizes semantic generalization, it slightly smooths the sharp layer-wise transformations required for rigid multi-step arithmetic reasoning.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、トレーニング可能なパラメータの数を減らし、大規模言語モデル(LLM)を適応するハードウェアコストを大幅に削減する一方で、近年の研究ではパラメータ共有によるPEFTのさらなる改善が試みられている。 しかしながら、これらのアプローチでは、収束を遅らせることのできる層間の均一なパラメータ共有を採用するか、あるいは動的マスキング戦略に依存して計算オーバーヘッドを増大させる。 トランスフォーマーアーキテクチャの階層構造にインスパイアされたパターンの共有の可能性は、PEFTでは未解明のままである。 このギャップに対処するために,サンドイッチスタイルの重み共有トポロジに基づくPEFTフレームワークであるSAPE(Sandwich Adapters for Parameter Efficiency)を導入する。 SAPEは、中間トランスフォーマー層をバランスの取れた共有グループアダプタを介して経路し、入力埋め込みと最終的な射影境界変換を厳密に分離して勾配干渉を防ぐ。 この設計は、動的パラメータ共有法に関連する計算オーバーヘッドを排除しつつ、メモリ消費を大幅に削減する。 エンコーダのみおよび因果デコーダアーキテクチャ間の広範囲な評価は、SAPEが低パラメータ状態において最先端の性能を達成することを示す。 自然言語理解では、SAPEがRoBERTa-large上でproPETLを上回り、ベースラインのパラメータ予算の10%しか利用していない。 厳密な ~0.6M パラメータ制約の下で LLaMA-3.2 (3B) で推論した自然言語生成と世界知識について、SAPE は AdaLoRA を上回り、GSM8K では +4.85%、CommonsenseQA では +3.11% の絶対的な改善をもたらす。 ハードパラメータ共有は意味論の一般化を強く規則化するが、厳密な多段階算術的推論に必要なシャープな階層変換はわずかに滑らかである。

関連論文リスト

• Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning [3.0344469521198003]
  我々は,PEFTに敵対的訓練をもたらす統一的な枠組みを提案する。 このフレームワークは、敵の訓練とパラメータ効率の適応の、あまり議論のつかない交差点に対処する。 PEFTのデプロイメントは、データの不足と言語的多様性が共存する実世界のシナリオにおいて、より信頼性の高いものになる。
  論文  参考訳（メタデータ） (2026-06-09T09:11:33Z)
• FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence [20.138989330054955]
  階層的関節分解と自由度を結合した新しい微調整法FRoDを提案する。 視覚、推論、言語理解にまたがる20のベンチマークでは、FRoDは同じ訓練予算の下でトレーニング可能なパラメータの1.72%しか使用せず、完全なモデルの微調整と精度で一致している。
  論文  参考訳（メタデータ） (2025-12-29T14:13:45Z)
• Layer-Wise High-Impact Parameter Ratio Optimization in Post-Training Quantization for Large Language Models [29.984541536225123]
  トレーニング後の量子化(PTQ)は、これらの課題を最小限のオーバーヘッドで軽減するための有望なアプローチとして現れている。 既存のPTQ法は、極低ビット幅でかなりの精度の損失を経験する。 本研究では,高インパクトパラメータの層比を決定する2次最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-21T21:47:39Z)
• PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs [8.52711842775914]
  PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。 本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
  論文  参考訳（メタデータ） (2025-06-09T09:32:58Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization [27.79783067245817]
  大規模言語モデル(LLM)は、高いメモリ要求と計算コストのため、微調整とデプロイメントの課題に直面している。 本稿では,PEFT と量子化 LLM の利点を組み合わせた簡易かつ効果的な手法である PEQA (Efficient Adaptation and Quantization-aware) を提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。