論文の概要: QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.06916v2
• Date: Sun, 05 Oct 2025 18:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:09.360539
• Title: QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning
• Title（参考訳）: QuIC:パラメータ効率の良いファインタニングのための量子インスパイア複合アダプタ
• Authors: Snehal Raj, Brian Coyle,
• Abstract要約: 大きなファンデーションモデルの完全な微調整は、GPUメモリとトレーニング時間を歪ませます。 量子インスパイア複合アダプタ(QuICアダプタ)について紹介する。 QuICアダプタは、ベースモデルの0.02%未満のメモリフットプリントを使用して、モデルを効果的に微調整することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scaling full finetuning of large foundation models strains GPU memory and training time. Parameter Efficient Fine-Tuning (PEFT) methods address this issue via adapter modules which update only a small subset of model parameters. In this work, we introduce Quantum-Inspired Compound Adapters (QuIC Adapters), a PEFT approach inspired from Hamming-weight preserving quantum circuits that can effectively finetune a model using less than 0.02\% memory footprint of the base model. QuIC adapters preserve pretrained representations by enforcing orthogonality in weight parameters, and have native deployment mechanisms on quantum computers. We test QuIC adapters by finetuning large language models like LLaMA and vision transformers on language, math, reasoning and vision benchmarks. In its first-order configuration, QuIC recovers the performance of existing orthogonal methods, while higher-order configurations enable substantial parameter compression (over 40x smaller than LoRA) for a modest performance trade-off, unlocking applications in highly resource-constrained environments. Through ablation studies, we determine that combining multiple Hamming-weight orders with orthogonality and matrix compounding are essential for performant finetuning. Our findings suggest that QuIC adapters offers a promising direction for efficient finetuning of foundation models in resource-constrained environments.
• Abstract（参考訳）: 大きなファンデーションモデルの完全な微調整は、GPUメモリとトレーニング時間を歪ませます。 パラメータ効率の良いファインチューニング(PEFT)メソッドは、モデルパラメータの小さなサブセットだけを更新するアダプタモジュールを介してこの問題に対処する。 本研究では,ハミング重保存量子回路にインスパイアされたPEFTアプローチであるQuantum-Inspired Compound Adapters (QuIC Adapters)を紹介する。 QuICアダプタは、重みパラメータの直交性を強制することで事前訓練された表現を保持し、量子コンピュータ上にネイティブな展開機構を持つ。 我々はLLaMAやビジョントランスフォーマーといった大規模言語モデルを言語、数学、推論、ビジョンベンチマークで微調整することでQuICアダプタをテストする。 1次構成では、QuICは既存の直交法の性能を回復し、高次構成では、控えめなパフォーマンストレードオフのためにかなりのパラメータ圧縮(LoRAの40倍以上小さい)を可能にし、リソースに制約のある環境でアプリケーションをアンロックする。 アブレーション研究を通じて、複数のハミング級数と直交性および行列合成を組み合わせることが、パフォーマンスの微調整に不可欠であると判断する。 以上の結果から,QuICアダプタは資源制約環境における基礎モデルの効率的な微調整に有効である可能性が示唆された。

関連論文リスト

• Improving Recursive Transformers with Mixture of LoRAs [2.672804414228544]
  共有フィードフォワードネットワーク(FFN)内にLoRA(Lo-Rank Adaptation)の専門家を挿入するLoRA(MoL)の混合 MoLは、バックボーンパラメータをアンタイズすることなく共有FFNのトークン条件の重み空間変調を可能にする。 ModernALBERTは、コンパクトモデル間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-14T23:39:30Z)
• QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models [14.492535012602625]
  本稿では,Walsh-Hadamard Transform (WHT) を変換カーネルとして利用することにより,FTベースのアダプタを量子化モデルに統合する手法を提案する。 我々はQWHAが微調整を容易にしながら量子化誤差を効果的に軽減し,その設計によって計算コストを大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-09-22T07:21:41Z)
• MoKA: Mixture of Kronecker Adapters [10.972403518731639]
  低ランクなファミリーアダプタは、大きな言語モデルの生成能力を保ちながらパラメータサイズを効率的に制御するために一般的に使用される。 そこで我々は,Kronecker 製品の混合として重み更新をモデル化することにより,この制限に対処する新世代の Kronecker アダプタを提案する。 我々はLLaMA2-7BモデルとLLaMA3-8Bモデルの低ビット量子化バージョンを用いた命令調整および常識推論タスクの広範な実験を行った。
  論文  参考訳（メタデータ） (2025-08-05T14:58:14Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning [41.19870454097444]
  本稿では,ネットワークの重み付けを物理的に組み合わせてモデル化する手法を提案する。 熱拡散、波動伝播、ポアソンの定常方程式の3つの基礎方程式がそれぞれ固有のモデリング特性に寄与する。 MoPPAはPEFTの精度を最大2.1%向上させる。
  論文  参考訳（メタデータ） (2024-12-03T19:00:34Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
  事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。 ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。 本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
  論文  参考訳（メタデータ） (2024-07-04T18:21:28Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。 これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。 性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
  論文  参考訳（メタデータ） (2023-10-11T02:47:40Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。