論文の概要: Quantum-PEFT: Ultra parameter-efficient fine-tuning

• arxiv url: http://arxiv.org/abs/2503.05431v1
• Date: Fri, 07 Mar 2025 14:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:21:37.613899
• Title: Quantum-PEFT: Ultra parameter-efficient fine-tuning
• Title（参考訳）: 量子PEFT:超高効率微調整
• Authors: Toshiaki Koike-Akino, Francesco Tonin, Yongtao Wu, Frank Zhengqing Wu, Leyla Naz Candogan, Volkan Cevher,
• Abstract要約: 量子PEFTは、基礎となるフルランクだが驚くほどパラメータ効率のよい量子ユニタリパラメータ化を利用する。 我々は,量子PEFTが,次元が大きくなるにつれて,最低ランクのLoRAよりもはるかに少ないトレーニング可能なパラメータ数を達成することを示す。 本稿では,言語と視覚の伝達学習ベンチマークにQuantum-PEFTを適用し,パラメータ効率の顕著な優位性を示す。
• 参考スコア（独自算出の注目度）: 46.145294417722184
• License:
• Abstract: This paper introduces Quantum-PEFT that leverages quantum computations for parameter-efficient fine-tuning (PEFT). Unlike other additive PEFT methods, such as low-rank adaptation (LoRA), Quantum-PEFT exploits an underlying full-rank yet surprisingly parameter efficient quantum unitary parameterization. With the use of Pauli parameterization, the number of trainable parameters grows only logarithmically with the ambient dimension, as opposed to linearly as in LoRA-based PEFT methods. Quantum-PEFT achieves vanishingly smaller number of trainable parameters than the lowest-rank LoRA as dimensions grow, enhancing parameter efficiency while maintaining a competitive performance. We apply Quantum-PEFT to several transfer learning benchmarks in language and vision, demonstrating significant advantages in parameter efficiency.
• Abstract（参考訳）: 本稿では,パラメータ効率の微調整(PEFT)に量子計算を利用するQuantum-PEFTを提案する。 ローランク適応(LoRA)のような他の付加的なPEFT法とは異なり、Quantum-PEFTは根底にあるフルランクだが驚くほどパラメータ効率のよい量子ユニタリパラメタライゼーションを利用する。 パウリのパラメータ化を用いることで、トレーニング可能なパラメータの数は、LoRAベースのPEFT法のように線形にではなく、周囲次元と対数的にのみ増加する。 量子PEFTは、次元が大きくなるにつれて低ランクのLoRAよりもトレーニング可能なパラメータの数が少なくなり、競合性能を維持しながらパラメータ効率が向上する。 本稿では,言語と視覚の伝達学習ベンチマークにQuantum-PEFTを適用し,パラメータ効率の顕著な優位性を示す。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Hyper Compressed Fine-Tuning of Large Foundation Models with Quantum Inspired Adapters [0.0]
  emphQuantum-Inspired Adaptersは、量子機械学習文学のハミング級量子回路にインスパイアされたPEFTアプローチである。 提案するアダプタは,ベンチマークデータセットに大規模言語モデルと大規模視覚変換器を適用して検証する。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning [19.178352290785153]
  量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。 QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。 Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
  論文  参考訳（メタデータ） (2024-10-13T14:09:29Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• FLIP: A flexible initializer for arbitrarily-sized parametrized quantum circuits [105.54048699217668]
  任意サイズのパラメタライズド量子回路のためのFLexible Initializerを提案する。 FLIPは任意の種類のPQCに適用することができ、初期パラメータの一般的なセットに頼る代わりに、成功したパラメータの構造を学ぶように調整されている。 本稿では, 3つのシナリオにおいてFLIPを用いることの利点を述べる。不毛な高原における問題ファミリ, 最大カット問題インスタンスを解くPQCトレーニング, 1次元フェルミ-ハッバードモデルの基底状態エネルギーを求めるPQCトレーニングである。
  論文  参考訳（メタデータ） (2021-03-15T17:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。