論文の概要: GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

• arxiv url: http://arxiv.org/abs/2605.14841v1
• Date: Thu, 14 May 2026 13:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.85332
• Title: GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning
• Title（参考訳）: GPart:グローバルパラメータ分割によるエンド・ツー・エンド等尺加工
• Authors: Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung,
• Abstract要約: 低ランク適応(LoRA)は、大規模言語モデル(LLM)のパラメータ効率細調整(PEFT)において支配的なパラダイムとなっている。 低ランクボトルネックを完全に除去するパラメータ効率の高い微調整法であるGPartを提案する。 GPart は、実効的な微調整がフルウェイト空間のランダムな低次元部分空間から現れるという理論的な前提に基づいている。
• 参考スコア（独自算出の注目度）: 3.3002894787684256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) has become the dominant paradigm for parameter-efficient fine-tuning (PEFT) of large language models (LLMs). However, its bilinear structure introduces a critical limitation: the mapping from trainable parameters to weight updates is not distance-preserving, distorting the optimization landscape. Methods that project a low-dimensional vector into LoRA's parameter space, such as Uni-LoRA, improve parameter efficiency, but the subsequent bilinear LoRA map breaks end-to-end isometry, leaving the core distance-preservation problem unresolved. We propose GPart (Global Partition fine-tuning), a highly parameter-efficient fine-tuning method which removes the low-rank bottleneck entirely. Our method uses a single isometric partition matrix to map a $d$-dimensional trainable vector directly into the full weight space of the model. The result is an extremely minimal fine-tuning pipeline: one random projection, end-to-end isometric, with a single clean hyperparameter ($d$) and storage cost of $d+1$ values (the trainable vector plus a random seed). GPart builds on the theoretical premise that effective fine-tuning can emerge from random low-dimensional subspaces of the full weight space, without imposing low-rank matrix structure. We empirically demonstrate the superior or comparable performance of GPart to existing PEFT methods on natural language understanding, computer vision tasks, and mathematical reasoning. Overall, GPart achieves state-of-the-art efficiency and performance by removing structural constraints, offering a straightforward and elegant path to PEFT.
• Abstract（参考訳）: 低ランク適応(LoRA)は、大規模言語モデル(LLM)のパラメータ効率のよい微調整(PEFT)において支配的なパラダイムとなっている。 トレーニング可能なパラメータから重み更新へのマッピングは距離保存ではなく、最適化の風景を歪ませる。 低次元ベクトルを LoRA のパラメータ空間に投影する方法、例えば Uni-LoRA はパラメータ効率を改善するが、その後の双線型 LoRA マップは終端アイソメトリを破り、コア距離保存問題は未解決のままである。 GPart(Global Partition Fine-tuning)は,低ランクボトルネックを完全に除去するパラメータ効率の高い微調整手法である。 本手法では, 1 つの等尺分割行列を用いて,$d$次元のトレーニング可能なベクトルを直接モデルの全重み空間にマッピングする。 1つのランダムプロジェクション、エンドツーエンドのアイソメトリック、単一のクリーンなハイパーパラメータ($d$)、ストレージコストが$d+1$(トレーニング可能なベクトルとランダムシード)である。 GPartは、実効的な微調整は、低ランク行列構造を含まないフルウェイト空間のランダムな低次元部分空間から現れるという理論的な前提に基づいている。 我々は、自然言語理解、コンピュータビジョンタスク、数学的推論における既存のPEFT手法と比較して、GPartの優れた性能や同等性能を実証的に実証する。 全体として、GPartは構造的制約を取り除き、PEFTへの単純でエレガントなパスを提供することで、最先端の効率性と性能を実現している。

関連論文リスト

• StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
  低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。 3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
  論文  参考訳（メタデータ） (2025-10-02T11:59:13Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• 1LoRA: Summation Compression for Very Low-Rank Adaptation [6.00844864296448]
  検討したPEFT法に対して, 線形層毎のパラメータの最小値を微調整する「極低階法」について検討した。 本稿では, 計算, パラメータ, メモリ効率のよい微調整手法である1LoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-11T11:45:20Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection [10.300935899853748]
  MaCP(Minimum yet Mighty Adaptive Cosine Projection)は、最小パラメータとメモリを必要としながら、例外的な性能を達成する。 既存の代替システムに比べて高い精度、計算量を大幅に削減し、メモリ要件を低くする。
  論文  参考訳（メタデータ） (2024-10-09T16:07:42Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。