論文の概要: ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.22883v1
• Date: Fri, 16 Oct 2026 03:38:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.756289
• Title: ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning
• Title（参考訳）: ToPA:表現的かつ効率的な微調整のためのブロックワイズトイプリッツ適応
• Abstract要約: 我々は、標準のToeplitz行列をブロックワイドのToeplitzに置き換える、このアイデアのより洗練されたバージョンであるtextbfToPAを提案する。 ToPAは既存の低ランクパラメータやスパースパラメータよりも表現性が高いことを示す。 21のNLPおよびCVデータセットにまたがる実証的な評価は、5つのモデルアーキテクチャにまたがって行われ、一貫してToPAを検証する。
• 参考スコア（独自算出の注目度）: 119.38916612671254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has emerged as a prevalent strategy for adapting large pre-trained models. Among PEFT techniques, reparameterization-based methods, particularly those that employ low-rank or sparsity structures, have attracted significant attention. However, these approaches often underperform full fine-tuning. Specifically, low-rank methods constrain the update rank, which is misaligned with the inherently high-rank nature of full fine-tuning. In contrast, sparsity-based techniques limit the flexibility of the parameter space and compromise connectivity across weights. To overcome these limitations, we explore the use of Toeplitz matrices, whose entries are constant along each diagonal, therefore providing a compact parameterization without imposing explicit rank or sparsity constraints. A straightforward approach is to update weights via a product of Toeplitz matrices. However, similar to RNNs, long multiplicative chains often lead to gradient instability. To address this issue, we propose \textbf{ToPA}, a more refined version of this idea that replaces standard Toeplitz matrices with block-wise Toeplitz, greatly increasing each factor's capacity and shortening the chain, thereby stabilizing training and improving expressiveness. We theoretically show that products of block-wise Toeplitz matrices can approximate arbitrary matrices under shorter chain length, justifying the structural design of ToPA. Furthermore, we demonstrate that ToPA offers greater expressivity than existing low-rank and sparse parameterizations. Empirical evaluations across 21 NLP and CV datasets, spanning 5 model architectures, consistently validate the effectiveness of ToPA.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)は、大規模な事前学習モデルに適応するための一般的な戦略として現れている。 PEFT技術の中では、特に低ランクまたは疎度構造を用いる再パラメータ化に基づく手法が注目されている。 しかし、これらのアプローチは多くの場合、完全な微調整を過小評価する。 特に、低ランクな手法は更新ランクを制限しており、これはフル微調整の本質的にハイランクな性質と不一致である。 対照的に、疎性に基づく手法はパラメータ空間の柔軟性を制限し、重みをまたいだ接続性を妥協する。 これらの制限を克服するために、各対角線に沿って成分が定数であるToeplitz行列を用いて、明示的な階数や空間的制約を課すことなく、コンパクトなパラメタライゼーションを提供する。 直感的なアプローチは、Toeplitz行列の製品を通じて重みを更新することである。 しかし、RNNと同様、長い乗法的鎖はしばしば勾配不安定をもたらす。 この問題に対処するために、標準的なToeplitz行列をブロックワイズToeplitzに置き換え、各因子の容量を大幅に増加させ、チェーンを短縮し、トレーニングの安定化と表現性の向上を図った、より洗練されたバージョンの \textbf{ToPA} を提案する。 理論的には,ToPAの構造設計を正当化するために,ブロックワイドなToeplitz行列の積が短鎖長で任意の行列を近似できることを示す。 さらに,ToPAは既存の低ランクパラメータやスパースパラメータよりも表現性が高いことを示した。 21のNLPおよびCVデータセットにまたがる実験的な評価は、5つのモデルアーキテクチャにまたがって行われ、一貫してToPAの有効性を検証する。

関連論文リスト

• On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning [14.815508281465272]
  本研究では,更新部分空間の幾何やパラメータ化の影響を強く受けていることを示す。 本研究は,更新部分空間設計を連続学習の重要な要素として取り上げ,逐次的設定における効率的な適応戦略を選択するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-03-10T13:53:25Z)
• pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training [24.05577787968274]
  pQuantは、線形層を2つの特別な枝に分割することでパラメータを分離する手法である。 pQuantは極低ビット量子化において最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-02-26T03:51:58Z)
• TeRA: Vector-based Random Tensor Network for High-Rank Adaptation of Large Language Models [6.968486021891596]
  ベクトルベースでランダムなアンダーラインセンタbfTensorネットワークを,高アンダーラインセンタbfRankアンダーラインセンタbfAdaptation (TeRA) に提案する。 これは、テンソル化重み更新行列をタッカー様テンソルネットワーク(TN)としてパラメータ化することで達成される。 実験により、TeRAはベクトルベースの手法と同様のトレーニング可能なパラメータ数を必要としながら、上位アダプタにマッチし、さらに性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-09-03T11:46:24Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Increasing Model Capacity for Free: A Simple Strategy for Parameter Efficient Fine-tuning [7.239534396071191]
  CapaBoostは、ターゲット層における並列重みモジュールによる低ランク更新を活用することで、モデルキャパシティを向上させる戦略である。 本稿では,自然言語理解,質問応答,画像分類など,さまざまな下流タスクの実験を通じて,CapaBoostの有効性を広く検証する。 以上の結果から,計算コストやストレージコストを増大させることなく,ベースラインよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-01T14:26:48Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。