論文の概要: ChainDoRA: Tensor-Train Factorized Weight-Decomposed Low-Rank Adaptation for Parameter-Efficient LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.25058v1
• Date: Tue, 08 Sep 2026 23:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.104292
• Title: ChainDoRA: Tensor-Train Factorized Weight-Decomposed Low-Rank Adaptation for Parameter-Efficient LLM Fine-Tuning
• Title（参考訳）: ChainDoRA:パラメータ効率の良いLDMファインチューニングのためのテンソル・トレイン因子化軽量化低ランク適応
• Abstract要約: ChainDoRAは、コネクテッドトレイン鎖から指向性低ランク因子を構成する適応フレームワークである。 平均精度は72.30%で、LoRAは69.88%、DoRAは69.39%である。 LoRAでは56.10M、DoRAでは56.98M、訓練可能なパラメータでは90.62%しか必要としない。
• 参考スコア（独自算出の注目度）: 3.7851234061033856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) adapts large language models (LLMs) to downstream tasks while updating only a small fraction of their pretrained parameters. Low-Rank Adaptation (LoRA) uses two trainable low-rank matrices, while Weight-Decomposed Low-Rank Adaptation (DoRA) further separates weight magnitude and direction but retains the dense LoRA-style factorization in its directional branch. We propose ChainDoRA, a weight-decomposed adaptation framework that constructs the directional low-rank factors from a connected Tensor-Train (TT) chain, where the adapter rank forms the boundary rank between input- and output-side TT contractions and an independent TT rank controls representation capacity and parameter cost. Under a controlled 15,119-example response-only adaptation setting with LLaMA-7B, ChainDoRA is evaluated against matched LoRA and DoRA baselines on seven commonsense reasoning benchmarks. ChainDoRA with TT rank 16 achieves a seven-task average accuracy of 72.30%, compared with 69.88% for LoRA and 69.39% for DoRA, while requiring only 5.35M trainable parameters versus 56.10M for LoRA and 56.98M for DoRA, corresponding to a 90.62% reduction relative to DoRA. Ablations over TT rank and adapter placement show controllable parameter-accuracy trade-offs, indicating that connected TT parameterization can substantially reduce the parameter cost of magnitude-direction adaptation while preserving, and in this setting improving, downstream reasoning performance.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、トレーニング済みパラメータのごく一部を更新しながら、下流タスクに大規模な言語モデル(LLM)を適用する。 Low-Rank Adaptation (LoRA) は2つのトレーニング可能な低ランク行列を使用し、Weight-Decomposed Low-Rank Adaptation (DoRA) はさらに重量の大きさと方向を分離するが、その方向分岐に密度のLoRAスタイルの分解を保持する。 本稿では、入力側と出力側の境界ランクと独立したTTランクが表現能力とパラメータコストを制御し、接続されたTensor-Train(TT)チェーンから指向性低ランク因子を構成する重畳適応フレームワークChainDoRAを提案する。 LLaMA-7Bを用いた15,119例の応答のみ適応設定において,ChainDoRAは7つのコモンセンス推論ベンチマークで一致したLoRAおよびDoRAベースラインに対して評価される。 TTランク16のChainDoRAの平均精度は72.30%、LoRAは69.88%、DoRAは69.39%、LoRAは56.10M、DoRAは56.98Mである。 TTランクとアダプタ配置に対するアブレーションは、制御可能なパラメータ精度トレードオフを示し、接続されたTTパラメータ化は、保存中の大方向適応のパラメータコストを大幅に低減し、この設定により、下流の推論性能が向上することを示す。

関連論文リスト

• EulerLoRA: Rank-Driven Jump Dynamics for Calibrated Parameter-Efficient Fine-Tuning [5.989831419348467]
  Low-Rank Adaptation (LoRA)はパラメータ効率の良い微調整を可能にするが、標準のLoRAは単一の決定論的モデルを生成する。 EulerLoRAは、共有低ランクアダプタのランク1成分に沿って構造化されたサンプリングによって複数のトラジェクトリを生成する。 EulerLoRAは、強力なLoRA-Ensembleベースラインと比較して、同等または改善されたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-08-02T10:41:39Z)
• FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning [9.545927016753025]
  我々はFoRAを導入し、アダプタのランクではなく、適応されたレイヤの数を減らすことでゴールを再考する。 FoRAはパラメータ予算の半分でLoRAとDoRAを上回っている。 LLaMA、Qwen3、Gemmaファミリーの12個のバックボーンのクロスアーキテクチャ実験により、270Mから32Bパラメータの連続的な増加が確認された。
  論文  参考訳（メタデータ） (2026-05-28T03:47:00Z)
• Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
  大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
  論文  参考訳（メタデータ） (2026-05-15T12:26:17Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation [59.34193580856381]
  Low-Rank Adaptation (LoRA) は大規模言語モデルの微調整に広く使われ、有効である。 本稿では,LoRAのスケーリング係数を最適化するシンプルな手法であるRoRA(Rank-adaptive Reliability Optimization)を提案する。 RoRAは、ランクサイズが大きくなるにつれて性能が向上し、微調整プルーニングモデルにおける精度回復というより困難な課題を克服する。
  論文  参考訳（メタデータ） (2025-01-08T07:13:52Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。