論文の概要: LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

• arxiv url: http://arxiv.org/abs/2608.03020v1
• Date: Tue, 04 Aug 2026 02:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.99458
• Title: LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment
• Title（参考訳）: LoCA: ワンショットキャリブレーションとローカルクレジットアサインメントを併用した前向きLLMチューニング
• Abstract要約: LoCA(Local Credit Assignment)は、小シフト適応のための2段階の方法である。 1つのプローブの後方通過は、最終予測誤差から局所的な隠れ状態補正まで、各変圧器ブロックのローランクマップに適合する。 したがって、LoCAはグローバルクレジットの割り当てを1つのキャリブレーションに減らし、後続のフォワードオンリーチューニングを可能にする。
• 参考スコア（独自算出の注目度）: 12.282686233879012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient post-training reduces the number of trainable parameters, but still requires repeated end-to-end backpropagation through the frozen backbone. Every adaptation step therefore needs backward-capable hardware and must store or recompute activations. We ask whether this repeated backward chain can be replaced by a one-time calibration. We introduce Local Credit Assignment (LoCA), a two-stage method for small-shift adaptation. One probe backward pass fits a low-rank map at each transformer block from the final prediction error to a local hidden-state correction. LoCA then reuses these maps to form blockwise regression targets from forward activations and fits low-rank adapters with closed-form ridge solves. No further backbone backward pass is required. We evaluate LoCA on five discriminative benchmarks with Qwen2.5 models from 0.5B to 14B. In 16 of 25 reported task--scale comparisons, LoCA yields lower evaluation cross-entropy than the corresponding LoRA run. Its measured full-run GPU peak, including calibration, is 26--29\% lower than LoRA's. After calibration, its CPU steady-state memory is 36--52\% lower and its per-pass time is 43--48\% lower. A shared scale-normalized candidate set is reused across all tested Qwen2.5 sizes and on SmolLM2-1.7B. LoCA thus amortizes global credit assignment into one calibration and enables later forward-only tuning when repeated backpropagation is impractical. The code associated with this paper is available \href{https://github.com/Xia12121/LoCA}{here}.
• Abstract（参考訳）: パラメータ非効率な後トレーニングはトレーニング可能なパラメータの数を減らしますが、凍結したバックボーンを通したエンドツーエンドのバックプロパゲーションを繰り返す必要があります。 したがって、すべての適応ステップは後方対応ハードウェアを必要とし、アクティベーションを保存または再計算する必要がある。 この繰り返しの逆行鎖が1回キャリブレーションで置き換えられるかどうかを問う。 小シフト適応のための2段階法であるLoCA(Local Credit Assignment)を導入する。 1つのプローブの後方通過は、最終予測誤差から局所的な隠れ状態補正まで、各変圧器ブロックのローランクマップに適合する。 その後、LoCAはこれらのマップを再利用して前方アクティベーションからのブロックワイド回帰ターゲットを形成し、ローランクアダプタに閉形式リッジの解を適合させる。 バックボーンの後方通過は不要である。 0.5Bから14BまでのQwen2.5モデルを用いた5つの判別ベンチマークでLoCAを評価する。 25のタスクスケール比較のうち16の報告では、LoCAは対応するLoRAランよりも低い評価エントロピーが得られる。 キャリブレーションを含むフルランGPUピークは、LoRAよりも26--29\%低い。 キャリブレーション後、CPUの定常メモリは36--52\%低下し、パス毎の時間は43--48\%低下する。 共有スケール正規化候補セットは、テストされた全てのQwen2.5サイズとSmolLM2-1.7B上で再利用される。 したがって、LoCAはグローバルクレジットの割り当てを1つのキャリブレーションに減らし、繰り返しバックプロパゲーションが非現実的な場合、後続のフォワードオンリーチューニングを可能にする。 この論文に関連するコードは、 \href{https://github.com/Xia12121/LoCA}{here} で公開されている。

関連論文リスト

• LoRA-RC: Reservoir Computing with Low-Rank Adaptation [0.0]
  LoRA-RCは、ストリーミング予測エラーによって駆動される低ランク補正により、リカレント行列に適応する。 急激なパラメータドリフトを持つLorenzシステムでは、LoRA-RCは、固定されたRCに対して56%、リードアウトのみの適応に対して51%削減する。
  論文  参考訳（メタデータ） (2026-09-11T01:19:48Z)
• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
  本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
  論文  参考訳（メタデータ） (2026-08-25T19:01:58Z)
• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• A Better Start for Language Models: Domain-Conditional Position Offsets [0.0]
  オフセットは、およそ100のドキュメントで数分でトレーニングし、シーケンス状態を追加せずにドメイン間を切り替え、測定可能な遅延オーバーヘッドがない。 チューニングされたLoRAは低いパープレキシティに達するが、2～3桁のパラメータとアクティブな低ランクウェイトパスを使用し、ソフトプロンプトはシーケンス位置を付加する。
  論文  参考訳（メタデータ） (2026-07-17T02:12:09Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
  本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。 1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。 HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
  論文  参考訳（メタデータ） (2026-05-28T12:24:15Z)
• Attractor FCM [0.0]
  本稿では、アトラクタFCMを作成し、テストし、分析する。 これは勾配降下に基づく、物理学に制約のある、FCMのヤコビアン版である。
  論文  参考訳（メタデータ） (2026-04-30T14:44:47Z)
• BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
  正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。 本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:38:25Z)
• Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
  Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。 テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。 ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-26T03:26:37Z)
• All is Not Lost: LLM Recovery without Checkpoints [0.1638581561083717]
  CheckFreeは、失敗するステージを最も近いステージの重み付き平均で置き換える効率的なリカバリ手法である。 CheckFreeとCheckFree+は、ウォールクロック時間の収束率でチェックポイントと冗長な計算を12%以上上回った。
  論文  参考訳（メタデータ） (2025-06-18T13:48:33Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。