論文の概要: Recover-LoRA: Data-Free Accuracy Recovery of Degraded Language Models via Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2510.08600v1
• Date: Mon, 06 Oct 2025 17:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.09497
• Title: Recover-LoRA: Data-Free Accuracy Recovery of Degraded Language Models via Low-Rank Adaptation
• Title（参考訳）: Recover-LoRA:低ランク適応による劣化言語モデルのデータフリー精度回復
• Authors: Devleena Das, Rajeev Patwari, Ashish Sirasao,
• Abstract要約: 劣化モデルの精度を回復するための軽量・データセット手法であるRecover-LoRAを提案する。 Recover-LoRAは、合成データとロジット蒸留アダプタを使用して、劣化したモデルをその完全精度モデルに整合させる選択的な層上でLoRAを学習する。 以上の結果から,Recover-LoRAはMHAおよびGQA SLMのモデル精度を5-17%回復することがわかった。
• 参考スコア（独自算出の注目度）: 3.3384972408091804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference optimizations such as quantization, pruning, format and datatype conversion, model export, and serialization can lead to functional degradations in language model task performance. While most efforts on performance recovery for deployment focus on robust quantization techniques, we focus on recovering model accuracies from any sources that degrade model weights, such as improper model serialization. In this work, we propose Recover-LoRA, a lightweight and dataset agnostic method to recover accuracy in degraded models. Recover-LoRA uses synthetic data and logit distillation to learn LoRA adapters on selective layers that facilitate aligning the degraded model to its full precision model. We investigate the utility of Recover-LoRA across a diverse set of small language models (SLMs), including models with varying attention architectures, multi-head attention (MHA) and group-query attention (GQA), as well as several evaluation datasets. Our results show that Recover-LoRA recovers model accuracies by 5-17% on MHA and GQA SLMs.
• Abstract（参考訳）: 量子化、プルーニング、フォーマットとデータ型変換、モデルのエクスポート、シリアライゼーションといった推論最適化は、言語モデルタスクのパフォーマンスを機能的に劣化させる可能性がある。 デプロイメントのパフォーマンス回復は,ロバストな量子化技術に重点を置いているが,不適切なモデルシリアライゼーションなどのモデル重みを低下させるソースからのモデル精度の回復に重点を置いている。 本研究では,劣化モデルの精度を回復する軽量かつデータセットに依存しないRecover-LoRAを提案する。 Recover-LoRAは合成データとロジット蒸留を使用して、劣化したモデルをその完全精度モデルに整合させる選択層上でLoRAアダプタを学習する。 本稿では,様々な注目アーキテクチャ,マルチヘッドアテンション(MHA),グループクエリアテンション(GQA),およびいくつかの評価データセットを含む,多種多様な小言語モデル(SLM)におけるRecover-LoRAの有用性について検討する。 以上の結果から,Recover-LoRAはMHAおよびGQA SLMのモデル精度を5-17%回復することがわかった。

関連論文リスト

• MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration [62.929029990341796]
  実世界のビデオは、ノイズ、圧縮アーティファクト、低照度歪みなどの複雑な劣化に悩まされることが多い。 3つの協調エージェントによる人間のプロの推論・処理手順を模倣したMoA-VRを提案する。 具体的には、大規模かつ高解像度なビデオ劣化認識ベンチマークを構築し、視覚言語モデル(VLM)による劣化識別子を構築する。
  論文  参考訳（メタデータ） (2025-10-09T17:42:51Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
  既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。 既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。 実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:08:40Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Dataset Size Recovery from LoRA Weights [41.031813850749174]
  DSiReは、モデルを微調整するために使用される画像の数を復元する方法である。 新しいベンチマークであるLoRA-WiSEをリリースし、2000以上のLoRAファインチューニングモデルから25,000以上のウェイトスナップショットを作成しました。
  論文  参考訳（メタデータ） (2024-06-27T17:59:53Z)
• Rethinking Pruning for Vision-Language Models: Strategies for Effective Sparsity and Performance Restoration [41.714059733079374]
  VLM(Vision-Language Models)は、複数のモードからの情報を統合し、様々なタスクで顕著な成功を収めた。 本研究は,異なるモダリティ特化モデルに対して空間分布を分散する方法と,刈り取ったスパースVLMの性能を回復する方法という,2つの重要な疑問に対処する。
  論文  参考訳（メタデータ） (2024-04-03T03:27:01Z)
• Investigating Training Strategies and Model Robustness of Low-Rank Adaptation for Language Modeling in Speech Recognition [27.515920408920216]
  フリーズドプレトレーニング言語モデル(PLM)を用いたローランク適応(LoRA)は、メモリ制約ハードウェアのための資源効率の高いモデリング手法である。 本研究では,様々なLoRAトレーニング戦略を導入することにより,モデル性能を向上させる方法について検討する。 LoRAに基づく第2パス音声認識モデルの安定性をさらに評価するため,入力摂動に対する検討を行った。
  論文  参考訳（メタデータ） (2024-01-19T01:30:16Z)
• Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
  我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-07T21:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。