論文の概要: Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples

• arxiv url: http://arxiv.org/abs/2510.20800v1
• Date: Thu, 23 Oct 2025 17:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:18.537114
• Title: Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples
• Title（参考訳）: Compress to Impress: 100サンプルの単一勾配ステップを用いた効率的なLCM適応
• Authors: Shiva Sreeram, Alaa Maalouf, Pratyusha Sharma, Daniela Rus,
• Abstract要約: LASERの網羅的で、マトリクスごとの探索は、迅速な展開には実用的ではない。 これらの結果を組み合わせることで、下流タスクに対する高速で堅牢な適応アルゴリズムが得られることを示す。
• 参考スコア（独自算出の注目度）: 57.67658635348395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Sharma et al. suggested a method called Layer-SElective-Rank reduction (LASER) which demonstrated that pruning high-order components of carefully chosen LLM's weight matrices can boost downstream accuracy -- without any gradient-based fine-tuning. Yet LASER's exhaustive, per-matrix search (each requiring full-dataset forward passes) makes it impractical for rapid deployment. We demonstrate that this overhead can be removed and find that: (i) Only a small, carefully chosen subset of matrices needs to be inspected -- eliminating the layer-by-layer sweep, (ii) The gradient of each matrix's singular values pinpoints which matrices merit reduction, (iii) Increasing the factorization search space by allowing matrices rows to cluster around multiple subspaces and then decomposing each cluster separately further reduces overfitting on the original training data and further lifts accuracy by up to 24.6 percentage points, and finally, (iv) we discover that evaluating on just 100 samples rather than the full training data -- both for computing the indicative gradients and for measuring the final accuracy -- suffices to further reduce the search time; we explain that as adaptation to downstream tasks is dominated by prompting style, not dataset size. As a result, we show that combining these findings yields a fast and robust adaptation algorithm for downstream tasks. Overall, with a single gradient step on 100 examples and a quick scan of the top candidate layers and factorization techniques, we can adapt LLMs to new datasets -- entirely without fine-tuning.
• Abstract（参考訳）: 最近、SharmaらはLayer-Selective-Rank reduction (LASER)と呼ばれる手法を提案し、慎重に選択されたLLMの重み行列の高次成分を刈り取ることで、勾配に基づく微調整なしに下流の精度を向上できることを示した。 しかし、LASERの網羅的で、マトリクス毎の検索(いずれもフルデータセットのフォワードパスを必要とする)は、迅速な展開には実用的ではない。 私たちは、このオーバーヘッドを除去し、それを見つけることを実証します。 (i)小さな、慎重に選択された行列の部分だけを検査する必要がある。 (ii)行列が縮退する行列の特異値ピンポイントの勾配 三 行列列を複数の部分空間の周囲に集め、個別に分解することにより、分解探索空間の増大により、元のトレーニングデータに対する過度な適合がさらに減少し、さらに24.6ポイントの精度が向上し、最終的に精度が向上する。 (iv) 入力勾配の計算と最終精度の測定の両方で、トレーニングデータではなく、100点のサンプルを評価すれば、検索時間がさらに短縮できることがわかった。 その結果、これらの結果を組み合わせることで、下流タスクに対する高速で堅牢な適応アルゴリズムが得られることがわかった。 全体として、100のサンプルに対する1つの勾配ステップと、上位候補層と分解テクニックのクイックスキャンによって、LSMを新しいデータセットに — 完全に微調整することなく — 適応することが可能になります。

関連論文リスト

• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• FLOPS: Forward Learning with OPtimal Sampling [1.694989793927645]
  勾配に基づく計算手法は、最近、クエリとも呼ばれる前方通過のみによる学習に焦点が当てられている。 従来の前方学習はモンテカルロサンプリングによる正確な勾配推定のために各データポイントで膨大なクエリを消費する。 本稿では,評価精度と計算効率のバランスを良くするために,訓練中の各データに対して最適なクエリ数を割り当てることを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:16:12Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• A Scalable Second Order Method for Ill-Conditioned Matrix Completion from Few Samples [0.0]
  低ランク行列補完のための反復アルゴリズムを提案する。 ほとんどサンプルから最大10ドルの条件数で、非常に不調な行列を完遂することができる。
  論文  参考訳（メタデータ） (2021-06-03T20:31:00Z)
• Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method [0.0]
  低ランク行列に対する反復アルゴリズムを提案する。 多くの最先端の手法とは異なり、我々の手法は少数のサンプルから最大10ドルの条件数で非常に不調な条件を満たすことができることを示す数値実験で示している。
  論文  参考訳（メタデータ） (2020-09-07T06:51:20Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。