論文の概要: Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning

• arxiv url: http://arxiv.org/abs/2610.07553v1
• Date: Tue, 06 Oct 2026 00:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.724355
• Title: Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning
• Title（参考訳）: データ中心型小言語モデルファインタニングのためのグラディエント・アドミッション
• Abstract要約: LoRAファインチューニングは、低ランク更新サブスペース内の不均一な命令データに小さな言語モデルを適用する。 有効適応には、どのデータ誘起勾配がLoRA部分空間に入るか、いつ入力されるかを制御する必要があると我々は主張する。 本稿では,多タスク場勾配に整合したサンプルを継続的に認識する状態認識セレクタと,飽和付近で破壊的なオーバーライトを引き起こす可能性のある更新を拒否する自己校正ステップレベルゲートの2つのメカニズムを組み合わせたデータ中心のフレームワークGRADEを提案する。
• 参考スコア（独自算出の注目度）: 64.55611886841092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LoRA fine-tuning adapts small language models (SLMs) to heterogeneous instruction data within a low-rank update subspace, making it vulnerable to three structural problems: conflicting gradients that cancel, static data selection that cannot track evolving learning dynamics, and subspace saturation that causes later updates to overwrite useful directions. We argue that effective adaptation therefore requires controlling which data-induced gradients enter the LoRA subspace and when. We propose GRADE (GRadient-Aligned Data-centric rEcipe), a data-centric framework combining two mechanisms: a state-aware selector that continually admits samples aligned with the evolving multi-task gradient field, and a self-calibrating step-level gate that rejects updates likely to cause destructive overwrite near saturation. Across three current-generation backbones and a heterogeneous seven-dataset instruction pool, GRADE outperforms strong data-selection and PEFT-stabilization baselines in accuracy and robustness. It is the only method to improve consistently over standard LoRA on every architecture, while producing more coherent gradient trajectories and less destructive overwrite. These results show that successful SLM adaptation depends not only on which data are selected, but also on which gradients are allowed to enter and persist in the constrained update subspace.
• Abstract（参考訳）: LoRAファインチューニングは、低ランクな更新サブスペース内の不均一な命令データに小さな言語モデル(SLM)を適用することで、キャンセルするグラデーションの競合、進化する学習ダイナミクスを追跡できない静的データ選択、後続の更新で有用な方向を上書きするサブスペース飽和という3つの構造的問題に脆弱性を持つ。 したがって、有効適応には、どのデータ誘起勾配がLoRA部分空間に入るか、いつ入力されるかを制御する必要がある。 本稿では,データ中心のフレームワークGRADE(GRADE-Aligned Data-centric rEcipe)を提案する。このフレームワークは,マルチタスクの勾配場に整合したサンプルを継続的に認識する状態認識セレクタと,飽和付近で破壊的なオーバーライトを引き起こす可能性のある更新を拒否する自己校正ステップレベルゲートである。 GRADEは3つの現行世代のバックボーンとヘテロジニアスな7つのデータセットの命令プールの中で、強いデータ選択とPEFT安定化ベースラインを精度と堅牢性で上回っている。 すべてのアーキテクチャ上で標準のLoRAよりも一貫して改善する唯一の方法であり、より一貫性のある勾配軌道を生成し、破壊的なオーバーライトを少なくする。 これらの結果から, SLM の適応性は, 選択したデータだけでなく, 制限された更新部分空間にどの勾配が入るかにも依存することがわかった。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• GradientSpace: Unsupervised Data Clustering for Improved Instruction Tuning [13.559381851907778]
  GradientSpaceは、全次元勾配空間でサンプルを直接クラスタするフレームワークである。 オンラインSVDベースのアルゴリズムをLoRA勾配上で動作させ,全てのサンプル勾配を格納するコストを伴わずに潜伏スキルを識別する。 単一で適切な専門家へのルーティングは、事前作業で使用する専門家のアンサンブルよりも優れ、推論遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-12-07T06:35:04Z)
• Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
  我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。 本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。 提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-09-29T01:30:15Z)
• GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs [34.90826139012299]
  非学習過程における更新の方向を規定する改良されたフレームワークであるグラデーション・リクティファイド・アンラーニング(GRU)を提案する。 GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。
  論文  参考訳（メタデータ） (2025-03-12T07:08:54Z)
• DSLO: Deep Sequence LiDAR Odometry Based on Inconsistent Spatio-temporal Propagation [66.8732965660931]
  本稿では,LiDAR odometry DSLO の非一貫性時間伝搬に基づく3次元点列学習モデルを提案する。 ピラミッド構造で、シーケンシャルなポーズモジュール、階層的なポーズリファインメントモジュール、時間的特徴伝搬モジュールで構成されている。
  論文  参考訳（メタデータ） (2024-09-01T15:12:48Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)
• ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation [111.56730703473411]
  LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。 シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。 ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2020-09-07T23:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。