論文の概要: DRIVE: Fine-tuning via Data Contribution- and Diversity-aware Weighting with Prior Regularization

• arxiv url: http://arxiv.org/abs/2610.32501v1
• Date: Fri, 23 Oct 2026 11:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.505744
• Title: DRIVE: Fine-tuning via Data Contribution- and Diversity-aware Weighting with Prior Regularization
• Title（参考訳）: DRIVE: 事前正規化によるデータ貢献による微調整と多様性を考慮した重み付け
• Abstract要約: 本稿では,原則的かつ効率的な重量割当フレームワークDRIVEを提案する。 統一された微分可能な目的によって、サンプル単位の重みを導出する。 DRIVEが既存の重み付け方式よりも優れた安定性・塑性保証を享受できることを実証する。
• 参考スコア（独自算出の注目度）: 12.821121565364066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Single-stage fine-tuning is pervasive, yet catastrophic forgetting persists when the source pre-training data is inaccessible. Data weighting affords a natural lever to modulate sample influence. Yet existing weighting methods lack a principled mechanism to explicitly arbitrate knowledge retention against new-task adaptation, and provide no unified differentiable objective to accommodate auxiliary signals such as sample diversity and sample characteristics. This is because current schemes privilege one goal over the other, and no explicit gradient-compatible encoding exists for such signals. To address this, we propose DRIVE, a principled and efficient weight assignment framework. It derives per-sample weights via a unified differentiable objective where three coupled signals co-evolve: Shapley additivity splits contribution into anti-forgetting and adaptation components, which are reshaped by a covariance-based diversity term and stabilized by a sample-characteristic prior. Far from a mere combination, this yields an end-to-end gradient-based scheme balancing stability against plasticity. Theoretically, we prove that DRIVE enjoys superior stability-plasticity guarantees over existing weighting schemes and enhances parameter estimation robustness. Empirically, it attains superior overall performance, faster convergence, and stronger robustness. Code at https://github.com/luciabcd/DRIVE.
• Abstract（参考訳）: 単一ステージの微調整は広範に行われているが、ソースの事前学習データがアクセスできない場合には、破滅的な忘れ込みが持続する。 データ重み付けは、サンプルの影響を調節する天然レバーを提供する。 しかし、既存の重み付け手法には、新しいタスク適応に対して知識保持を明示的に調停する原則的なメカニズムが欠けており、サンプルの多様性やサンプルの特性といった補助的な信号に対応するための統一された識別可能な目的は提供されていない。 これは、現在のスキームが他方よりも1つの目標を特権化しており、そのような信号に対して明確な勾配互換の符号化は存在しないためである。 そこで本研究では,原則的かつ効率的な重み割り当てフレームワークDRIVEを提案する。 3つの結合した信号が共進化する、統一された微分可能な目的によって、サンプル単位の重みが導出される: シェープな加算は、共分散に基づく多様性の項によって再形成され、サンプル-特性の先行によって安定化される、反鍛造と適応の構成要素に寄与を分割する。 単なる組み合わせとは程遠いが、これはプラスチック性に対する安定性のバランスをとるエンドツーエンドの勾配に基づくスキームをもたらす。 理論的には、DRIVEは既存の重み付け方式よりも優れた安定性・塑性保証を享受し、パラメータ推定の堅牢性を高める。 経験的には、より優れた全体的なパフォーマンス、より高速な収束、強力な堅牢性を実現する。 コードネームはhttps://github.com/luciabcd/DRIVE。

関連論文リスト

• Rethinking Data Augmentation under Covariate Shift: Invariant-Guided Diffusion and Prototype Reweighting [48.25268129930951]
  我々は,孤立点ではなく構造クラスタによるサンプル信頼性を評価するプロトタイプベースのリウェイト手法を開発した。 本手法は,ロバスト学習に最も有用なデータを増やすことにより,データ品質を向上させる。
  論文  参考訳（メタデータ） (2026-10-01T00:46:17Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Uncertainty-driven Embedding Convolution [16.523816971857787]
  不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECは決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、埋め込みの不確実性に基づいて適応アンサンブル重みを計算する。
  論文  参考訳（メタデータ） (2025-07-28T11:15:25Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。