論文の概要: Refreshing Less, Selecting Better: Reusing Stale Gradient Features for Efficient Influence-Based Data Selection

• arxiv url: http://arxiv.org/abs/2609.32888v1
• Date: Sat, 26 Sep 2026 19:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 12:12:52.672207
• Title: Refreshing Less, Selecting Better: Reusing Stale Gradient Features for Efficient Influence-Based Data Selection
• Title（参考訳）: Refreshing Less, Selecting Better: Reusing Stale Gradient Features for Efficient Influence-based data Selection
• Abstract要約: LESSのようなグラディエントベースのデータ選択方法は、その勾配と目標の検証勾配との整合によって各候補をスコアし、新しいチェックポイント毎にサンプルごとの勾配特徴を再計算することでコストを抑える。 そこで本研究では,トップランクの分数$p$候補の勾配特性を再計算するCached Diverse Influence Selection (CDIS)を提案する。 CDISは、ゼロを除いた信頼区間と4.3ポイントの完全再計算、トレーニングラン標準偏差、選択コストの3.4倍の確率でランダム選択よりも12ポイント高いスコアを得る。
• 参考スコア（独自算出の注目度）: 10.53324936310131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based data selection methods such as LESS score each candidate by the alignment between its gradient and a target validation gradient, and recomputing per-example gradient features at every new checkpoint dominates their cost. Across three selection seeds, two model families, two candidate pools, and two target tasks, features cached at a post-warmup checkpoint and paired with fresh validation gradients preserve the ranking 40 optimizer steps later with Spearman correlation from 0.952 to 0.991, while the top-10% subset they induce misses 10 to 22% of the examples that full recomputation selects. We therefore propose Cached Diverse Influence Selection (CDIS), which recomputes gradient features for the top-ranked fraction $p$ of candidates under the stale scores, fits an affine calibration on the recomputed examples, and selects the final subset under source and length quotas. A refresh fraction at or above the selection fraction recovers the exact top-$k$ subset whenever the calibrated stale scores have bounded error, and the budget curves follow this rule: at $p=0.3$ the recovered top-$k$ subset coincides with full recomputation in every setting, allocating the same budget per stratum recovers the stratified subset at 0.92 to 1.00, and gradient-stage wall-clock drops 3.5 to 3.6 times. Iterating the cache over four checkpoints keeps top-$k$ overlap at 0.98 or higher at 1.9 gradient features per example against 4 for full recomputation, and stale-to-recomputed agreement on the refreshed examples provides a free check for unsafe reuse. Downstream, unconstrained top-$k$ selection collapses to a single data source and scores 13 points below random selection on GSM8K. CDIS scores 12 points above random selection with paired confidence intervals that exclude zero and trails full recomputation by 4.3 points, one training-run standard deviation, at 3.4 times lower selection cost.
• Abstract（参考訳）: LESSのようなグラディエントベースのデータ選択方法は、その勾配と目標の検証勾配との整合によって各候補をスコアし、新しいチェックポイント毎にサンプルごとの勾配特徴を再計算することでコストを抑える。 3つの選択シード、2つのモデルファミリー、2つの候補プール、2つのターゲットタスクにおいて、ウォームアップ後のチェックポイントでキャッシュされ、新しいバリデーショングラデーションと組み合わせて、40のオプティマイザステップを維持し、スピアマン相関は0.952から0.991まで、そしてそれらが引き起こす上位10%のサブセットは完全な再計算が選択した例の10から22%を見逃す。 そこで,本研究では,上位の候補数に対して,上位の候補数$p$の勾配特性を再計算するCached Diverse Influence Selection (CDIS)を提案し,その再計算例にアフィンキャリブレーションを適合させ,ソースと長さのクォータの下で最終サブセットを選択する。 選択分画におけるリフレッシュ分画は、校正されたスタイルスコアが有界誤差を持つたびに、正確なトップ$k$サブセットを回復し、予算曲線は、このルールに従う:$p=0.3$で、回復されたトップ$k$サブセットは、すべての設定において完全な再計算と一致し、層ごとに同じ予算を割り当てると、階層化されたサブセットは0.92から1.00で、勾配ステージのウォールクロックは3.5から3.6倍に低下する。 4つのチェックポイントでキャッシュを繰り返すと、トップ$kが0.98以上のオーバーラップし、フル再計算のために4に対して1.9のグラデーション機能でオーバーラップし、更新された例に対する古い再計算された合意は、安全でない再利用のための無料のチェックを提供する。 下流の非制限のトップ$k$選択は単一のデータソースに崩壊し、GSM8Kのランダム選択よりも13ポイント低い。 CDISは、ゼロを除いた信頼区間と4.3ポイントの完全再計算、トレーニングラン標準偏差、選択コストの3.4倍の確率でランダム選択よりも12ポイント高いスコアを得る。

関連論文リスト

• OSCC: Certified Observation-Safe Coupling Optimization for Gradient-Noise Control in Imperfect-Information Learning [23.835119696596095]
  無効な結合は、隠された状態を隠蔽し、内因性ポリシーのランダム性を同期させ、または、偽の履歴が分岐した後の誤ったチャンスイベントを発生させる。 本稿では,限界保存,情報状態安全性,ブランチローカルなポリシーランダム性,セマンティックイベントアライメント,トレース・ビオークル・リプレイなどを通じて,許容可能なクラスを定義するフレームワークであるオブザーバセーフ・カウンタファクト・カップリング(O SCC)を紹介する。 我々は, 限界保存結合に対して, ポリシ・ヤコビアン重み付き対角外帰還共分散が雑音変化を決定することを示す勾配対応結合基準を導出する。
  論文  参考訳（メタデータ） (2026-09-27T13:10:30Z)
• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning [2.8699714648237387]
  密度の高い調査では、分割半信頼パス四分法スコアは16.1%上昇し、選択されたエンドポイントは2つの制御よりも6.0-7.7%低下した。 我々は、最も供給の悪いグループがいつデプロイに気を配るのか、圧縮統計が正当化できるものは何なのかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-03T23:07:29Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Conditional Inference Trees and Forests for Feature Selection [0.0]
  条件推論木 (CIT) と条件推論林 (CIF) は, 分割しきい値を選択する前に, テスト特徴による分割選択バイアスを低減する。 我々は,CITとCIFを,実データベンチマーク,ランタイムアブリゲーション,合成機能回復実験を用いて,下流予測のための上位k$の機能評価手法として検討する。
  論文  参考訳（メタデータ） (2026-07-01T19:23:07Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions [77.32043242988738]
  我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。 提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
  論文  参考訳（メタデータ） (2023-04-24T06:36:35Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。