論文の概要: LACS: Distribution-Sensitive Label-Agnostic Confidence Selection for Dynamic Data Pruning

• arxiv url: http://arxiv.org/abs/2611.05616v1
• Date: Tue, 03 Nov 2026 20:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.849196
• Title: LACS: Distribution-Sensitive Label-Agnostic Confidence Selection for Dynamic Data Pruning
• Title（参考訳）: LACS:動的データ抽出のための分布感度ラベル非依存信頼選択
• Abstract要約: 大規模なデータセットのトレーニングは、どのサンプルが高価なトレーニング計算を受けるかを選択する動機となっている。 LACS(Label-Agnostic Confidence Selector)は,最大予測信頼度に基づく学習時間ルールである。 7つの評価設定には、ニューラルトレーニング、言語モデリング、ブーピングが含まれる。
• 参考スコア（独自算出の注目度）: 1.9000311354194375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training on large datasets motivates selecting which examples receive expensive training computation. Fixed quotas determine the amount of pruning in advance, while absolute confidence cutoffs depend on the score scale. We study a population-relative alternative that adapts the threshold and retained count together. We introduce LACS (Label-Agnostic Confidence Selector), a training-time rule based on maximum predictive confidence, requiring neither labels at selection time nor per-example gradients. LACS removes examples at or above a log-mean-exp reference plus a margin. We characterize its sensitivity to score gaps and mass, and derive an exact no-pruning condition. For $0<ρ<1$, the removed fraction is at most $ρ$ and at least one example remains. The unsigned score permits both confidently correct and confidently wrong examples to be removed. Seven evaluation settings include neural training, language modeling, and boosting. Neural execution studies reduce backward-active rows by 10-35%; on CIFAR-10, 29% fewer backward rows accompany accuracy means of 89.77% versus 89.82% for full CE. At a matched backward budget and number of optimizer updates, LACS is 1.0 pp above small-batch training and 1.2 pp above random selection over five seeds. Across 14 tabular datasets, quadratic boosting reduces mean test error from 23.36% to 22.96%. Its full training replays use about 30% fewer fitting rows; these counters span a different horizon from validation-selected accuracy. In one RBF-SVM case study, elapsed time falls by 37% with slightly lower error. These findings separate selective-work reduction from realized acceleration: the current exact-current-score neural implementation uses an additional scoring forward, so its backward sparsity does not yet translate into wall-clock acceleration. This overhead is an execution choice rather than a requirement of the selection rule.
• Abstract（参考訳）: 大規模なデータセットのトレーニングは、どのサンプルが高価なトレーニング計算を受けるかを選択する動機となっている。 固定されたクォータは事前にプルーニングの量を決定するが、絶対的な信頼性のカットオフはスコアスケールに依存する。 我々は、閾値に適応し、カウントを一緒に保持する、人口相対的な代替策について研究する。 LACS(Label-Agnostic Confidence Selector)は,最大予測信頼度に基づく学習時間ルールである。 LACSは、log-mean-exp参照とマージンの例を削除している。 ギャップと質量を測る感度を特徴付け, 正確な非切断条件を導出する。 0<ρ<1$の場合、除去された分数は少なくとも$ρ$であり、少なくとも1つの例が残っている。 符号なしスコアは、確実な正確さと確実な誤りの両方を除去することができる。 7つの評価設定には、ニューラルトレーニング、言語モデリング、ブーピングが含まれる。 CIFAR-10では、後方行の精度は89.77%で、完全なCEでは89.82%である。 一致した後方予算とオプティマイザ更新数では、LACSは小バッチトレーニングより1.0 pp、ランダム選択は5つのシードより1.2 ppである。 14の表のデータセットで、平均テストエラーを23.36%から22.96%に減らす。 完全なトレーニングリプレイでは、フィッティング行が約30%削減されている。 あるRBF-SVMケーススタディでは、経過時間が37%減少し、エラーはわずかに減少した。 現在の正確な電流スコアのニューラルインプリメンテーションは、追加のスコアフォワードを使用するため、後方の間隔はまだウォールクロックアクセラレーションに変換されない。 このオーバーヘッドは、選択ルールの要件ではなく、実行選択である。

関連論文リスト

• Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory [11.248183145614815]
  直接選好最適化は、出力スコア、シーケンス実行、バックプロパゲーションのトレーニングコストを発生させる。 本稿では,DPOグラフの計算処理のための統一的なフレームワークを提案する。 位置とシーケンスのプルーニングはピークメモリの削減を主目的としており、ほとんどの出力は完全な応答監視を維持できる実装に起因している。
  論文  参考訳（メタデータ） (2026-10-21T10:25:15Z)
• 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation [30.723155979280083]
  役に立つ教師指導は、次のトークンのサンプルから勾配が推定されたときにノイズを発生させる。 本稿では,信号対雑音分解に基づく情報効率比(IER)を提案する。 候補セット近似は、IERと既存の有用性スコアの組み合わせに基づいてトークンの選択を可能にする。
  論文  参考訳（メタデータ） (2026-09-21T11:28:24Z)
• K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation) [0.0]
  K-ABENAK-Adaptive Backpropagation with Error-based N-exclusionは選択的な計算フレームワークである。 これは、少量の低損失("ミニ")観測を除外することで、イット当たりの計算トレーニングコストを削減する。 ラベル制限下で0.386の精度(ベースライン:0.832)、極端な不均衡下で0.53のAUCに崩壊する。
  論文  参考訳（メタデータ） (2026-07-07T06:58:51Z)
• Beyond Greedy Exits: Improved Early Exit Decisions for Risk Control and Reliability [14.00844847268286]
  早期のDeep Neural Networksは、中間層での予測を可能にすることで、適応推論を可能にする。 我々のフレームワークは、フルモデルのパフォーマンスと比較して、パフォーマンス低下(2%)を最小限に抑えながら、スピードアップ(1.70-2.10x)が一貫した改善を示している。
  論文  参考訳（メタデータ） (2025-09-28T06:05:24Z)
• Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
  CANデータからトラックの積載量の検出について検討する。 私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。 我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:58:22Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Selecting Learnable Training Samples is All DETRs Need in Crowded Pedestrian Detection [72.97320260601347]
  混雑した歩行者検出では, サンプル選択法が不適切であるため, DETRの性能は相変わらず不満足である。 制約誘導ラベル割り当てスキーム(CGLA)からなる群集歩行者のサンプル選択を提案する。 実験の結果,提案したSSCPは推論のオーバーヘッドを発生させることなく,ベースラインを効果的に改善することがわかった。
  論文  参考訳（メタデータ） (2023-05-18T08:28:01Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Are Straight-Through gradients and Soft-Thresholding all you need for Sparse Training? [21.889275006087875]
  ニューラルネットワークのトレーニング時に重みをゼロにすることは、推論時の計算複雑性を低減するのに役立つ。 トレーニング中に急激な重量不連続を生じさせることなく,ネットワーク内の空間密度比を徐々に高めるために,ソフトスレッディングとストレートスルー勾配推定を組み合わせる。 提案手法は,ストレートスルー/ソフトスレッショルド/スパーストレーニングのためのST-3と命名され,精度/スパース性および精度/FLOPSトレードオフの両面からSoA結果を得る。
  論文  参考訳（メタデータ） (2022-12-02T10:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。