論文の概要: PARIS: Pruning Algorithm via the Representer theorem for Imbalanced Scenarios
- arxiv url: http://arxiv.org/abs/2512.06950v1
- Date: Sun, 07 Dec 2025 18:05:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.603839
- Title: PARIS: Pruning Algorithm via the Representer theorem for Imbalanced Scenarios
- Title(参考訳): PARIS:不均衡シナリオの表現定理によるプルーニングアルゴリズム
- Authors: Enrico Camporeale,
- Abstract要約: textbfPARISはトレーニングセット自体を固定することで不均衡を緩和する原則付きフレームワーク
この結果から,表現誘導型データセットプルーニングは,レアイベント回帰に対する強力な,解釈可能な,計算的に効率的なアプローチであることが示唆された。
- 参考スコア(独自算出の注目度): 0.14504054468850663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The challenge of \textbf{imbalanced regression} arises when standard Empirical Risk Minimization (ERM) biases models toward high-frequency regions of the data distribution, causing severe degradation on rare but high-impact ``tail'' events. Existing strategies uch as loss re-weighting or synthetic over-sampling often introduce noise, distort the underlying distribution, or add substantial algorithmic complexity. We introduce \textbf{PARIS} (Pruning Algorithm via the Representer theorem for Imbalanced Scenarios), a principled framework that mitigates imbalance by \emph{optimizing the training set itself}. PARIS leverages the representer theorem for neural networks to compute a \textbf{closed-form representer deletion residual}, which quantifies the exact change in validation loss caused by removing a single training point \emph{without retraining}. Combined with an efficient Cholesky rank-one downdating scheme, PARIS performs fast, iterative pruning that eliminates uninformative or performance-degrading samples. We use a real-world space weather example, where PARIS reduces the training set by up to 75\% while preserving or improving overall RMSE, outperforming re-weighting, synthetic oversampling, and boosting baselines. Our results demonstrate that representer-guided dataset pruning is a powerful, interpretable, and computationally efficient approach to rare-event regression.
- Abstract(参考訳): 標準経験的リスク最小化(ERM)がデータ分散の高周波領域にモデルを偏り、まれだが高影響の ‘`tail'' イベントで深刻な劣化を引き起こすとき、‘textbf{im Balanced regression’ の課題が生じる。
損失再重み付けや合成オーバーサンプリングのような既存の戦略は、しばしばノイズを導入し、基礎となる分布を歪ませたり、アルゴリズムの複雑さをかなり増す。
トレーニングセット自体を最適化して不均衡を緩和する原理的フレームワークである「textbf{PARIS} (Pruning Algorithm via the Representer theorem for Im Balanced Scenarios)」を紹介する。
PARISは、ニューラルネットワークの表現定理を利用して、単一のトレーニングポイント \emph{without retraining} を削除することによって生じるバリデーション損失の正確な変化を定量化する、 \textbf{closed-form representationer deletion residual} を計算する。
効率のよいColeskyランクワンダウンデーティングスキームと組み合わせて、PARISは高速かつ反復的なプルーニングを行い、不定形または性能劣化のサンプルを除去する。
実際の宇宙気象の例では、PARISは、RMSE全体の保存や改善、再重み付け、合成オーバーサンプリング、ベースラインの強化をしながら、最大75%のトレーニングを削減します。
この結果から,表現誘導型データセットプルーニングは,レアイベント回帰に対する強力な,解釈可能な,計算的に効率的なアプローチであることが示唆された。
関連論文リスト
- BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。
この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。
しかし、これは現実世界の長い尾のデータ分布には適用できない。
本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
論文 参考訳(メタデータ) (2025-06-29T15:12:50Z) - FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。
Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。
既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文 参考訳(メタデータ) (2025-05-24T04:12:12Z) - On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。
我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
論文 参考訳(メタデータ) (2025-01-28T00:29:38Z) - Theoretical limits of descending $\ell_0$ sparse-regression ML algorithms [0.0]
本研究では,emphmaximum-likelihood (ML)デコーディングの性能解析プログラムを開発した。
ML性能パラメータの鍵となるのは、残留エンフェロ平均二乗誤差(textbfRMSE$)を発見し、いわゆるエンフェロ遷移(PT)現象を示す。
Fl RDTの具体的実装と実用的妥当性は、典型的には、基礎となる数値評価のサイズのセットを実行する能力に依存している。
論文 参考訳(メタデータ) (2024-10-10T06:33:41Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。
ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文 参考訳(メタデータ) (2023-11-21T05:22:39Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。
残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。
本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
論文 参考訳(メタデータ) (2022-12-15T05:09:11Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳(メタデータ) (2021-07-07T08:02:00Z) - Empirical Strategy for Stretching Probability Distribution in
Neural-network-based Regression [5.35308390309106]
ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。
両分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。
極端な領域に対するRMSEの改良結果は、非線形複雑系における異常事象の予測に利用されることが期待されている。
論文 参考訳(メタデータ) (2020-09-08T06:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。