論文の概要: Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression

• arxiv url: http://arxiv.org/abs/2509.15141v1
• Date: Thu, 18 Sep 2025 16:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.343609
• Title: Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
• Title（参考訳）: オンラインTilted Empirical Risk Minimizationのメリット: Outlier Detection と Robust Regression を事例として
• Authors: Yigit E. Yildirim, Samet Demir, Zafer Dogan,
• Abstract要約: 経験的リスク最小化(Empirical Risk Minimization、ERM)は、教師付き学習の基礎となるフレームワークである。 データが一度に1つのサンプルに到達するオンラインまたはストリーミング設定では、古典的なTERMは標準ERMに縮退する。 本稿では,従来の目的から対数を取り除き,新たな計算やメモリオーバーヘッドを伴わずに傾き効果を保存するオンラインTERMを提案する。
• 参考スコア（独自算出の注目度）: 7.238889207632064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical Risk Minimization (ERM) is a foundational framework for supervised learning but primarily optimizes average-case performance, often neglecting fairness and robustness considerations. Tilted Empirical Risk Minimization (TERM) extends ERM by introducing an exponential tilt hyperparameter $t$ to balance average-case accuracy with worst-case fairness and robustness. However, in online or streaming settings where data arrive one sample at a time, the classical TERM objective degenerates to standard ERM, losing tilt sensitivity. We address this limitation by proposing an online TERM formulation that removes the logarithm from the classical objective, preserving tilt effects without additional computational or memory overhead. This formulation enables a continuous trade-off controlled by $t$, smoothly interpolating between ERM ($t \to 0$), fairness emphasis ($t > 0$), and robustness to outliers ($t < 0$). We empirically validate online TERM on two representative streaming tasks: robust linear regression with adversarial outliers and minority-class detection in binary classification. Our results demonstrate that negative tilting effectively suppresses outlier influence, while positive tilting improves recall with minimal impact on precision, all at per-sample computational cost equivalent to ERM. Online TERM thus recovers the full robustness-fairness spectrum of classical TERM in an efficient single-sample learning regime.
• Abstract（参考訳）: 経験的リスク最小化(Empirical Risk Minimization, ERM)は、教師付き学習の基礎となるフレームワークであるが、主に平均ケースのパフォーマンスを最適化する。 Tilted Empirical Risk Minimization (TERM)は、平均ケース精度と最悪のケースフェアネスとロバストネスのバランスをとるために指数傾斜ハイパーパラメータ$t$を導入することでEMMを拡張している。 しかし、データが一度に1つのサンプルに到達するオンラインまたはストリーミング環境では、古典的なTERMは標準ERMに縮退し、傾き感度が低下する。 この制限に対処するために、従来の目的から対数を取り除き、追加の計算やメモリオーバーヘッドを伴わずに傾き効果を保存するオンラインTERMの定式化を提案する。 この定式化により、$t$で制御され、ERM(t \to 0$)と公正強調(t > 0$)の間を円滑に補間する。 オンラインTERMを2つの代表的なストリーミングタスクで実証的に検証する: 対数外乱の頑健な線形回帰と二項分類におけるマイノリティクラス検出である。 以上の結果から,正の傾きは外乱の影響を効果的に抑制する一方,正の傾きは精度への影響を最小限に抑えてリコールを改善することが示唆された。 オンラインTERMは,従来のTERMの完全ロバストネス・フェアネススペクトルを,効率的な単一サンプル学習方式で復元する。

関連論文リスト

• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [60.414548453838506]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• $i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
  大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。 経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-24T05:42:11Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Fraud Detection Using Optimized Machine Learning Tools Under Imbalance Classes [0.304585143845864]
  機械学習(ML)ツールのスマートバージョンによる不正検出は、安全性を保証するために不可欠である。 本稿では,4つの最先端ML手法,すなわちロジスティック回帰,決定木,ランダム森林,極端な勾配上昇について検討する。 フィッシングサイトURLとクレジットカード不正取引データセットは、元のデータに基づいてトレーニングされた極端な勾配が、信頼できるパフォーマンスを示していることを示している。
  論文  参考訳（メタデータ） (2022-09-04T15:30:23Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
  指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。 本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。 フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
  論文  参考訳（メタデータ） (2021-09-13T17:33:42Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。