論文の概要: Functional Risk Minimization

• arxiv url: http://arxiv.org/abs/2412.21149v1
• Date: Mon, 30 Dec 2024 18:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:59.400303
• Title: Functional Risk Minimization
• Title（参考訳）: 機能的リスク最小化
• Authors: Ferran Alet, Clement Gehring, Tomás Lozano-Pérez, Kenji Kawaguchi, Joshua B. Tenenbaum, Leslie Pack Kaelbling,
• Abstract要約: 本稿では,損失を出力ではなく関数と比較するフレームワークである機能的リスク最小化を提案する。 これにより、教師なし、教師なし、およびRL実験のパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 89.85247272720467
• License:
• Abstract: The field of Machine Learning has changed significantly since the 1970s. However, its most basic principle, Empirical Risk Minimization (ERM), remains unchanged. We propose Functional Risk Minimization~(FRM), a general framework where losses compare functions rather than outputs. This results in better performance in supervised, unsupervised, and RL experiments. In the FRM paradigm, for each data point $(x_i,y_i)$ there is function $f_{\theta_i}$ that fits it: $y_i = f_{\theta_i}(x_i)$. This allows FRM to subsume ERM for many common loss functions and to capture more realistic noise processes. We also show that FRM provides an avenue towards understanding generalization in the modern over-parameterized regime, as its objective can be framed as finding the simplest model that fits the training data.
• Abstract（参考訳）: 機械学習の分野は1970年代から大きく変化してきた。 しかし、最も基本的な原則である経験的リスク最小化(Empirical Risk Minimization, ERM)は変わらぬままである。 本稿では、損失を出力ではなく関数と比較する一般的なフレームワークである機能的リスク最小化~(FRM)を提案する。 これにより、教師なし、教師なし、およびRL実験のパフォーマンスが向上する。 FRM のパラダイムでは、各データポイント $(x_i,y_i)$ に適合する関数 $f_{\theta_i}$ がある。 これにより、FRMは多くの損失関数に対してERMをサブセットし、より現実的なノイズ処理をキャプチャすることができる。 また、FRMは、トレーニングデータに適合する最も単純なモデルを見つけることを目的として、現代の過パラメータ化体制における一般化を理解するための道筋も示している。

関連論文リスト

• Invariant Risk Minimization Is A Total Variation Model [3.000494957386027]
  不変リスク最小化(英: Invariant risk minimization、IRM)とは、機械学習において、不変の機能を様々な環境に一般化する手法である。 IRMは本質的に学習リスクのL2$(TV-$ell$)に基づく総変動であることを示す。 本稿では,TV-$ell$モデルに基づく新しいIRMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T15:34:14Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Inverse Reinforcement Learning with Unknown Reward Model based on Structural Risk Minimization [9.44879308639364]
  逆強化学習(IRL)は通常、報酬関数のモデルが事前に特定され、パラメータのみを推定する。 単純化されたモデルは真の報酬関数を含まないが、高い複雑さを持つモデルは相当なコストと過度なリスクをもたらす。 本稿では,統計的学習から構造リスク最小化(SRM)手法を導入することで,このトレードオフに対処する。
  論文  参考訳（メタデータ） (2023-12-27T13:23:17Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Frustratingly Easy Model Generalization by Dummy Risk Minimization [38.67678021055096]
  ダミーリスク最小化(DuRM)は、経験的リスク最小化(ERM)の一般化を改善するための、フラストレーション的に簡単かつ一般的な技術である。 DuRMは、ほぼ無料のランチ方式で、すべてのタスクにおけるパフォーマンスを継続的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-08-04T12:43:54Z)
• Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
  連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。 IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
  論文  参考訳（メタデータ） (2023-05-27T14:23:14Z)
• Robust Empirical Risk Minimization with Tolerance [24.434720137937756]
  我々は、(ロバストな)$textitempirical risk minimization$(RERM)の基本パラダイムについて研究する。 自然寛容なRERMは、$mathbbRd$を超える$gamma$-tolerantな学習VCクラスに十分であることを示す。
  論文  参考訳（メタデータ） (2022-10-02T21:26:15Z)
• ReLU Regression with Massart Noise [52.10842036932169]
  本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。 我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。 このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-10T02:13:22Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。