論文の概要: What can we Learn by Predicting Accuracy?
- arxiv url: http://arxiv.org/abs/2208.01358v1
- Date: Tue, 2 Aug 2022 10:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 12:57:04.118388
- Title: What can we Learn by Predicting Accuracy?
- Title（参考訳）: 正確さを予測することで何が学べるか?
- Authors: Benjamin Chamand and Olivier Risser-Maroix
- Abstract要約: 我々は,実験から知識を抽出し,その逆の方法でこの問題にアプローチすることを提案する。
このデータ駆動のアプローチは、データから一般的な法則を発見するために物理学で使われるものに似ている。
260以上のデータセットで発見された公式はピアソン相関が0.96、r2が0.93である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper seeks to answer the following question: "What can we learn by
predicting accuracy?" Indeed, classification is one of the most popular task in
machine learning and many loss functions have been developed to maximize this
non-differentiable objective. Unlike past work on loss function design, which
was mostly guided by intuition and theory before being validated by
experimentation, here we propose to approach this problem in the opposite way :
we seek to extract knowledge from experiments. This data-driven approach is
similar to that used in physics to discover general laws from data. We used a
symbolic regression method to automatically find a mathematical expression that
is highly correlated with the accuracy of a linear classifier. The formula
discovered on more than 260 datasets has a Pearson correlation of 0.96 and a r2
of 0.93. More interestingly, this formula is highly explainable and confirms
insights from various previous papers on loss design. We hope this work will
open new perspectives in the search for new heuristics leading to a deeper
understanding of machine learning theory.
- Abstract（参考訳）: 本稿では,「正確さを予測して何が学べるか?」という問いに答える。
実際、分類は機械学習で最も一般的なタスクの1つであり、この非微分可能な目的を最大化するために多くの損失関数が開発されている。
実験によって検証される前に、主に直観と理論によって導かれる損失関数設計に関する過去の研究とは異なり、我々はこの問題を逆の方法でアプローチすることを提案している。
このデータ駆動アプローチは、データから一般法則を発見するのに物理学で使われるものと似ている。
我々は記号回帰法を用いて線形分類器の精度と高い相関関係を持つ数学的表現を自動的に見つける。
260以上のデータセットで発見された公式はピアソン相関が0.96、r2が0.93である。
より興味深いことに、この公式は非常に説明可能であり、損失設計に関する様々な論文からの洞察を裏付けている。
この研究が、機械学習理論のより深い理解につながる新しいヒューリスティックスを求めて、新たな視点を開くことを期待している。
関連論文リスト
- Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
ソフトウェア工学モデルに計算に基づく因果学習を導入する。
以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
論文 参考訳（メタデータ） (2023-10-12T00:51:06Z) - On Using Admissible Bounds for Learning Forward Search Heuristics [9.749638953163391]
学習において,受理者が提供する情報を効果的に活用する方法に焦点をあてる。
学習対象は、学習対象ではなく、この分布の下位境界として、許容値が使用される、切り裂かれたssianとしてモデル化する。
その結果,提案手法はトレーニング中により高速に収束し,より優れたガウスが得られることがわかった。
論文 参考訳（メタデータ） (2023-08-23T04:14:45Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳（メタデータ） (2022-06-10T10:17:59Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳（メタデータ） (2021-09-27T23:46:59Z) - What's a good imputation to predict with missing values? [0.0]
ほぼすべての計算関数に対して、強力な学習者を持つ暗黙の回帰手順がベイズ最適であることを示す。
本稿では、観測変数と観測変数の条件付きリンクをキャプチャするニューラルネットワークであるNeuMissを適用する手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T08:40:30Z) - Learning Causal Models Online [103.87959747047158]
予測モデルは、予測を行うためにデータの急激な相関に依存することができる。
強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。
本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-12T20:49:20Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。