論文の概要: A Path to Simpler Models Starts With Noise

• arxiv url: http://arxiv.org/abs/2310.19726v1
• Date: Mon, 30 Oct 2023 16:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:06:18.259319
• Title: A Path to Simpler Models Starts With Noise
• Title（参考訳）: シンプルなモデルへの道は騒音から始まる
• Authors: Lesia Semenova, Harry Chen, Ronald Parr, Cynthia Rudin
• Abstract要約: 羅生門集合は、与えられたデータセット上でほぼ等しく機能するモデルの集合である。 オープンな疑問は、なぜラショモン比が大きくなるのかである。 よりノイズの多いデータセットは、実践者がモデルをトレーニングする方法を通じて、より大きなRashomon比につながることを示す。
• 参考スコア（独自算出の注目度）: 17.36067410506525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Rashomon set is the set of models that perform approximately equally well on a given dataset, and the Rashomon ratio is the fraction of all models in a given hypothesis space that are in the Rashomon set. Rashomon ratios are often large for tabular datasets in criminal justice, healthcare, lending, education, and in other areas, which has practical implications about whether simpler models can attain the same level of accuracy as more complex models. An open question is why Rashomon ratios often tend to be large. In this work, we propose and study a mechanism of the data generation process, coupled with choices usually made by the analyst during the learning process, that determines the size of the Rashomon ratio. Specifically, we demonstrate that noisier datasets lead to larger Rashomon ratios through the way that practitioners train models. Additionally, we introduce a measure called pattern diversity, which captures the average difference in predictions between distinct classification patterns in the Rashomon set, and motivate why it tends to increase with label noise. Our results explain a key aspect of why simpler models often tend to perform as well as black box models on complex, noisier datasets.
• Abstract（参考訳）: ラショモン集合は、与えられたデータセット上でほぼ等しく作用するモデルの集合であり、ラショモン比は、ラショモン集合に属する所定の仮説空間内の全てのモデルの分数である。 ラショモン比は、刑事司法、医療、貸付、教育、その他の分野における表型データセットにおいて、しばしば大きく、より単純なモデルがより複雑なモデルと同じレベルの精度を達成することができるかという実践的な意味合いを持つ。 オープンな疑問は、なぜラショモン比が大きくなるのかである。 本研究では,学習過程におけるデータ生成過程のメカニズムと,学習過程においてアナリストが通常行う選択とを組み合わせることで,ラショモン比のサイズを決定する手法を提案する。 具体的には、noisierデータセットが、実践者がモデルをトレーニングする方法を通じて、より大きなrashomon比につながることを実証する。 さらに,ラショモン集合の異なる分類パターン間の予測平均差を捉え,ラベルノイズが増大する理由をモチベーションとして,パターン多様性(pattern diversity)という尺度を導入する。 その結果、単純なモデルが複雑でノイズの多いデータセット上でブラックボックスモデルと同様に振る舞う傾向がある理由が説明できる。

関連論文リスト

• Efficient Exploration of the Rashomon Set of Rule Set Models [18.187800166484507]
  解釈可能な機械学習における新たなパラダイムは、ほぼ最適性能を示すすべてのモデルの羅生門集合を探索することを目的としている。 ラショモン集合探索に関する既存の研究は、特定のモデルのクラスに対するラショモン集合の徹底的な探索に焦点を当てている。 本稿では,Rashomonのルールセットの集合を網羅的探索の有無で探索する手法を初めて提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:37:41Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Random Models for Fuzzy Clustering Similarity Measures [0.0]
  Adjusted Rand Index (ARI) は、ハードクラスタリングを比較するために広く使われている手法である。 本稿では,ハードクラスタリングとファジィクラスタリングの両方に対して直感的で説明可能な3つのランダムモデルを用いて,ARIを計算するための単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-16T00:07:04Z)
• Exploring and Interacting with the Set of Good Sparse Generalized Additive Models [26.64299550434767]
  固定支持集合に対する楕円体を持つスパース・一般化加法モデルのラショーモン集合を近似するアルゴリズムを提案する。 近似された羅生門集合は、(1)モデルクラスにおける変数の重要性の研究、(2)ユーザ指定制約下でのモデル発見(単調性、直接編集)、(3)形状関数の急激な変化の調査など、実用上の課題を解決する基盤となる。
  論文  参考訳（メタデータ） (2023-03-28T15:25:46Z)
• Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
  SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。 モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
  論文  参考訳（メタデータ） (2022-12-13T15:24:41Z)
• Exploring the Whole Rashomon Set of Sparse Decision Trees [23.136590456299007]
  ラショーモン集合は、ほぼ最適モデル全体の成す集合であることを示す。 粗い決定木のための羅生門セットを完全に列挙する最初の手法を提供する。 これにより、ユーザーはモデル選択に対して前例のないレベルの制御を行うことができる。
  論文  参考訳（メタデータ） (2022-09-16T16:37:26Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。