論文の概要: The worst of both worlds: A comparative analysis of errors in learning
from data in psychology and machine learning
- arxiv url: http://arxiv.org/abs/2203.06498v2
- Date: Wed, 16 Mar 2022 14:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-19 19:04:32.317610
- Title: The worst of both worlds: A comparative analysis of errors in learning
from data in psychology and machine learning
- Title（参考訳）: 両世界の最悪の状況:心理学と機械学習のデータからの学習における誤りの比較分析
- Authors: Jessica Hullman, Sayash Kapoor, Priyanka Nanayakkara, Andrew Gelman,
and Arvind Narayanan
- Abstract要約: 機械学習(ML)が誤診や複製の危機に直面しているという最近の懸念は、ML研究で公表された主張の一部が対面価値で評価できないことを示唆している。
教師付きMLにおける研究の関心事は、実験科学における複製危機と共通している。
- 参考スコア（独自算出の注目度）: 17.336655978572583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent concerns that machine learning (ML) may be facing a reproducibility
and replication crisis suggest that some published claims in ML research cannot
be taken at face value. These concerns inspire analogies to the replication
crisis affecting the social and medical sciences, as well as calls for greater
integration of statistical approaches to causal inference and predictive
modeling. A deeper understanding of what reproducibility concerns in research
in supervised ML have in common with the replication crisis in experimental
science can put the new concerns in perspective, and help researchers avoid
"the worst of both worlds" that can emerge when ML researchers begin borrowing
methodologies from explanatory modeling without understanding their
limitations, and vice versa. We contribute a comparative analysis of concerns
about inductive learning that arise in different stages of the modeling
pipeline in causal attribution as exemplified in psychology versus predictive
modeling as exemplified by ML. We identify themes that re-occur in reform
discussions like overreliance on asymptotic theory and non-credible beliefs
about real-world data generating processes. We argue that in both fields,
claims from learning are implied to generalize outside the specific environment
studied (e.g., the input dataset or subject sample, modeling implementation,
etc.) but are often impossible to refute due to forms of underspecification. In
particular, many errors being acknowledged in ML expose cracks in long-held
beliefs that optimizing predictive accuracy using huge datasets absolves one
from having to make assumptions about the underlying data generating process.
We conclude by discussing rhetorical risks like error misdiagnosis that arise
in times of methodological uncertainty.
- Abstract（参考訳）: 機械学習(ML)が再現性と複製の危機に直面しているという最近の懸念は、ML研究におけるいくつかの発表された主張が、対面価値で評価できないことを示唆している。
これらの懸念は、社会科学や医学に影響を及ぼす複製危機の類似点を刺激し、因果推論や予測モデリングに対する統計的アプローチのより深い統合を求める。
教師付きMLの研究における再現性に関する懸念は、実験科学における複製危機と共通しており、研究者が限界を理解しずに説明的モデリングから方法論を借用し始めると、研究者が「両方の世界の最悪のもの」を避けるのに役立つ。
本稿では,心理学において実証される因果帰属のモデルパイプラインの異なる段階で生じる帰納的学習に関する関心事と,MLで実証される予測的モデリングについて比較分析する。
我々は、漸近理論への過度な依存や、現実世界のデータ生成プロセスに関する信用できない信念など、改革の議論に再び現れるテーマを特定する。
どちらの分野でも、学習からの主張は特定の環境(例えば、入力データセットや対象サンプル、モデリング実装など)の外で一般化することが示唆されるが、過小評価の形態のため、しばしば否定できない。
特に、MLで認識されている多くのエラーは、巨大なデータセットを使用して予測精度を最適化することで、基礎となるデータ生成プロセスについて仮定する必要がなくなるという長年の信念の亀裂を露呈する。
方法論的不確実性の時に発生する誤り誤診のような修辞的リスクについて論じる。
関連論文リスト
- Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。
本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。
提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
論文 参考訳（メタデータ） (2024-10-26T03:34:55Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - Targeted Reduction of Causal Models [55.11778726095353]
因果表現学習(Causal Representation Learning)は、シミュレーションで解釈可能な因果パターンを明らかにするための有望な道を提供する。
本稿では、複雑な相互作用可能なモデルを因果因子の簡潔な集合に凝縮する方法であるTCR(Targeted Causal Reduction)を紹介する。
複雑なモデルから解釈可能な高レベルな説明を生成する能力は、玩具や機械システムで実証されている。
論文 参考訳（メタデータ） (2023-11-30T15:46:22Z) - Causal machine learning for single-cell genomics [94.28105176231739]
単細胞ゲノミクスへの機械学習技術の応用とその課題について論じる。
まず, 単一細胞生物学における現在の因果的アプローチの基盤となるモデルについて述べる。
次に、単一セルデータへの因果的アプローチの適用におけるオープンな問題を特定する。
論文 参考訳（メタデータ） (2023-10-23T13:35:24Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳（メタデータ） (2023-06-08T09:40:28Z) - Leakage and the Reproducibility Crisis in ML-based Science [5.116305213887073]
データ漏洩は確かに広範な問題であり、深刻な失敗につながっていることを示す。
教科書の誤りからオープンな研究問題まで,8種類の漏洩の詳細な分類法を提示する。
本稿では,MLモデルに基づく科学的主張を報告するためのモデル情報シートを提案する。
論文 参考訳（メタデータ） (2022-07-14T16:44:59Z) - A Causal Research Pipeline and Tutorial for Psychologists and Social
Scientists [7.106986689736828]
因果関係は世界を理解する科学的努力の基本的な部分である。
残念なことに、因果関係は心理学や社会科学の多くの分野においていまだに曖昧である。
研究に因果的アプローチを採用することの重要性に対する多くの勧告によって、我々は、必然的に因果的理論を研究パイプラインの他の部分と調和させるために、心理学における研究の典型的なアプローチを再構築する。
論文 参考訳（メタデータ） (2022-06-10T15:11:57Z) - A Survey on Epistemic (Model) Uncertainty in Supervised Learning: Recent
Advances and Applications [18.731827159755014]
教師付き学習モデルの不確実性の定量化は、より信頼性の高い予測を行う上で重要な役割を果たす。
通常、モデルに関する知識不足が原因で生じるてんかんの不確実性は、より多くのデータを集めることで軽減できる。
論文 参考訳（メタデータ） (2021-11-03T01:22:46Z) - A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of
Overparameterized Machine Learning [37.01683478234978]
機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。
最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
論文 参考訳（メタデータ） (2021-09-06T10:48:40Z) - ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。
Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。
純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文 参考訳（メタデータ） (2021-03-26T02:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。