論文の概要: Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations

• arxiv url: http://arxiv.org/abs/2407.07218v1
• Date: Tue, 9 Jul 2024 20:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 18:41:00.407979
• Title: Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations
• Title（参考訳）: 弱塩基性および報告バイアスは、流体関連偏微分方程式に対する機械学習における過最適化をもたらす
• Authors: Nick McGreivy, Ammar Hakim,
• Abstract要約: 機械学習によるPDE問題解決に関する文献を概観する。 報告バイアス、特に結果報告バイアスと公開バイアスが広く見られる証拠が見つかった。 我々は、偏見のある報告を最小限に抑えるためにボトムアップの文化的変化と、それを行うための逆のインセンティブを減らすことを目的としたトップダウンの構造改革を要求します。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the most promising applications of machine learning (ML) in computational physics is to accelerate the solution of partial differential equations (PDEs). The key objective of ML-based PDE solvers is to output a sufficiently accurate solution faster than standard numerical methods, which are used as a baseline comparison. We first perform a systematic review of the ML-for-PDE solving literature. Of articles that use ML to solve a fluid-related PDE and claim to outperform a standard numerical method, we determine that 79% (60/76) compare to a weak baseline. Second, we find evidence that reporting biases, especially outcome reporting bias and publication bias, are widespread. We conclude that ML-for-PDE solving research is overoptimistic: weak baselines lead to overly positive results, while reporting biases lead to underreporting of negative results. To a large extent, these issues appear to be caused by factors similar to those of past reproducibility crises: researcher degrees of freedom and a bias towards positive results. We call for bottom-up cultural changes to minimize biased reporting as well as top-down structural reforms intended to reduce perverse incentives for doing so.
• Abstract（参考訳）: 計算物理学における機械学習(ML)の最も有望な応用の1つは、偏微分方程式(PDE)の解を加速することである。 MLベースのPDEソルバの主な目的は、ベースライン比較として使用される標準数値法よりも十分正確な解を出力することである。 まず,ML-for-PDE論文の体系的レビューを行う。 MLを用いて流体関連PDEを解き、標準的な数値法より優れていると主張する記事のうち、79%(60/76)が弱いベースラインと比較した。 第二に、レポートのバイアス、特に結果のバイアスと公開のバイアスが広く見られる証拠を見つけます。 我々は、ML-for-PDE問題解決研究は過度に最適化されていると結論付け、弱いベースラインは過度にポジティブな結果をもたらす一方、報告バイアスはネガティブな結果の過度な報告につながると結論付けた。 これらの問題は、研究者の自由度と肯定的な結果に対する偏見という、過去の再現可能性の危機に類似した要因によって大きく引き起こされたように見える。 我々は、偏見のある報告を最小限に抑えるためにボトムアップの文化的変化と、それを行うための逆のインセンティブを減らすことを目的としたトップダウンの構造改革を要求します。

関連論文リスト

• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• Active Learning for Neural PDE Solvers [18.665448858377694]
  Active Learningは、モデルをより小さなトレーニングセットで同じ精度でサロゲートするのに役立ちます。 モジュール型かつアクティブな学習ベンチマークであるAL4PDEを紹介する。 ALは,ランダムサンプリングと比較して平均誤差を最大71%削減することを示した。
  論文  参考訳（メタデータ） (2024-08-02T18:48:58Z)
• The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing [74.7319697510621]
  In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
  論文  参考訳（メタデータ） (2024-01-16T17:15:08Z)
• Filtered Partial Differential Equations: a robust surrogate constraint in physics-informed deep learning framework [1.220743263007369]
  そこで本研究では,従来の物理方程式のサロゲート制約(フィルタPDE,FPDE,略してFPDE)を提案し,ノイズおよびスパース観測データの影響を低減した。 ノイズ・スパシティ実験では、提案したFPDEモデルは従来のPDEモデルよりも堅牢性が高い。 実世界の実験データを物理インフォームドトレーニングに組み込むためには,提案したFPDE制約が有用である。
  論文  参考訳（メタデータ） (2023-11-07T07:38:23Z)
• Bayesian Physics-Informed Extreme Learning Machine for Forward and Inverse PDE Problems with Noisy Data [5.805560469343597]
  物理インフォームド・エクストリーム・ラーニング・マシン(PIELM)は、最近、物理インフォームド・ニューラルネット(PINN)の高速バージョンとして注目されている。 ベイズ物理学インフォームド・エクストリーム・ラーニング・マシン(BPIELM)を開発した。 PIELMと比較して、BPIELMはノイズデータから生じる不確実性を定量化し、より正確な予測を提供する。
  論文  参考訳（メタデータ） (2022-05-14T02:32:48Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。