Fugu-MT 論文翻訳(概要): Reproducibility Requires Consolidated Artifacts

論文の概要: Reproducibility Requires Consolidated Artifacts

arxiv url: http://arxiv.org/abs/2305.12571v1
Date: Sun, 21 May 2023 21:21:46 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 19:36:14.932325
Title: Reproducibility Requires Consolidated Artifacts
Title（参考訳）: 再生性は固形物を必要とする
Authors: Iordanis Fostiropoulos, Bowman Brown, Laurent Itti
Abstract要約: 機械学習は'再現性危機'に直面しており、すでに公開された結果を再現しようとすると、かなりの数の作業が失敗を報告している。我々はReScience Cと204のコードリポジトリから142のレプリケーション研究をメタ分析して失敗の原因を評価する。
参考スコア（独自算出の注目度）: 14.481126181883814
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Machine learning is facing a 'reproducibility crisis' where a significant number of works report failures when attempting to reproduce previously published results. We evaluate the sources of reproducibility failures using a meta-analysis of 142 replication studies from ReScience C and 204 code repositories. We find that missing experiment details such as hyperparameters are potential causes of unreproducibility. We experimentally show the bias of different hyperparameter selection strategies and conclude that consolidated artifacts with a unified framework can help support reproducibility.
Abstract（参考訳）: 機械学習は、多くのワークが以前に公開された結果を再現しようとすると失敗を報告する“再現性危機”に直面している。 ReScience Cと204のコードリポジトリから142の複製研究をメタ分析して再現性障害の原因を評価する。ハイパーパラメータなどの実験の詳細の欠如は、再生産不能の潜在的な原因である。我々は,異なるハイパーパラメータ選択戦略のバイアスを実験的に示し,統一フレームワークによる統合アーティファクトは再現性を支援することができると結論づける。

関連論文リスト

Continuous Analysis: Evolution of Software Engineering and Reproducibility for Science [0.0]
本稿では,科学研究における課題を解決するために,連続分析の概念を紹介する。 CAを採用することで、科学コミュニティは研究成果の妥当性と一般化性を確保することができる。
論文参考訳（メタデータ） (2024-11-04T17:11:08Z)
Can citations tell us about a paper's reproducibility? A case study of machine learning papers [3.5120846057971065]
リソースの制約やドキュメントの不十分さは、レプリケーションの実行を特に困難にします。本稿では,機械学習の再現性問題に関わる論文の引用文脈に適用した感情分析フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-07T03:29:11Z)
Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文参考訳（メタデータ） (2024-02-04T05:50:38Z)
Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
論文参考訳（メタデータ） (2023-10-24T07:46:10Z)
Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文参考訳（メタデータ） (2023-06-09T08:30:51Z)
Missing Information, Unresponsive Authors, Experimental Flaws: The Impossibility of Assessing the Reproducibility of Previous Human Evaluations in NLP [84.08476873280644]
13%の論文は (i) 再生の障壁が十分に低く、 (ii) 再生のために考慮すべき十分な入手可能な情報を持っていた。その結果,コーディネート・リサーチ・デザインを再現的アプローチから標準化的・再生産的アプローチに変更しなければならなかった。
論文参考訳（メタデータ） (2023-05-02T17:46:12Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Returning The Favour: When Regression Benefits From Probabilistic Causal Knowledge [9.106412307976067]
有向非巡回グラフ(DAG)は、機械学習においてしばしば回帰タスクで破棄される貴重な事前知識を提供する。 DAGにおけるコライダー構造の存在から生じる独立性は、回帰仮説空間を制約し、予測性能を向上させる有意義な帰納バイアスをもたらすことを示す。
論文参考訳（メタデータ） (2023-01-26T16:44:15Z)
The worst of both worlds: A comparative analysis of errors in learning from data in psychology and machine learning [17.336655978572583]
機械学習(ML)が誤診や複製の危機に直面しているという最近の懸念は、ML研究で公表された主張の一部が対面価値で評価できないことを示唆している。教師付きMLにおける研究の関心事は、実験科学における複製危機と共通している。
論文参考訳（メタデータ） (2022-03-12T18:26:24Z)
Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文参考訳（メタデータ） (2021-07-21T14:22:14Z)
Research Reproducibility as a Survival Analysis [22.66983713481359]
我々は,論文のモデリングを生存分析問題として検討する。生存率分析によって、過去の縦断データをよりよく説明できる新たな洞察を導きだす方法を示す。
論文参考訳（メタデータ） (2020-12-17T20:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。