論文の概要: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers

• arxiv url: http://arxiv.org/abs/2406.14325v3
• Date: Wed, 26 Feb 2025 11:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 17:39:51.040958
• Title: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
• Title（参考訳）: 機械学習研究における再現性--概観,バリア,ドライバ
• Authors: Harald Semmelrock, Tony Ross-Hellauer, Simone Kopeinik, Dieter Theiler, Armin Haberl, Stefan Thalmann, Dominik Kowald,
• Abstract要約: 透明性の欠如、データまたはコードの欠如、標準への順守の欠如、MLトレーニングの敏感さは、原則として多くの論文が再現不可能であることを意味する。 実験では、オリジナルの結果と非常に類似性が低いことが判明した。 粗悪な完全性は研究結果の信頼と完全性を脅かす。
• 参考スコア（独自算出の注目度）: 1.4841630983274845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many research fields are currently reckoning with issues of poor levels of reproducibility. Some label it a "crisis", and research employing or building Machine Learning (ML) models is no exception. Issues including lack of transparency, data or code, poor adherence to standards, and the sensitivity of ML training conditions mean that many papers are not even reproducible in principle. Where they are, though, reproducibility experiments have found worryingly low degrees of similarity with original results. Despite previous appeals from ML researchers on this topic and various initiatives from conference reproducibility tracks to the ACM's new Emerging Interest Group on Reproducibility and Replicability, we contend that the general community continues to take this issue too lightly. Poor reproducibility threatens trust in and integrity of research results. Therefore, in this article, we lay out a new perspective on the key barriers and drivers (both procedural and technical) to increased reproducibility at various levels (methods, code, data, and experiments). We then map the drivers to the barriers to give concrete advice for strategies for researchers to mitigate reproducibility issues in their own work, to lay out key areas where further research is needed in specific areas, and to further ignite discussion on the threat presented by these urgent issues.
• Abstract（参考訳）: 現在、多くの研究分野は再現性の低い問題に言及している。 機械学習(ML)モデルを採用したり構築したりする研究は例外ではない。 透明性の欠如、データまたはコードの欠如、標準への順守の欠如、MLトレーニング条件の敏感さなど、多くの論文が原則として再現不可能である。 しかし、再現性の実験では、オリジナルの結果と非常に類似性が低いことがわかりました。 ML研究者のこの話題に対する以前のアピールや、カンファレンス再現性トラックから、ACMの新しい再現性と再現性に関する新興利益グループまで、様々な取り組みにもかかわらず、一般コミュニティがこの問題を軽視し続けていると我々は主張する。 粗悪な再現性は研究結果の信頼と完全性を脅かす。 そこで本稿では,様々なレベル(メソッド,コード,データ,実験)において再現性を高めるための重要な障壁とドライバ(手続き的および技術的)について,新たな視点を定めます。 次に、ドライバをバリアにマッピングし、研究者が自身の作業において再現性の問題を軽減するための具体的なアドバイスを与え、特定の領域でさらなる研究が必要な重要な領域を配置し、これらの緊急問題によって引き起こされる脅威についてさらに議論する。

関連論文リスト

• Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives [52.863024096759816]
  相反する研究目的は、過去10年間に敵対的堅牢性研究の進展を妨げてきた。 我々は、対立するアライメントの有意義な進展には、リアライメントの目的が必要であると論じる。
  論文  参考訳（メタデータ） (2025-02-17T15:28:40Z)
• LLMs as Continuous Learners: Improving the Reproduction of Defective Code in Software Issues [62.12404317786005]
  EvoCoderは、イシューコード再現のための継続的学習フレームワークである。 その結果,既存のSOTA法よりも20%改善した。
  論文  参考訳（メタデータ） (2024-11-21T08:49:23Z)
• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• A Looming Replication Crisis in Evaluating Behavior in Language Models? Evidence and Solutions [15.350973327319418]
  大規模言語モデル(LLM)は、ますます広範囲の日常アプリケーションに統合されている。 このことは、LLMの振る舞いの研究から得られた洞察の複製性と一般化可能性に関する懸念を提起する。 GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, Llama 3-70Bをチェーン・オブ・ソート, EmotionPrompting, ExpertPrompting, Sandbagging, Re-Reading prompt Engineering Techniqueでテストした。
  論文  参考訳（メタデータ） (2024-09-30T14:00:34Z)
• Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
  本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。 13,000件以上の論文を審査し、56件を質的に分析した。
  論文  参考訳（メタデータ） (2024-08-17T13:24:15Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Reproducibility, Replicability, and Repeatability: A survey of reproducible research with a focus on high performance computing [0.0]
  再現性は科学研究の基本的な原理である。 高性能コンピューティングには固有の課題がある。 本稿では、これらの懸念と潜在的な解決策を包括的にレビューする。
  論文  参考訳（メタデータ） (2024-02-12T09:59:11Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Endogenous Macrodynamics in Algorithmic Recourse [52.87956177581998]
  対実説明(CE)とアルゴリズム・リコース(AR)に関する既存の研究は、静的環境における個人に主に焦点を当ててきた。 既存の方法論の多くは、一般化されたフレームワークによってまとめて記述できることを示す。 次に、既存のフレームワークは、グループレベルでの言論の内在的ダイナミクスを研究する際にのみ明らかとなるような、隠された対外的関係のコストを考慮に入れていないと論じる。
  論文  参考訳（メタデータ） (2023-08-16T07:36:58Z)
• Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
  研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。 機械学習(ML)と人工知能(AI)の研究においても、これは同じである。 MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
  論文  参考訳（メタデータ） (2023-07-19T07:00:22Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
  蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• A Review of Machine Learning Methods Applied to Structural Dynamics and Vibroacoustic [0.0]
  Vibroacoustic(SD&V)の主要な3つのアプリケーションが機械学習(ML)を活用している。 構造的健康モニタリングでは、ML検出と予後が安全な操作とメンテナンススケジュールの最適化につながる。 システムの識別と制御設計は、アクティブノイズ制御およびアクティブ振動制御におけるML技術によって活用される。 いわゆるMLベースのサロゲートモデルは、コストのかかるシミュレーションに代わる高速な代替手段を提供し、堅牢で最適化された製品設計を可能にする。
  論文  参考訳（メタデータ） (2022-04-13T13:16:21Z)
• The worst of both worlds: A comparative analysis of errors in learning from data in psychology and machine learning [17.336655978572583]
  機械学習(ML)が誤診や複製の危機に直面しているという最近の懸念は、ML研究で公表された主張の一部が対面価値で評価できないことを示唆している。 教師付きMLにおける研究の関心事は、実験科学における複製危機と共通している。
  論文  参考訳（メタデータ） (2022-03-12T18:26:24Z)
• The challenge of reproducible ML: an empirical study on the impact of bugs [6.862925771672299]
  本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。 次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。 本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-09T01:36:39Z)
• A Guide to Reproducible Research in Signal Processing and Machine Learning [9.69596041242667]
  2016年にNature誌が行った調査によると、研究者の50%が自身の実験を再現できなかった。 我々は,再現可能な計算実験を生成する上での障害の多くを軽減するための,実用的なツールと戦略のセットを,信号処理研究者に提供することを目的とする。
  論文  参考訳（メタデータ） (2021-08-27T16:42:32Z)
• Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
  本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。 また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
  論文  参考訳（メタデータ） (2021-08-17T17:44:38Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Machine Learning Towards Intelligent Systems: Applications, Challenges, and Opportunities [8.68311678910946]
  機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。 このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-11T01:32:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。