論文の概要: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers

• arxiv url: http://arxiv.org/abs/2406.14325v1
• Date: Thu, 20 Jun 2024 13:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-21 13:32:31.194196
• Title: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
• Title（参考訳）: 機械学習研究における再現性--概観,バリア,ドライバ
• Authors: Harald Semmelrock, Tony Ross-Hellauer, Simone Kopeinik, Dieter Theiler, Armin Haberl, Stefan Thalmann, Dominik Kowald,
• Abstract要約: 様々な分野の研究は、現在、成果の達成に関する課題を経験している。 この問題は、機械学習(ML)の研究でも広く用いられている。 この問題に対処するために様々な解決策が提案されているが、MLによる研究のレベルは相変わらず不満足である。
• 参考スコア（独自算出の注目度）: 1.4841630983274845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research in various fields is currently experiencing challenges regarding the reproducibility of results. This problem is also prevalent in machine learning (ML) research. The issue arises primarily due to unpublished data and/or source code and the sensitivity of ML training conditions. Although different solutions have been proposed to address this issue, such as using ML platforms, the level of reproducibility in ML-driven research remains unsatisfactory. Therefore, in this article, we discuss the reproducibility of ML-driven research with three main aims: (i) identify the barriers to reproducibility when applying ML in research as well as categorize the barriers to different types of reproducibility (description, code, data, and experiment reproducibility), (ii) identify potential drivers such as tools, practices, and interventions that support ML reproducibility as well as distinguish between technology-driven drivers, procedural drivers, and drivers related to awareness and education, and (iii) map the drivers to the barriers. With this work, we hope to provide insights and contribute to the decision-making process regarding the adoption of different solutions to support ML reproducibility.
• Abstract（参考訳）: 様々な分野の研究は、現在、成果の再現性に関する課題を経験している。 この問題は、機械学習(ML)の研究でも広く用いられている。 この問題は、主に公表されていないデータと/またはソースコードと、MLトレーニング条件の感度が原因である。 MLプラットフォームの使用など、この問題に対処するためのさまざまなソリューションが提案されているが、ML主導の研究における再現性のレベルは相変わらず不満足である。 そこで本稿では,ML駆動型研究の再現性について,主に3つの目的について論じる。 一 研究にMLを適用したときの再現性に関する障壁を特定し、異なる種類の再現性(説明、コード、データ、実験再現性)の障壁を分類する。 二 機械学習の再現性を支えるためのツール、プラクティス、介入等の潜在的なドライバを識別し、技術主導のドライバ、手続き的なドライバ、および認識と教育に関連するドライバーを識別する。 (iii) ドライバをバリアにマップする。 この研究により、ML再現性をサポートするさまざまなソリューションの採用に関する洞察を提供し、意思決定プロセスに貢献したいと考えています。

関連論文リスト

• Adversarial Alignment for LLMs Requires Simpler, Reproducible, and More Measurable Objectives [52.863024096759816]
  相反する研究目的は、過去10年間に敵対的堅牢性研究の進展を妨げてきた。 我々は、対立するアライメントの有意義な進展には、リアライメントの目的が必要であると論じる。
  論文  参考訳（メタデータ） (2025-02-17T15:28:40Z)
• LLMs as Continuous Learners: Improving the Reproduction of Defective Code in Software Issues [62.12404317786005]
  EvoCoderは、イシューコード再現のための継続的学習フレームワークである。 その結果,既存のSOTA法よりも20%改善した。
  論文  参考訳（メタデータ） (2024-11-21T08:49:23Z)
• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• A Looming Replication Crisis in Evaluating Behavior in Language Models? Evidence and Solutions [15.350973327319418]
  大規模言語モデル(LLM)は、ますます広範囲の日常アプリケーションに統合されている。 このことは、LLMの振る舞いの研究から得られた洞察の複製性と一般化可能性に関する懸念を提起する。 GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, Llama 3-70Bをチェーン・オブ・ソート, EmotionPrompting, ExpertPrompting, Sandbagging, Re-Reading prompt Engineering Techniqueでテストした。
  論文  参考訳（メタデータ） (2024-09-30T14:00:34Z)
• Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
  本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。 13,000件以上の論文を審査し、56件を質的に分析した。
  論文  参考訳（メタデータ） (2024-08-17T13:24:15Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Reproducibility, Replicability, and Repeatability: A survey of reproducible research with a focus on high performance computing [0.0]
  再現性は科学研究の基本的な原理である。 高性能コンピューティングには固有の課題がある。 本稿では、これらの懸念と潜在的な解決策を包括的にレビューする。
  論文  参考訳（メタデータ） (2024-02-12T09:59:11Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Endogenous Macrodynamics in Algorithmic Recourse [52.87956177581998]
  対実説明(CE)とアルゴリズム・リコース(AR)に関する既存の研究は、静的環境における個人に主に焦点を当ててきた。 既存の方法論の多くは、一般化されたフレームワークによってまとめて記述できることを示す。 次に、既存のフレームワークは、グループレベルでの言論の内在的ダイナミクスを研究する際にのみ明らかとなるような、隠された対外的関係のコストを考慮に入れていないと論じる。
  論文  参考訳（メタデータ） (2023-08-16T07:36:58Z)
• Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
  研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。 機械学習(ML)と人工知能(AI)の研究においても、これは同じである。 MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
  論文  参考訳（メタデータ） (2023-07-19T07:00:22Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
  蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• A Review of Machine Learning Methods Applied to Structural Dynamics and Vibroacoustic [0.0]
  Vibroacoustic(SD&V)の主要な3つのアプリケーションが機械学習(ML)を活用している。 構造的健康モニタリングでは、ML検出と予後が安全な操作とメンテナンススケジュールの最適化につながる。 システムの識別と制御設計は、アクティブノイズ制御およびアクティブ振動制御におけるML技術によって活用される。 いわゆるMLベースのサロゲートモデルは、コストのかかるシミュレーションに代わる高速な代替手段を提供し、堅牢で最適化された製品設計を可能にする。
  論文  参考訳（メタデータ） (2022-04-13T13:16:21Z)
• The worst of both worlds: A comparative analysis of errors in learning from data in psychology and machine learning [17.336655978572583]
  機械学習(ML)が誤診や複製の危機に直面しているという最近の懸念は、ML研究で公表された主張の一部が対面価値で評価できないことを示唆している。 教師付きMLにおける研究の関心事は、実験科学における複製危機と共通している。
  論文  参考訳（メタデータ） (2022-03-12T18:26:24Z)
• The challenge of reproducible ML: an empirical study on the impact of bugs [6.862925771672299]
  本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。 次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。 本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-09T01:36:39Z)
• A Guide to Reproducible Research in Signal Processing and Machine Learning [9.69596041242667]
  2016年にNature誌が行った調査によると、研究者の50%が自身の実験を再現できなかった。 我々は,再現可能な計算実験を生成する上での障害の多くを軽減するための,実用的なツールと戦略のセットを,信号処理研究者に提供することを目的とする。
  論文  参考訳（メタデータ） (2021-08-27T16:42:32Z)
• Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
  本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。 また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
  論文  参考訳（メタデータ） (2021-08-17T17:44:38Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Machine Learning Towards Intelligent Systems: Applications, Challenges, and Opportunities [8.68311678910946]
  機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。 このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-11T01:32:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。