論文の概要: A Guide to Failure in Machine Learning: Reliability and Robustness from Foundations to Practice

• arxiv url: http://arxiv.org/abs/2503.00563v1
• Date: Sat, 01 Mar 2025 17:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:23:09.383992
• Title: A Guide to Failure in Machine Learning: Reliability and Robustness from Foundations to Practice
• Title（参考訳）: 機械学習の失敗ガイド:基礎から実践への信頼性とロバスト性
• Authors: Eric Heim, Oren Wright, David Shriver,
• Abstract要約: 機械学習(ML)を採用する上で大きな障壁の1つは、MLモデルが予期せず失敗する可能性があることだ。 本研究は,MLモデルが失敗する理由をよりよく理解するためのガイドを提供することを目的としている。
• 参考スコア（独自算出の注目度）: 5.07277541618834
• License:
• Abstract: One of the main barriers to adoption of Machine Learning (ML) is that ML models can fail unexpectedly. In this work, we aim to provide practitioners a guide to better understand why ML models fail and equip them with techniques they can use to reason about failure. Specifically, we discuss failure as either being caused by lack of reliability or lack of robustness. Differentiating the causes of failure in this way allows us to formally define why models fail from first principles and tie these definitions to engineering concepts and real-world deployment settings. Throughout the document we provide 1) a summary of important theoretic concepts in reliability and robustness, 2) a sampling current techniques that practitioners can utilize to reason about ML model reliability and robustness, and 3) examples that show how these concepts and techniques can apply to real-world settings.
• Abstract（参考訳）: 機械学習(ML)を採用する上で大きな障壁の1つは、MLモデルが予期せず失敗する可能性があることだ。 本研究は,MLモデルが失敗する理由をよりよく理解するためのガイドを提供することを目的としている。 具体的には、信頼性の欠如や堅牢性の欠如による失敗について議論する。 このような障害の原因を区別することで、モデルが最初の原則から外れた理由を正式に定義し、これらの定義をエンジニアリングの概念と実際のデプロイメント設定に結びつけることができます。 私たちが提供するドキュメント全体 1)信頼性と堅牢性に関する重要な理論概念の要約。 2)MLモデルの信頼性とロバスト性について、実践者が推論に利用できる現在の手法をサンプリングし、 3) これらの概念とテクニックが現実世界の設定にどのように適用できるかを示す例。

関連論文リスト

• TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Machine Learning Robustness: A Primer [12.426425119438846]
  この議論はロバストネスの詳細な定義から始まり、MLモデルが様々な環境条件と予期せぬ環境条件で安定した性能を維持する能力であることを示している。 この章では、データバイアスやモデル複雑性、未特定のMLパイプラインの落とし穴など、堅牢性を阻害する要因について詳しく説明している。 議論は、デバイアスや拡張といったデータ中心のアプローチから始まる、堅牢性を促進するための改善戦略を探求する。
  論文  参考訳（メタデータ） (2024-04-01T03:49:42Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of Foundation Models [103.71308117592963]
  本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。 小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
  論文  参考訳（メタデータ） (2022-11-27T21:43:45Z)
• Logic-Based Explainability in Machine Learning [0.0]
  最も成功した機械学習モデルの運用は、人間の意思決定者にとって理解できない。 近年,MLモデルを説明するためのアプローチの開発が試みられている。 本稿では,MLモデルの厳密なモデルに基づく説明を計算するための研究成果について概説する。
  論文  参考訳（メタデータ） (2022-10-24T13:43:07Z)
• Analyzing a Caching Model [7.378507865227209]
  解釈容易性は、現実世界のデプロイメントにおいて、依然として大きな障害である。 現状のキャッシュモデルを分析することで、単純な統計以上の概念を学習したことを示す。
  論文  参考訳（メタデータ） (2021-12-13T19:53:07Z)
• A Principled Approach to Failure Analysis and Model Repairment: Demonstration in Medical Imaging [12.732665048388041]
  マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。 私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。 そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。 我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
  論文  参考訳（メタデータ） (2021-09-25T12:04:19Z)
• Learning by Design: Structuring and Documenting the Human Choices in Machine Learning Development [6.903929927172917]
  本稿では,機械学習モデル作成における熟考と規範的選択を概説する8つの設計質問からなる手法を提案する。 本手法は,方法論的透明性を通じた批判的評価を支援するなど,いくつかの利点がある。 本手法は,MLモデルの開発において,ML実践者が選択や仮定を構造化し,正当化する上で有効であると考えている。
  論文  参考訳（メタデータ） (2021-05-03T08:47:45Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。