論文の概要: An Empirical Investigation into Benchmarking Model Multiplicity for
Trustworthy Machine Learning: A Case Study on Image Classification
- arxiv url: http://arxiv.org/abs/2311.14859v1
- Date: Fri, 24 Nov 2023 22:30:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 23:08:40.395057
- Title: An Empirical Investigation into Benchmarking Model Multiplicity for
Trustworthy Machine Learning: A Case Study on Image Classification
- Title(参考訳): 信頼できる機械学習のためのベンチマークモデル多重性に関する実証的研究:画像分類を事例として
- Authors: Prakhar Ganesh
- Abstract要約: 本稿では,モデル設計の様々な側面にまたがる多重性の1ストップ実験ベンチマークを提案する。
また,マルチプライシティシート(multiplicity sheets)と呼ばれるフレームワークを開発し,様々なシナリオにおけるマルチプライシティのベンチマークを行う。
モデル選択中に追加仕様を適用した後でも,マルチプライシティがディープラーニングモデルに持続することを示す。
- 参考スコア(独自算出の注目度): 0.8702432681310401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models have proven to be highly successful. Yet, their
over-parameterization gives rise to model multiplicity, a phenomenon in which
multiple models achieve similar performance but exhibit distinct underlying
behaviours. This multiplicity presents a significant challenge and necessitates
additional specifications in model selection to prevent unexpected failures
during deployment. While prior studies have examined these concerns, they focus
on individual metrics in isolation, making it difficult to obtain a
comprehensive view of multiplicity in trustworthy machine learning. Our work
stands out by offering a one-stop empirical benchmark of multiplicity across
various dimensions of model design and its impact on a diverse set of
trustworthy metrics. In this work, we establish a consistent language for
studying model multiplicity by translating several trustworthy metrics into
accuracy under appropriate interventions. We also develop a framework, which we
call multiplicity sheets, to benchmark multiplicity in various scenarios. We
demonstrate the advantages of our setup through a case study in image
classification and provide actionable insights into the impact and trends of
different hyperparameters on model multiplicity. Finally, we show that
multiplicity persists in deep learning models even after enforcing additional
specifications during model selection, highlighting the severity of
over-parameterization. The concerns of under-specification thus remain, and we
seek to promote a more comprehensive discussion of multiplicity in trustworthy
machine learning.
- Abstract(参考訳): ディープラーニングモデルは、非常に成功したことが証明されている。
しかし、その過度パラメータ化はモデル多重性を生じさせ、複数のモデルが同様の性能を達成するが、異なる基礎となる振る舞いを示す現象である。
この多重性は重大な課題をもたらし、デプロイ中に予期せぬ障害を防止するためにモデル選択に追加の仕様が必要となる。
先行研究はこれらの懸念を調査してきたが、個別のメトリクスを分離することに重点を置いており、信頼できる機械学習の多重性に関する包括的な見解を得ることは困難である。
私たちの研究は、モデル設計のさまざまな次元にわたる多重性のワンストップ実証ベンチマークと、その多様な信頼に値するメトリクスセットに対する影響を提供することで際立っている。
本研究では,複数の信頼に値する指標を適切な介入の下で精度に翻訳することで,モデル乗法を研究するための一貫した言語を確立する。
また,マルチプライシティシート(multiplicity sheets)と呼ばれるフレームワークを開発し,様々なシナリオでマルチプライシティをベンチマークする。
画像分類のケーススタディを通じて、セットアップの利点を実証し、モデル多重性に対する異なるハイパーパラメータの影響とトレンドに関する実用的な洞察を提供する。
最後に、モデル選択中に追加仕様を強制した後も、ディープラーニングモデルでは多重性が持続し、過剰パラメータ化の深刻さが強調されることを示した。
我々は、信頼に値する機械学習における多重性に関するより包括的な議論を促進することを目指している。
関連論文リスト
- MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training [105.36623165770936]
MLLM(Performant Multimodal Large Language Models)を構築する。
特に,さまざまなアーキテクチャコンポーネントとデータ選択の重要性について検討する。
本稿では,画像キャプチャ,インターリーブ画像テキスト,テキストのみのデータを組み合わせた大規模マルチモーダル事前学習について述べる。
論文 参考訳(メタデータ) (2024-03-14T17:51:32Z) - Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。
我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。
また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
論文 参考訳(メタデータ) (2024-02-19T17:30:09Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - MultiViz: An Analysis Benchmark for Visualizing and Understanding
Multimodal Models [103.9987158554515]
MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。
MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
論文 参考訳(メタデータ) (2022-06-30T18:42:06Z) - Deep Multistage Multi-Task Learning for Quality Prediction of Multistage
Manufacturing Systems [7.619217846525994]
統合型エンドツーエンド学習フレームワークにおいて,すべての出力検出変数を共同で予測する,深層多段マルチタスク学習フレームワークを提案する。
我々の数値研究と実事例研究では,新しいモデルが多くのベンチマーク法よりも優れた性能を持つことを示した。
論文 参考訳(メタデータ) (2021-05-17T22:09:36Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳(メタデータ) (2021-02-03T13:30:26Z) - Learning from demonstration using products of experts: applications to
manipulation and task prioritization [12.378784643460474]
異なるタスク空間におけるモデルの融合は、専門家(PoE)の積として表現できることを示す。
複数の実験を行い、PoEフレームワークで異なるモデルを共同で学習することで、モデルの品質が大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-10-07T16:24:41Z) - Orthogonal Multi-view Analysis by Successive Approximations via
Eigenvectors [7.870955752916424]
このフレームワークは、複数のビューに相関関係、教師付き識別能力、距離保存を統合する。
特殊ケースとして既存のモデルがいくつか含まれているだけでなく、新しいモデルにもインスピレーションを与えている。
多視点識別分析と多視点多ラベル分類のための実世界のデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2020-10-04T17:16:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。