論文の概要: Domino: Discovering Systematic Errors with Cross-Modal Embeddings
- arxiv url: http://arxiv.org/abs/2203.14960v1
- Date: Thu, 24 Mar 2022 22:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 18:24:21.579123
- Title: Domino: Discovering Systematic Errors with Cross-Modal Embeddings
- Title（参考訳）: Domino: クロスモーダルな埋め込みでシステムエラーを発見する
- Authors: Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck,
Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher R\'e
- Abstract要約: 全体的な精度の高い機械学習モデルは、重要なサブセット(またはスライス)で体系的なエラーを犯すことが多い。
Dominoは、識別されたスライスの自然言語記述を提供し、スライスの正確な名前を35%で正しく生成できる最初のSDMである。
- 参考スコア（独自算出の注目度）: 18.782320344880432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models that achieve high overall accuracy often make
systematic errors on important subsets (or slices) of data. Identifying
underperforming slices is particularly challenging when working with
high-dimensional inputs (e.g. images, audio), where important slices are often
unlabeled. In order to address this issue, recent studies have proposed
automated slice discovery methods (SDMs), which leverage learned model
representations to mine input data for slices on which a model performs poorly.
To be useful to a practitioner, these methods must identify slices that are
both underperforming and coherent (i.e. united by a human-understandable
concept). However, no quantitative evaluation framework currently exists for
rigorously assessing SDMs with respect to these criteria. Additionally, prior
qualitative evaluations have shown that SDMs often identify slices that are
incoherent. In this work, we address these challenges by first designing a
principled evaluation framework that enables a quantitative comparison of SDMs
across 1,235 slice discovery settings in three input domains (natural images,
medical images, and time-series data). Then, motivated by the recent
development of powerful cross-modal representation learning approaches, we
present Domino, an SDM that leverages cross-modal embeddings and a novel
error-aware mixture model to discover and describe coherent slices. We find
that Domino accurately identifies 36% of the 1,235 slices in our framework - a
12 percentage point improvement over prior methods. Further, Domino is the
first SDM that can provide natural language descriptions of identified slices,
correctly generating the exact name of the slice in 35% of settings.
- Abstract（参考訳）: 全体的な精度の高い機械学習モデルは、重要なサブセット(またはスライス)で体系的にエラーを起こすことが多い。
重要なスライスがラベル付けされていない高次元入力(画像、音声など)を扱う場合、パフォーマンスの低いスライスを特定することは特に難しい。
この問題に対処するために、近年、モデルが性能の悪いスライスに対して入力データをマイニングするために学習モデル表現を利用する自動スライス発見法(sdms)が提案されている。
実践者にとって有用であるためには、これらの手法は性能の低いスライスとコヒーレントなスライス(すなわち人間に理解可能な概念で結合)を識別する必要がある。
しかし、これらの基準に関してsdmを厳格に評価するための定量的評価フレームワークは存在しない。
さらに、以前の定性評価では、SDMは不整合であるスライスをしばしば識別することを示した。
本研究では,3つの入力領域(自然画像,医用画像,時系列データ)における1,235スライス発見設定におけるsdmの定量的比較を可能にする原則評価フレームワークを最初に設計した。
そして、近年の強力なクロスモーダル表現学習手法の発展を動機として、クロスモーダル埋め込みと新しいエラー認識混合モデルを利用してコヒーレントスライスを発見し記述するSDMDominoを提案する。
私たちは、Dominoがフレームワークの1,235スライスのうち36%を正確に識別していることに気付きました。
さらにdominoは、特定されたスライスの自然言語記述を提供し、設定の35%で正確なスライスの名前を正確に生成できる最初のsdmである。
関連論文リスト
- Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。
IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。
本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
論文 参考訳（メタデータ） (2024-04-24T03:25:53Z) - Out-of-Distribution Detection Using Peer-Class Generated by Large Language Model [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、マシンラーニングモデルの信頼性とセキュリティを確保するための重要なタスクである。
本稿では,ODPCと呼ばれる新しい手法を提案し,大規模言語モデルを用いてOODピア・セマンティクスのクラスを生成する。
5つのベンチマークデータセットの実験により,提案手法は最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2024-03-20T06:04:05Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。
2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。
この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
論文 参考訳（メタデータ） (2022-07-19T03:31:13Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Challenges in Procedural Multimodal Machine Comprehension:A Novel Way To
Benchmark [14.50261153230204]
M3C(Multimodal Machine Reading)に注目し、与えられた文節(または文脈)に基づいてモデルが質問に答えることを期待する。
大規模深層モデルの問合せ生成過程と暗記能力から生じる3つの臨界バイアスを同定する。
3つの制御ノブを通してこれらのバイアスに対処するための体系的枠組みを提案する。
論文 参考訳（メタデータ） (2021-10-22T16:33:57Z) - Learning Slice-Aware Representations with Mixture of Attentions [38.74444452556773]
この研究は、最近のスライスベース学習(SBL)トポチェン2019スライスを拡張し、注意(MoA)を混合してスライス対応の注意的二重表現を学習する。
2つの自然言語理解タスクを持つ監視されたスライスに対して,MoAアプローチがベースライン手法と元のSBLアプローチより優れていることを実証的に示す。
論文 参考訳（メタデータ） (2021-06-04T09:22:24Z) - On the Evaluation of Generative Adversarial Networks By Discriminative
Models [0.0]
GAN(Generative Adversarial Networks)は、複雑な多次元データを正確にモデル化し、現実的なサンプルを生成する。
この問題に対処する研究努力の大部分は、質的な視覚的評価によって検証された。
本研究では,シームズニューラルネットワークを用いてドメインに依存しない評価指標を提案する。
論文 参考訳（メタデータ） (2020-10-07T17:50:39Z) - Learning Expectation of Label Distribution for Facial Age and
Attractiveness Estimation [65.5880700862751]
本稿では,2つの最先端手法(Ranking-CNNとDLDL)の本質的な関係を解析し,ランキング法が実際にラベル分布を暗黙的に学習していることを示す。
軽量なネットワークアーキテクチャを提案し、顔属性の分布と回帰属性の値を共同で学習できる統一的なフレームワークを提案する。
提案手法は,36$times$パラメータが小さく,3$times$が顔の年齢/魅力度推定における高速な推論速度を持つ単一モデルを用いて,新しい最先端結果を実現する。
論文 参考訳（メタデータ） (2020-07-03T15:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。