論文の概要: Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning

• arxiv url: http://arxiv.org/abs/2207.02598v1
• Date: Wed, 6 Jul 2022 11:20:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 20:48:50.306440
• Title: Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning
• Title（参考訳）: 予測は理解しない:機械学習における不特定認識と対処
• Authors: Damien Teney, Maxime Peyrard, Ehsan Abbasnejad
• Abstract要約: 下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
• 参考スコア（独自算出の注目度）: 47.651130958272155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) models are typically optimized for their accuracy on a given dataset. However, this predictive criterion rarely captures all desirable properties of a model, in particular how well it matches a domain expert's understanding of a task. Underspecification refers to the existence of multiple models that are indistinguishable in their in-domain accuracy, even though they differ in other desirable properties such as out-of-distribution (OOD) performance. Identifying these situations is critical for assessing the reliability of ML models. We formalize the concept of underspecification and propose a method to identify and partially address it. We train multiple models with an independence constraint that forces them to implement different functions. They discover predictive features that are otherwise ignored by standard empirical risk minimization (ERM), which we then distill into a global model with superior OOD performance. Importantly, we constrain the models to align with the data manifold to ensure that they discover meaningful features. We demonstrate the method on multiple datasets in computer vision (collages, WILDS-Camelyon17, GQA) and discuss general implications of underspecification. Most notably, in-domain performance cannot serve for OOD model selection without additional assumptions.
• Abstract（参考訳）: 機械学習(ml)モデルは、通常、与えられたデータセットの精度に最適化される。 しかし、この予測基準は、モデルの望ましい特性、特にドメインの専門家のタスクに対する理解とどの程度うまく一致しているかをほとんど捉えない。 アンダー仕様化(Underspecification)とは、オフ・オブ・ディストリビューション(OOD)パフォーマンスなど他の望ましい特性が異なるにもかかわらず、ドメイン内の精度で区別できない複数のモデルの存在を指す。 これらの状況を特定することは、MLモデルの信頼性を評価する上で重要である。 非特異化の概念を定式化し,それを特定し,部分的に対処する手法を提案する。 我々は、異なる関数を実装することを強制する独立制約付きで複数のモデルを訓練する。 彼らは、標準経験的リスク最小化(ERM)によって無視される予測的特徴を発見し、それをOOD性能の優れたグローバルモデルに蒸留する。 重要なのは、モデルが有意義な特徴の発見を確実にするために、データ多様体に合わせるように制約することです。 コンピュータビジョンにおける複数のデータセット(コラージュ、WILDS-Camelyon17、GQA)の手法を実証し、不特定性の一般的な意味について議論する。 とりわけ、ドメイン内パフォーマンスは追加の仮定なしではoodモデルの選択に役立ちません。

関連論文リスト

• Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions [3.0655581300025996]
  我々は,2つの一般的な説明手法(Occlusion と Shapley の値)に対して,モデルに依存しない実装を提供し,その複雑なモデルにおいて,完全に異なる属性を強制する。 提案手法は,修正された説明に基づいてトレーニングデータセットを増強することで,モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-28T15:23:28Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• Measuring the Driving Forces of Predictive Performance: Application to Credit Scoring [0.0]
  信用スコアでは、機械学習モデルは標準パラメトリックモデルを上回ることが知られている。 本稿では、モデルに関連するコントリビューションにパフォーマンスメトリックを分解するXPER手法を紹介する。 モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
  論文  参考訳（メタデータ） (2022-12-12T13:09:46Z)
• Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
  ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。 数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。 帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:45:26Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Sharing pattern submodels for prediction with missing values [12.981974894538668]
  機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。 パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
  論文  参考訳（メタデータ） (2022-06-22T15:09:40Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。