論文の概要: Understanding Out-of-distribution: A Perspective of Data Dynamics
- arxiv url: http://arxiv.org/abs/2111.14730v1
- Date: Mon, 29 Nov 2021 17:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 15:13:59.253599
- Title: Understanding Out-of-distribution: A Perspective of Data Dynamics
- Title（参考訳）: アウトオブディストリビューションの理解:データダイナミクスの視点
- Authors: Dyah Adila and Dongyeop Kang
- Abstract要約: 本稿では、OODと分布内サンプルの基本的な相違を理解するために、トレーニングモデルにおけるデータダイナミクスをどのように利用できるかを検討する。
その結果,OOD,in-distributionの両ケースにおいて,モデルが不正確に予測するデータサンプルの構文的特性が直接矛盾していることが判明した。
- 参考スコア（独自算出の注目度）: 5.811774625668462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite machine learning models' success in Natural Language Processing (NLP)
tasks, predictions from these models frequently fail on out-of-distribution
(OOD) samples. Prior works have focused on developing state-of-the-art methods
for detecting OOD. The fundamental question of how OOD samples differ from
in-distribution samples remains unanswered. This paper explores how data
dynamics in training models can be used to understand the fundamental
differences between OOD and in-distribution samples in extensive detail. We
found that syntactic characteristics of the data samples that the model
consistently predicts incorrectly in both OOD and in-distribution cases
directly contradict each other. In addition, we observed preliminary evidence
supporting the hypothesis that models are more likely to latch on trivial
syntactic heuristics (e.g., overlap of words between two sentences) when making
predictions on OOD samples. We hope our preliminary study accelerates the
data-centric analysis on various machine learning phenomena.
- Abstract（参考訳）: 自然言語処理(nlp)タスクにおける機械学習モデルの成功にもかかわらず、これらのモデルからの予測は、しばしばout-of-distribution(ood)サンプルで失敗する。
これまでの研究は、OODを検出する最先端の方法の開発に重点を置いてきた。
OODサンプルと流通サンプルの違いに関する根本的な問題は未解決のままである。
本稿では,oodと分布内サンプルの基本的な違いを詳細に理解するために,トレーニングモデルにおけるデータダイナミクスの活用について検討する。
その結果,OOD,in-distributionの両ケースにおいて,モデルが不正確に予測するデータサンプルの構文的特性が直接矛盾していることが判明した。
さらに,OODサンプル上で予測を行う場合,モデルが自明な構文的ヒューリスティック(2つの文間の単語の重複など)にひっかかる可能性が高いという仮説を裏付ける予備的証拠を観察した。
この予備的な研究が、さまざまな機械学習現象のデータ中心分析を加速させることを願っている。
関連論文リスト
- Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Think Twice: Measuring the Efficiency of Eliminating Prediction
Shortcuts of Question Answering Models [3.9052860539161918]
そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。
質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。
既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
論文 参考訳（メタデータ） (2023-05-11T14:35:00Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳（メタデータ） (2022-10-10T11:05:21Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Understanding, Detecting, and Separating Out-of-Distribution Samples and
Adversarial Samples in Text Classification [80.81532239566992]
本稿では,2種類の異常 (OOD と Adv のサンプル) と,3つの側面の内分布 (ID) を比較した。
OODサンプルは第1層から始まる収差を露呈するが,Advサンプルの異常はモデル深層まで出現しない。
隠れ表現と出力確率を用いて,ID,OOD,Advのサンプルを分離する簡単な手法を提案する。
論文 参考訳（メタデータ） (2022-04-09T12:11:59Z) - Understanding and Testing Generalization of Deep Networks on
Out-of-Distribution Data [30.471871571256198]
ディープネットワークモデルは、In-Distributionデータでは優れた性能を発揮するが、Out-Of-Distributionデータでは著しく失敗する可能性がある。
本研究は,実験的なIDテストの問題を分析し,OODテストパラダイムを設計することを目的とする。
論文 参考訳（メタデータ） (2021-11-17T15:29:07Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Out-of-distribution detection for regression tasks: parameter versus
predictor entropy [2.026281591452464]
マシンラーニングモデルが信頼されるためのトレーニングサンプルから、インスタンスが正しく外れていることを検出することが重要です。
ニューラルネットワークの場合、このタスクの1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学習することである。
そこで本研究では,関数空間に近接する隣接点に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-24T21:41:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。