論文の概要: Pseudo-OOD training for robust language models

• arxiv url: http://arxiv.org/abs/2210.09132v1
• Date: Mon, 17 Oct 2022 14:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:44:30.185572
• Title: Pseudo-OOD training for robust language models
• Title（参考訳）: 頑健な言語モデルのための擬似OOD訓練
• Authors: Dhanasekar Sundararaman, Nikhil Mehta, Lawrence Carin
• Abstract要約: OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
• 参考スコア（独自算出の注目度）: 78.15712542481859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While pre-trained large-scale deep models have garnered attention as an important topic for many downstream natural language processing (NLP) tasks, such models often make unreliable predictions on out-of-distribution (OOD) inputs. As such, OOD detection is a key component of a reliable machine-learning model for any industry-scale application. Common approaches often assume access to additional OOD samples during the training stage, however, outlier distribution is often unknown in advance. Instead, we propose a post hoc framework called POORE - POsthoc pseudo-Ood REgularization, that generates pseudo-OOD samples using in-distribution (IND) data. The model is fine-tuned by introducing a new regularization loss that separates the embeddings of IND and OOD data, which leads to significant gains on the OOD prediction task during testing. We extensively evaluate our framework on three real-world dialogue systems, achieving new state-of-the-art in OOD detection.
• Abstract（参考訳）: 事前訓練された大規模深層モデルは、多くの下流自然言語処理(NLP)タスクにとって重要なトピックとして注目されているが、そのようなモデルは、アウト・オブ・ディストリビューション(OOD)入力に対して信頼できない予測を行うことが多い。 したがって、OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 一般的なアプローチでは、訓練段階で追加のoodサンプルへのアクセスを想定することが多いが、前もって異常分布が不明であることが多い。 そこで我々は,in-distribution(ind)データを用いて疑似oodサンプルを生成するpope(posthoc pseudo-ood regularization)というポストホックフレームワークを提案する。 このモデルは、INDとOODデータの埋め込みを分離する新たな正規化損失を導入して微調整され、テスト中のOOD予測タスクに大きな改善をもたらす。 我々は3つの実世界の対話システムに関するフレームワークを広範囲に評価し,新たなood検出を実現する。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Out-of-Distribution Learning with Human Feedback [26.398598663165636]
  本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。 当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。 人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
  論文  参考訳（メタデータ） (2024-08-14T18:49:27Z)
• Continual Unsupervised Out-of-Distribution Detection [5.019613806273252]
  現在のアプローチでは、アウト・オブ・ディストリビューションのサンプルはトレーニング分布を補完する非集中分布に由来すると仮定している。 我々は,OOD分布に依存しないU-OOD検出器からスタートし,実際のOOD分布を考慮に入れた配置中を徐々に更新する手法を提案する。 本手法では,マハラノビス距離と最寄りのアプローチを組み合わせた新しいU-OODスコアリング関数を用いる。
  論文  参考訳（メタデータ） (2024-06-04T13:57:34Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。