論文の概要: VI-OOD: A Unified Representation Learning Framework for Textual Out-of-distribution Detection

• arxiv url: http://arxiv.org/abs/2404.06217v1
• Date: Tue, 9 Apr 2024 11:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:00:05.061589
• Title: VI-OOD: A Unified Representation Learning Framework for Textual Out-of-distribution Detection
• Title（参考訳）: VI-OOD: テキスト・アウト・オブ・ディストリビューション検出のための統一表現学習フレームワーク
• Authors: Li-Ming Zhan, Bo Liu, Xiao-Ming Wu,
• Abstract要約: OOD検出のための新しい変分推論フレームワーク(VI-OOD)を提案する。 VI-OODは、事前訓練されたトランスフォーマーの表現を効率的に活用することにより、テキストOOD検出用に調整されている。 私たちのコードはリリースされました。
• 参考スコア（独自算出の注目度）: 12.790144096479438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) detection plays a crucial role in ensuring the safety and reliability of deep neural networks in various applications. While there has been a growing focus on OOD detection in visual data, the field of textual OOD detection has received less attention. Only a few attempts have been made to directly apply general OOD detection methods to natural language processing (NLP) tasks, without adequately considering the characteristics of textual data. In this paper, we delve into textual OOD detection with Transformers. We first identify a key problem prevalent in existing OOD detection methods: the biased representation learned through the maximization of the conditional likelihood $p(y\mid x)$ can potentially result in subpar performance. We then propose a novel variational inference framework for OOD detection (VI-OOD), which maximizes the likelihood of the joint distribution $p(x, y)$ instead of $p(y\mid x)$. VI-OOD is tailored for textual OOD detection by efficiently exploiting the representations of pre-trained Transformers. Through comprehensive experiments on various text classification tasks, VI-OOD demonstrates its effectiveness and wide applicability. Our code has been released at \url{https://github.com/liam0949/LLM-OOD}.
• Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)検出は、さまざまなアプリケーションにおけるディープニューラルネットワークの安全性と信頼性を保証する上で重要な役割を果たす。 視覚データにおけるOOD検出に注目が集まっているが、テキストによるOOD検出の分野は、あまり注目されていない。 テキストデータの特徴を適切に考慮することなく、自然言語処理(NLP)タスクに一般的なOOD検出法を直接適用する試みは、ほんの数回しか行われていない。 本稿では,変換器を用いたテキストOOD検出について検討する。 我々はまず,既存のOOD検出手法でよく見られる重要な問題,すなわち条件付き可能性$p(y\mid)の最大化によって学習された偏り表現を同定する。 x)$は、サブパーパフォーマンスをもたらす可能性がある。 次に,OOD検出のための新しい変分推論フレームワーク(VI-OOD)を提案する。 y)$$p(y\mid)の代わりに x)$。 VI-OODは、事前訓練されたトランスフォーマーの表現を効率的に活用することにより、テキストOOD検出用に調整されている。 テキスト分類タスクの総合的な実験を通じて、VI-OODはその有効性と幅広い適用性を示す。 我々のコードは \url{https://github.com/liam0949/LLM-OOD} でリリースされた。

関連論文リスト

• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Negative Label Guided OOD Detection with Pretrained Vision-Language Models [96.67087734472912]
  Out-of-distriion (OOD) は未知のクラスからサンプルを識別することを目的としている。 我々は,大規模なコーパスデータベースから大量の負のラベルを抽出する,NegLabelと呼ばれる新しいポストホックOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:19:52Z)
• Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection [67.68030805755679]
  大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。 本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
  論文  参考訳（メタデータ） (2023-10-12T04:14:28Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。