論文の概要: Estimating Semantic Similarity between In-Domain and Out-of-Domain Samples

• arxiv url: http://arxiv.org/abs/2306.01206v1
• Date: Thu, 1 Jun 2023 23:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:11:01.902105
• Title: Estimating Semantic Similarity between In-Domain and Out-of-Domain Samples
• Title（参考訳）: ドメイン内およびドメイン外サンプル間の意味的類似性の推定
• Authors: Rhitabrat Pokharel and Ameeta Agrawal
• Abstract要約: 我々はまず,OODとOODistの複数の定義の体系的分析を整理し,提示する。 次に、IDおよびOOD/OODist設定下でのモデルの性能を原則的に分析する。 最後に,OOD/OODistサンプルを訓練モデルを用いずに確実に同定する教師なし手法を提案する。
• 参考スコア（独自算出の注目度）: 3.5027291542274366
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prior work typically describes out-of-domain (OOD) or out-of-distribution (OODist) samples as those that originate from dataset(s) or source(s) different from the training set but for the same task. When compared to in-domain (ID) samples, the models have been known to usually perform poorer on OOD samples, although this observation is not consistent. Another thread of research has focused on OOD detection, albeit mostly using supervised approaches. In this work, we first consolidate and present a systematic analysis of multiple definitions of OOD and OODist as discussed in prior literature. Then, we analyze the performance of a model under ID and OOD/OODist settings in a principled way. Finally, we seek to identify an unsupervised method for reliably identifying OOD/OODist samples without using a trained model. The results of our extensive evaluation using 12 datasets from 4 different tasks suggest the promising potential of unsupervised metrics in this task.
• Abstract（参考訳）: 従来の作業では、トレーニングセットとは別のデータセットやソース(s)に由来するものと同じタスクのために、ドメイン外(ood)または分散外(oodist)のサンプルを記述する。 in-domain (id) サンプルと比較すると、モデルは通常 ood サンプルでより貧弱であることが知られているが、この観測は一致しない。 もう一つの研究のスレッドは、主に教師付きアプローチを用いたOOD検出に焦点を当てている。 本研究では,まず,OOD と OODist の複数の定義を整理し,体系的に分析する。 次に、IDおよびOOD/OODist設定下でのモデルの性能を原則的に分析する。 最後に,OOD/OODistサンプルを訓練モデルを用いずに確実に同定する教師なし手法を提案する。 4つのタスクから12のデータセットを用いて広範囲に評価した結果、このタスクにおける教師なしメトリクスの可能性が示唆された。

関連論文リスト

• Going Beyond Conventional OOD Detection [0.0]
  アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。 従来型OOD検出(ASCOOD)への統一的アプローチを提案する。 提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
  論文  参考訳（メタデータ） (2024-11-16T13:04:52Z)
• Out-of-Distribution Detection with a Single Unconditional Diffusion Model [54.15132801131365]
  アウト・オブ・ディストリビューション(OOD)検出は、異常サンプルを特定しようとする機械学習において重要なタスクである。 従来、教師なし手法はOOD検出に深い生成モデルを用いていた。 本稿では,単一モデルが多様なタスクに対してOOD検出を行うことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-05-20T08:54:03Z)
• Toward a Realistic Benchmark for Out-of-Distribution Detection [3.8038269045375515]
  我々は ImageNet と Places365 に基づく OOD 検出のための総合ベンチマークを導入する。 様々な特性を持つベンチマークを生成するために、どのクラスを配布中と考えるべきかを決定するために、いくつかのテクニックが使える。
  論文  参考訳（メタデータ） (2024-04-16T11:29:43Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• The Value of Out-of-Distribution Data [28.85184823032929]
  我々は,タスクの一般化誤差がOODサンプル数の非単調関数であることを示す。 言い換えれば、少量のOODデータに対するトレーニングには価値があります。
  論文  参考訳（メタデータ） (2022-08-23T13:41:01Z)
• Understanding, Detecting, and Separating Out-of-Distribution Samples and Adversarial Samples in Text Classification [80.81532239566992]
  本稿では,2種類の異常 (OOD と Adv のサンプル) と,3つの側面の内分布 (ID) を比較した。 OODサンプルは第1層から始まる収差を露呈するが,Advサンプルの異常はモデル深層まで出現しない。 隠れ表現と出力確率を用いて,ID,OOD,Advのサンプルを分離する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T12:11:59Z)
• No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets [69.725266027309]
  アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。 本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。 また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
  論文  参考訳（メタデータ） (2021-09-12T16:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。