論文の概要: Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data

• arxiv url: http://arxiv.org/abs/2212.09171v2
• Date: Wed, 1 Nov 2023 19:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 18:23:47.618476
• Title: Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data
• Title（参考訳）: rainproof: テキストジェネレータを分散データから保護する傘
• Authors: Maxime Darrin, Pablo Piantanida, Pierre Colombo
• Abstract要約: 安全なシステム動作を保証するための重要な要素は、Out-Of-Distribution Detectionである。 ほとんどのメソッドはエンコーダが出力する隠れた機能に依存している。 本研究では,ブラックボックスフレームワークにおけるソフト確率の活用に焦点をあてる。
• 参考スコア（独自算出の注目度）: 41.62897997865578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implementing effective control mechanisms to ensure the proper functioning and security of deployed NLP models, from translation to chatbots, is essential. A key ingredient to ensure safe system behaviour is Out-Of-Distribution (OOD) detection, which aims to detect whether an input sample is statistically far from the training distribution. Although OOD detection is a widely covered topic in classification tasks, most methods rely on hidden features output by the encoder. In this work, we focus on leveraging soft-probabilities in a black-box framework, i.e. we can access the soft-predictions but not the internal states of the model. Our contributions include: (i) RAINPROOF a Relative informAItioN Projection OOD detection framework; and (ii) a more operational evaluation setting for OOD detection. Surprisingly, we find that OOD detection is not necessarily aligned with task-specific measures. The OOD detector may filter out samples well processed by the model and keep samples that are not, leading to weaker performance. Our results show that RAINPROOF provides OOD detection methods more aligned with task-specific performance metrics than traditional OOD detectors.
• Abstract（参考訳）: 翻訳からチャットボットまで、デプロイされたNLPモデルの適切な機能とセキュリティを確保するための効果的な制御機構を実装することが不可欠である。 安全なシステム動作を保証するための重要な要素は、トレーニング分布から統計的に離れた入力サンプルを検出することを目的とした、Of-Distribution(OOD)検出である。 OOD検出は分類タスクにおいて広くカバーされているトピックであるが、ほとんどのメソッドはエンコーダによって出力される隠れ機能に依存している。 本研究では,ブラックボックスフレームワークにおけるソフト確率の活用,すなわち,モデルの内部状態ではなく,ソフト予測にアクセスできることに焦点を当てる。 私たちの貢献には (i)相対的情報投影ood検出フレームワークの耐雨性及び (II)OOD検出のためのより運用的な評価設定。 意外なことに、OOD検出は必ずしもタスク固有の尺度と一致していない。 OOD検出器は、モデルによって適切に処理されたサンプルをフィルタリングし、未処理のサンプルを保持し、性能が低下する可能性がある。 提案手法は従来のOOD検出器よりもタスク固有の性能指標に適合している。

関連論文リスト

• Fast Decision Boundary based Out-of-Distribution Detector [7.04686607977352]
  アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの安全なデプロイに不可欠である。 既存の特徴空間法は有効であるが、しばしば計算上のオーバーヘッドを生じさせる。 補助モデルを用いない計算効率の良いOOD検出器を提案する。
  論文  参考訳（メタデータ） (2023-12-15T19:50:32Z)
• Classical Out-of-Distribution Detection Methods Benchmark in Text Classification Tasks [0.0]
  最先端モデルは、制御された環境でうまく機能するが、アウト・オブ・ディストリビューション(OOD)の例を提示すると、しばしば苦労する。 本稿では,NLPにおけるOOD検出に対する既存のアプローチの限界を強調することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-13T18:06:12Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• SR-OOD: Out-of-Distribution Detection via Sample Repairing [48.272537939227206]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルの信頼性と堅牢性を保証するための重要なタスクである。 近年の研究では、生成モデルはOODサンプルに高い信頼度を割り当てることがしばしばあり、データのセマンティックな情報を捕捉できないことが示されている。 我々は,サンプル修復の利点を生かし,新しいOOD検出フレームワーク,SR-OODを提案する。 本フレームワークは,OOD検出における最先端な生成手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-05-26T16:35:20Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Contrastive Training for Improved Out-of-Distribution Detection [36.61315534166451]
  本稿では,OOD検出性能向上のためのコントラストトレーニングを提案する。 コントラストトレーニングは,多くのベンチマークにおいてOOD検出性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:40:37Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。