論文の概要: Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data

• arxiv url: http://arxiv.org/abs/2212.09171v1
• Date: Sun, 18 Dec 2022 21:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:30:51.324761
• Title: Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data
• Title（参考訳）: rainproof: テキストジェネレータを分散データから保護する傘
• Authors: Maxime Darrin, Pablo Piantanida, Pierre Colombo
• Abstract要約: OOD検出は、入力サンプルがトレーニング分布から統計的に遠いかどうかを検出することを目的としている。 本稿では,機械翻訳とダイアログ生成におけるOOD検出の問題について,運用の観点から考察する。 i) RAINPROOF a Relative informAItioN Projection ODD Detection framework, (ii) OOD Detectionのより運用的な評価設定。
• 参考スコア（独自算出の注目度）: 35.254426810366226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As more and more conversational and translation systems are deployed in production, it is essential to implement and to develop effective control mechanisms guaranteeing their proper functioning and security. An essential component to ensure safe system behavior is out-of-distribution (OOD) detection, which aims at detecting whether an input sample is statistically far from the training distribution. Although OOD detection is a widely covered topic in classification tasks, it has received much less attention in text generation. This paper addresses the problem of OOD detection for machine translation and dialog generation from an operational perspective. Our contributions include: (i) RAINPROOF a Relative informAItioN Projection ODD detection framework; and (ii) a more operational evaluation setting for OOD detection. Surprisingly, we find that OOD detection is not necessarily aligned with task-specific measures. The OOD detector may filter out samples that are well processed by the model and keep samples that are not, leading to weaker performance. Our results show that RAINPROOF breaks this curse and achieve good results in OOD detection while increasing performance.
• Abstract（参考訳）: より多くの対話型翻訳システムが本番環境に配備されるにつれて、適切な機能とセキュリティを保証する効果的な制御機構の実装と開発が不可欠である。 安全なシステム動作を保証するための重要なコンポーネントは、トレーニング分布から統計的に遠いサンプルを検出することを目的とした、アウト・オブ・ディストリビューション(OOD)検出である。 OOD検出は分類タスクにおいて広く取り上げられているトピックであるが、テキスト生成においてはるかに注目を集めていない。 本稿では,機械翻訳とダイアログ生成におけるOOD検出の問題について,運用の観点から考察する。 私たちの貢献には i)Relative informAItioN Projection ODD 検出フレームワークであるRAINPROOF (II)OOD検出のためのより運用的な評価設定。 意外なことに、OOD検出は必ずしもタスク固有の尺度と一致していない。 OOD検出器は、モデルによって適切に処理されたサンプルをフィルタリングし、そうでないサンプルを保持することで、パフォーマンスが低下する可能性がある。 以上の結果から,RNPROOFはこの呪いを破り,OOD検出に優れた結果が得られ,性能が向上した。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Fast Decision Boundary based Out-of-Distribution Detector [7.04686607977352]
  アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの安全なデプロイに不可欠である。 既存の特徴空間法は有効であるが、しばしば計算上のオーバーヘッドを生じさせる。 補助モデルを用いない計算効率の良いOOD検出器を提案する。
  論文  参考訳（メタデータ） (2023-12-15T19:50:32Z)
• Classical Out-of-Distribution Detection Methods Benchmark in Text Classification Tasks [0.0]
  最先端モデルは、制御された環境でうまく機能するが、アウト・オブ・ディストリビューション(OOD)の例を提示すると、しばしば苦労する。 本稿では,NLPにおけるOOD検出に対する既存のアプローチの限界を強調することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-13T18:06:12Z)
• SR-OOD: Out-of-Distribution Detection via Sample Repairing [48.272537939227206]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルの信頼性と堅牢性を保証するための重要なタスクである。 近年の研究では、生成モデルはOODサンプルに高い信頼度を割り当てることがしばしばあり、データのセマンティックな情報を捕捉できないことが示されている。 我々は,サンプル修復の利点を生かし,新しいOOD検出フレームワーク,SR-OODを提案する。 本フレームワークは,OOD検出における最先端な生成手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-05-26T16:35:20Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Contrastive Training for Improved Out-of-Distribution Detection [36.61315534166451]
  本稿では,OOD検出性能向上のためのコントラストトレーニングを提案する。 コントラストトレーニングは,多くのベンチマークにおいてOOD検出性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:40:37Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。