論文の概要: GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation

• arxiv url: http://arxiv.org/abs/2109.03079v1
• Date: Tue, 7 Sep 2021 13:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 18:53:00.624381
• Title: GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation
• Title（参考訳）: gold:データ拡張を用いた対話におけるスコープ外検出の改善
• Authors: Derek Chen, Zhou Yu
• Abstract要約: 金のテクニックは、既存のデータを拡張して、低データ状態で動作するより良いOOS検出器を訓練する。 3つのベンチマークを対象とした実験では、上位のGOLDモデルは、すべての主要なメトリクスで既存のメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 41.04593978694591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Practical dialogue systems require robust methods of detecting out-of-scope (OOS) utterances to avoid conversational breakdowns and related failure modes. Directly training a model with labeled OOS examples yields reasonable performance, but obtaining such data is a resource-intensive process. To tackle this limited-data problem, previous methods focus on better modeling the distribution of in-scope (INS) examples. We introduce GOLD as an orthogonal technique that augments existing data to train better OOS detectors operating in low-data regimes. GOLD generates pseudo-labeled candidates using samples from an auxiliary dataset and keeps only the most beneficial candidates for training through a novel filtering mechanism. In experiments across three target benchmarks, the top GOLD model outperforms all existing methods on all key metrics, achieving relative gains of 52.4%, 48.9% and 50.3% against median baseline performance. We also analyze the unique properties of OOS data to identify key factors for optimally applying our proposed method.
• Abstract（参考訳）: 実際の対話システムは、会話の故障や関連する障害モードを避けるために、スコープ外発話(OOS)を検出する堅牢な方法を必要とする。 ラベル付きOOSサンプルでモデルを直接トレーニングすると、適切なパフォーマンスが得られるが、そのようなデータを取得することはリソース集約的なプロセスである。 この限定データ問題に対処するために、従来の手法はインスコープ(INS)の分布をより良くモデル化することに焦点を当てていた。 GOLDは,低データ状態下で動作している優れたOOS検出器をトレーニングするために,既存のデータを増強する直交技術として導入する。 GOLDは補助データセットからサンプルを使用して擬似ラベル付き候補を生成し、新しいフィルタリング機構を通じてトレーニングの最も有益な候補のみを保持する。 3つのターゲットベンチマークでの実験では、トップゴールドモデルはすべての主要なメトリクスで既存のメソッドを上回り、平均的なベースラインパフォーマンスに対して52.4%、48.9%、50.3%の相対的な向上を達成している。 また,OOSデータの特徴を分析し,提案手法を最適に適用するための重要な要素を同定する。

関連論文リスト

• SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
  監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。 本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。 本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-11-05T10:55:29Z)
• OV-DINO: Unified Open-Vocabulary Detection with Language-Aware Selective Fusion [88.59397418187226]
  我々はOV-DINOと呼ばれる新しいオープン語彙検出手法を提案する。 言語対応の選択的融合を統一フレームワークに組み込んだ、さまざまな大規模データセットで事前トレーニングされている。 提案するOV-DINOのオープン語彙検出ベンチマークにおける性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-10T17:05:49Z)
• Generating Hard-Negative Out-of-Scope Data with ChatGPT for Intent Classification [8.013995844494456]
  本稿では,ChatGPTを用いた強陰性OOSデータの自動生成手法を提案する。 分類器は、一般的なOOS発声よりも、強い負のOOS発声を正しく識別することが困難であることを示す。 最後に,OOSデータと一般的なOOSデータを検出する際のモデルロバスト性を向上することを示す。
  論文  参考訳（メタデータ） (2024-03-08T19:25:00Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization [28.22184410167622]
  オープンドメイン対話のためのデータフィルタリング手法を提案する。 トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。 2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
  論文  参考訳（メタデータ） (2021-09-14T06:42:54Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Automating Outlier Detection via Meta-Learning [37.736124230543865]
  メタ学習をベースとした,Overier検出のためのモデル選択のための,最初の原則付きデータ駆動型アプローチであるMetaODを開発した。 検出モデルの選択におけるMetaODの有効性を示す。 この新しい問題をさらに研究するために、私たちはメタラーニングシステム全体、ベンチマーク環境、テストベッドデータセットをオープンソース化しました。
  論文  参考訳（メタデータ） (2020-09-22T15:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。