論文の概要: The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
- arxiv url: http://arxiv.org/abs/2210.07071v3
- Date: Wed, 24 Apr 2024 02:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 16:34:44.630037
- Title: The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
- Title(参考訳): OODインテント分類のためのオープンワールドロッキーチケット仮説
- Authors: Yunhua Zhou, Pengyu Wang, Peiju Liu, Yuxin Wang, Xipeng Qiu,
- Abstract要約: 我々はOODに対するモデル過信の根本的な原因を明かした。
Lottery Ticket仮説も,オープンワールドシナリオに拡張しています。
- 参考スコア(独自算出の注目度): 68.93357975024773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing methods of Out-of-Domain (OOD) intent classification rely on extensive auxiliary OOD corpora or specific training paradigms. However, they are underdeveloped in the underlying principle that the models should have differentiated confidence in In- and Out-of-domain intent. In this work, we shed light on the fundamental cause of model overconfidence on OOD and demonstrate that calibrated subnetworks can be uncovered by pruning the overparameterized model. Calibrated confidence provided by the subnetwork can better distinguish In- and Out-of-domain, which can be a benefit for almost all post hoc methods. In addition to bringing fundamental insights, we also extend the Lottery Ticket Hypothesis to open-world scenarios. We conduct extensive experiments on four real-world datasets to demonstrate our approach can establish consistent improvements compared with a suite of competitive baselines.
- Abstract(参考訳): 既存のOOD(Out-of-Domain)の意図的な分類法は、広範囲な補助的なOODコーパスや特定の訓練パラダイムに依存している。
しかしながら、モデルがドメイン内および外部の意図に対する信頼を区別するべきだという基本的な原則では、これらは未発達である。
本研究では,OOD上でのモデル過信の根本的な原因を明らかにするとともに,過パラメータ化モデルを用いてキャリブレーションされたサブネットを発見できることを実証する。
サブネットワークが提供するキャリブレーションされた信頼性は、ほとんどすべてのポストホックメソッドの利点となるIn-とOut-of-ドメインをよりよく区別することができる。
基本的な洞察をもたらすことに加えて、Luttery Ticket仮説をオープンワールドのシナリオにも拡張しています。
実世界の4つのデータセットに対する広範な実験を行い、我々のアプローチが、競争力のあるベースラインのスイートと比較して一貫した改善を確立することができることを実証します。
関連論文リスト
- Towards Context-Aware Domain Generalization: Understanding the Benefits
and Limits of Marginal Transfer Learning [1.5320861212113897]
我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。
経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
論文 参考訳(メタデータ) (2023-12-15T05:18:07Z) - Robust Unsupervised Domain Adaptation by Retaining Confident Entropy via
Edge Concatenation [7.953644697658355]
教師なしのドメイン適応は、セマンティックセグメンテーションネットワークをトレーニングするための広範なピクセルレベルのアノテーションの必要性を軽減することができる。
本稿では,エントロピーに基づく対向ネットワーク内における内部情報と外部情報の相乗効果を利用した新しいドメイン適応手法を提案する。
我々は、より効果的なセグメンテーションのために多様な情報を統合する確率共有ネットワークを考案した。
論文 参考訳(メタデータ) (2023-10-11T02:50:16Z) - Multi-level Consistency Learning for Semi-supervised Domain Adaptation [85.90600060675632]
半教師付きドメイン適応(SSDA)は、完全にラベル付けされたソースドメインから学習した知識をわずかにラベル付けされたターゲットドメインに適用することを目的としている。
SSDAのための多レベル一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-09T06:41:18Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳(メタデータ) (2021-06-28T08:27:38Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳(メタデータ) (2021-06-21T18:21:09Z) - A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。
本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。
2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文 参考訳(メタデータ) (2021-05-09T21:33:27Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳(メタデータ) (2020-12-20T13:39:29Z) - FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation [26.929772844572213]
我々は、ソースとターゲットドメイン間の複数の中間ドメインを拡大するために、固定比に基づくミックスアップを導入する。
我々は、相補的な特性を持つソース支配モデルとターゲット支配モデルを訓練する。
提案手法により,モデルが対象ドメインに徐々にドメイン知識を伝達する。
論文 参考訳(メタデータ) (2020-11-18T11:58:19Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。