論文の概要: The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
- arxiv url: http://arxiv.org/abs/2210.07071v2
- Date: Mon, 15 Apr 2024 13:42:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 03:10:06.490269
- Title: The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
- Title(参考訳): OODインテント分類のためのオープンワールドロッキーチケット仮説
- Authors: Yunhua Zhou, Pengyu Wang, Peiju Liu, Yuxin Wang, Xipeng Qiu,
- Abstract要約: 我々はOODに対するモデル過信の根本的な原因を明かした。
Lottery Ticket仮説も,オープンワールドシナリオに拡張しています。
- 参考スコア(独自算出の注目度): 68.93357975024773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing methods of Out-of-Domain (OOD) intent classification rely on extensive auxiliary OOD corpora or specific training paradigms. However, they are underdeveloped in the underlying principle that the models should have differentiated confidence in In- and Out-of-domain intent. In this work, we shed light on the fundamental cause of model overconfidence on OOD and demonstrate that calibrated subnetworks can be uncovered by pruning the overparameterized model. Calibrated confidence provided by the subnetwork can better distinguish In- and Out-of-domain, which can be a benefit for almost all post hoc methods. In addition to bringing fundamental insights, we also extend the Lottery Ticket Hypothesis to open-world scenarios. We conduct extensive experiments on four real-world datasets to demonstrate our approach can establish consistent improvements compared with a suite of competitive baselines.
- Abstract(参考訳): 既存のOOD(Out-of-Domain)の意図的な分類法は、広範囲な補助的なOODコーパスや特定の訓練パラダイムに依存している。
しかしながら、モデルがドメイン内および外部の意図に対する信頼を区別するべきだという基本的な原則では、これらは未発達である。
本研究では,OOD上でのモデル過信の根本的な原因を明らかにするとともに,過パラメータ化モデルを用いてキャリブレーションされたサブネットを発見できることを実証する。
サブネットワークが提供するキャリブレーションされた信頼性は、ほとんどすべてのポストホックメソッドの利点となるIn-とOut-of-ドメインをよりよく区別することができる。
基本的な洞察をもたらすことに加えて、Luttery Ticket仮説をオープンワールドのシナリオにも拡張しています。
実世界の4つのデータセットに対する広範な実験を行い、我々のアプローチが、競争力のあるベースラインのスイートと比較して一貫した改善を確立することができることを実証します。
関連論文リスト
- Towards Context-Aware Domain Generalization: Understanding the Benefits
and Limits of Marginal Transfer Learning [1.5320861212113897]
我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。
経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
論文 参考訳(メタデータ) (2023-12-15T05:18:07Z) - Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳(メタデータ) (2023-11-02T15:35:58Z) - DATa: Domain Adaptation-Aided Deep Table Detection Using Visual-Lexical
Representations [2.542864854772221]
DATaと呼ばれる新しいドメイン適応型ディープテーブル検出手法を提案する。
信頼できるラベルがほとんどない特定のターゲットドメインで十分なパフォーマンスを保証します。
実験の結果,DATaは対象領域における視覚的表現のみを利用する競合手法よりもかなり優れていた。
論文 参考訳(メタデータ) (2022-11-12T12:14:16Z) - Boosting Out-of-distribution Detection with Typical Features [22.987563801433595]
オフ・オブ・ディストリビューション(OOD)検出は、現実世界のシナリオにおけるディープニューラルネットワークの信頼性と安全性を保証するための重要なタスクである。
本稿では,その特徴を定式化してOODスコアを定式化して,信頼性の高い不確実性推定を実現することを提案する。
一般的なベンチマーク(CIFAR)と大きなラベル空間を持つ高解像度ベンチマーク(ImageNet)の両方において,本手法の優位性を評価する。
論文 参考訳(メタデータ) (2022-10-09T08:44:22Z) - Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。
複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。
本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
論文 参考訳(メタデータ) (2022-09-29T18:25:48Z) - WeShort: Out-of-distribution Detection With Weak Shortcut structure [0.0]
我々は,OODデータに対するニューラルネットワークの過信を低減するために,シンプルで効果的なポストホック手法WeShortを提案する。
提案手法はOOD検出の異なるスコアと互換性があり,ネットワークの異なるアーキテクチャによく対応できる。
論文 参考訳(メタデータ) (2022-06-23T07:59:10Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳(メタデータ) (2021-06-28T08:27:38Z) - Confidence Estimation via Auxiliary Models [47.08749569008467]
モデル信頼のための新しいターゲット基準、すなわち真のクラス確率(TCP)を紹介します。
標準最大クラス確率 (MCP) よりも TCP が信頼度推定に優れた特性を提供することを示す。
論文 参考訳(メタデータ) (2020-12-11T17:21:12Z) - A Unified Taylor Framework for Revisiting Attribution Methods [49.03783992773811]
我々はTaylor属性フレームワークを提案し、7つの主流属性メソッドをフレームワークに再構成する。
我々はTaylor属性フレームワークにおいて、良い属性の3つの原則を確立する。
論文 参考訳(メタデータ) (2020-08-21T22:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。