論文の概要: Exploring the Advantages of Dense-Vector to One-Hot Encoding of Intent Classes in Out-of-Scope Detection Tasks

• arxiv url: http://arxiv.org/abs/2205.09021v1
• Date: Wed, 18 May 2022 15:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:39:51.982524
• Title: Exploring the Advantages of Dense-Vector to One-Hot Encoding of Intent Classes in Out-of-Scope Detection Tasks
• Title（参考訳）: アウト・オブ・スコープ検出タスクにおけるインテントクラスのワンホット符号化へのディエンスベクターの活用
• Authors: Claudio Pinhanez, Paulo Cavalin
• Abstract要約: 本研究は,OOS(Out-of-scope)入力の検出が必要な場合の意図の分類において,一般的なワンホット符号化方式の本質的な限界について検討する。 近年の研究では、目的クラスがドメイン固有知識に基づいて高密度ベクトルとして表現される場合、OOS検出の大幅な改善が示されているが、我々は、OOS空間の複雑さを表現するために、高密度ベクトルと1ホット符号化方式の利点により、そのような利得がより大きいと論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work explores the intrinsic limitations of the popular one-hot encoding method in classification of intents when detection of out-of-scope (OOS) inputs is required. Although recent work has shown that there can be significant improvements in OOS detection when the intent classes are represented as dense-vectors based on domain specific knowledge, we argue in this paper that such gains are more likely due to advantages of dense-vector to one-hot encoding methods in representing the complexity of the OOS space. We start by showing how dense-vector encodings can create OOS spaces with much richer topologies than one-hot encoding methods. We then demonstrate empirically, using four standard intent classification datasets, that knowledge-free, randomly generated dense-vector encodings of intent classes can yield massive, over 20% gains over one-hot encodings, and also outperform the previous, domain knowledge-based, SOTA of one of the datasets. We finish by describing a novel algorithm to search for good dense-vector encodings and present initial but promising experimental results of its use.
• Abstract（参考訳）: 本研究は,OOS(Out-of-scope)入力の検出が必要な場合の意図の分類において,一般的なワンホット符号化方式の本質的な限界について検討する。 近年の研究では、意図クラスがドメイン固有知識に基づいて密ベクトルとして表される場合、OOS検出に顕著な改善があることが示されたが、この論文では、OOS空間の複雑さを表す1ホット符号化法に対する密ベクトルの利点により、そのような利得はよりありそうである、と論じている。 まず、高密度ベクトルエンコーディングがワンホットエンコーディング法よりもはるかにリッチなトポロジを持つOOS空間をいかに作成できるかを示す。 次に、4つの標準インテント分類データセットを用いて、インテントクラスの知識フリーでランダムに生成された密集したベクトルエンコーディングが、1つのホットエンコーディングよりも20%以上大きな利益をもたらすこと、そして、以前の1つのデータセットのドメイン知識ベースsomaを上回っていることを実証する。 そこで我々は,高密度ベクトル符号化を探索する新しいアルゴリズムを記述し,その使用の初期かつ有望な実験結果を示す。

関連論文リスト

• Sketch and shift: a robust decoder for compressive clustering [6.925686008876193]
  圧縮学習は、大規模学習のメモリフットプリントを大幅に削減する、新たなアプローチである。 CL-OMPRよりも大幅に改善された代替デコーダを提案する。 提案アルゴリズムは,従来より10倍小さいMNISTデータセットのスケッチからクラスタリング情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-12-15T16:53:55Z)
• BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection [0.43891501568660135]
  本稿では,バイエンコーダを用いた検出器を用いた新しい手法を提案する。 NLPにおける様々なアウト・オブ・ディストリビューション(OOD)検出法を比較した総合的研究を行った。 提案されたバイエンコーダベースの検出器は、トレーニングでOODラベルを必要とするものと、そうでないものの両方において、他の方法よりも優れている。 トレーニングプロセスの単純さと優れた検出性能により、現実のシナリオに適用できる。
  論文  参考訳（メタデータ） (2023-06-15T04:41:28Z)
• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection [74.88284082187462]
  一般的な戦略の1つは、バックボーンネットワークに拡張畳み込みを採用し、高解像度のフィーチャーマップを抽出することです。 本稿では,高分解能なセマンティクスリッチな特徴マップを得るために紹介される,新たなホリスティック誘導デコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-18T10:51:49Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)
• COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
  我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。 COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
  論文  参考訳（メタデータ） (2020-10-19T13:53:38Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。