論文の概要: Density-Based Dynamic Curriculum Learning for Intent Detection

• arxiv url: http://arxiv.org/abs/2108.10674v1
• Date: Tue, 24 Aug 2021 12:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:22:10.796582
• Title: Density-Based Dynamic Curriculum Learning for Intent Detection
• Title（参考訳）: インテント検出のための密度ベース動的カリキュラム学習
• Authors: Yantao Gong, Cao Liu, Jiazhen Yuan, Fan Yang, Xunliang Cai, Guanglu Wan, Jiansong Chen, Ruiyao Niu and Houfeng Wang
• Abstract要約: 本モデルでは, 固有ベクトル密度に応じてサンプルの難易度を定義する。 様々な難易度のサンプルに注意を払う動的カリキュラム学習戦略を適用した。 3つのオープンデータセットの実験により、提案した密度に基づくアルゴリズムが、単純かつ複雑なサンプルを著しく区別できることが確認された。
• 参考スコア（独自算出の注目度）: 14.653917644725427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have achieved noticeable performance on the intent detection task. However, due to assigning an identical weight to each sample, they suffer from the overfitting of simple samples and the failure to learn complex samples well. To handle this problem, we propose a density-based dynamic curriculum learning model. Our model defines the sample's difficulty level according to their eigenvectors' density. In this way, we exploit the overall distribution of all samples' eigenvectors simultaneously. Then we apply a dynamic curriculum learning strategy, which pays distinct attention to samples of various difficulty levels and alters the proportion of samples during the training process. Through the above operation, simple samples are well-trained, and complex samples are enhanced. Experiments on three open datasets verify that the proposed density-based algorithm can distinguish simple and complex samples significantly. Besides, our model obtains obvious improvement over the strong baselines.
• Abstract（参考訳）: 事前訓練された言語モデルは、意図検出タスクにおいて顕著なパフォーマンスを達成した。 しかしながら、各サンプルに同じ重みを割り当てることによって、単純なサンプルの過剰フィットと複雑なサンプルの学習の失敗に苦しむことになる。 この問題に対処するために,密度に基づく動的カリキュラム学習モデルを提案する。 本モデルは固有ベクトルの密度に応じてサンプルの難易度を定義する。 このようにして、全てのサンプルの固有ベクトルの全体分布を同時に活用する。 次に,様々な難易度のサンプルに注意を払い,学習過程におけるサンプルの割合を変化させる動的カリキュラム学習戦略を適用した。 以上の操作を通じて、単純なサンプルを十分に訓練し、複雑なサンプルを増強する。 3つのオープンデータセットの実験により、提案した密度に基づくアルゴリズムが、単純かつ複雑なサンプルを著しく区別できることが確認された。 さらに,本モデルでは,強いベースラインよりも明らかに改善されている。

関連論文リスト

• Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
  知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
  論文  参考訳（メタデータ） (2024-10-18T03:31:00Z)
• Detection of Under-represented Samples Using Dynamic Batch Training for Brain Tumor Segmentation from MR Images [0.8437187555622164]
  磁気共鳴イメージング(MR)における脳腫瘍は困難であり、時間を要する。 これらの課題は、MR画像から自動脳腫瘍分割法を開発することで解決できる。 U-Netに基づく様々なディープラーニングモデルが提案されている。 これらのディープラーニングモデルは、腫瘍画像のデータセットに基づいてトレーニングされ、マスクのセグメント化に使用される。
  論文  参考訳（メタデータ） (2024-08-21T21:51:47Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Hard Sample Aware Network for Contrastive Deep Graph Clustering [38.44763843990694]
  我々は,Hard Sample Aware Network (HSAN) と呼ばれる,新しい対照的な深層グラフクラスタリング手法を提案する。 本アルゴリズムでは, 属性埋め込みと構造埋め込みの両方を考慮し, サンプル間の類似性を計算した。 得られた高信頼度クラスタリング情報のガイダンスに基づき,提案した重み調整関数は,まず正および負のサンプルを認識する。
  論文  参考訳（メタデータ） (2022-12-16T16:57:37Z)
• DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination [28.599571524763785]
  ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
  論文  参考訳（メタデータ） (2022-08-21T13:38:55Z)
• Style Curriculum Learning for Robust Medical Image Segmentation [62.02435329931057]
  深部セグメンテーションモデルは、トレーニングデータセットとテストデータセットの間の画像強度の分散シフトによって、しばしば劣化する。 本稿では,そのような分散シフトが存在する場合に,ロバストなセグメンテーションを確保するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-01T08:56:24Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)
• Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
  監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。 本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-19T22:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。