論文の概要: Label Distribution Learning-Enhanced Dual-KNN for Text Classification

• arxiv url: http://arxiv.org/abs/2503.04869v1
• Date: Thu, 06 Mar 2025 15:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:35.594736
• Title: Label Distribution Learning-Enhanced Dual-KNN for Text Classification
• Title（参考訳）: テキスト分類のためのラベル分布学習強化デュアルKNN
• Authors: Bo Yuan, Yulin Chen, Zhen Tan, Wang Jinyan, Huan Liu, Yin Zhang,
• Abstract要約: トレーニング中にモデル自体が生成した内部情報、例えばテキスト埋め込みや予測ラベル確率分布は、いくつかのテキストの結果を予測する際に悪用される。 2つの$k$NNモジュールを持つ2つの$k$近辺(D$k$NN)フレームワークを提案し、トレーニングセットから複数の隣人を検索し、ラベルの分布を拡大する。 また,ラベルの類似性を学習するラベル分布学習モジュールを導入し,より優れたラベル分布を生成することにより,モデルによるテキストの識別をより効果的に行えるようにした。
• 参考スコア（独自算出の注目度）: 24.992774049517994
• License:
• Abstract: Many text classification methods usually introduce external information (e.g., label descriptions and knowledge bases) to improve the classification performance. Compared to external information, some internal information generated by the model itself during training, like text embeddings and predicted label probability distributions, are exploited poorly when predicting the outcomes of some texts. In this paper, we focus on leveraging this internal information, proposing a dual $k$ nearest neighbor (D$k$NN) framework with two $k$NN modules, to retrieve several neighbors from the training set and augment the distribution of labels. For the $k$NN module, it is easily confused and may cause incorrect predictions when retrieving some nearest neighbors from noisy datasets (datasets with labeling errors) or similar datasets (datasets with similar labels). To address this issue, we also introduce a label distribution learning module that can learn label similarity, and generate a better label distribution to help models distinguish texts more effectively. This module eases model overfitting and improves final classification performance, hence enhancing the quality of the retrieved neighbors by $k$NN modules during inference. Extensive experiments on the benchmark datasets verify the effectiveness of our method.
• Abstract（参考訳）: 多くのテキスト分類法は、通常、分類性能を改善するために外部情報(ラベル記述や知識ベースなど)を導入する。 外部情報と比較して、テキスト埋め込みや予測ラベル確率分布のようなトレーニング中にモデル自身が生成する内部情報は、いくつかのテキストの結果を予測する際にはうまく利用されない。 本稿では、この内部情報を活用することに集中し、2つの$k$NNモジュールを持つ2つの$k$近くの隣人(D$k$NN)フレームワークを提案し、トレーニングセットから複数の隣人を検索し、ラベルの配布を拡大する。 k$NNモジュールでは、ノイズの多いデータセット(ラベル付きエラーを含むデータセット)や類似したデータセット(類似ラベル付きデータセット)から近接するいくつかのデータセットを取得すると、簡単に混乱し、誤った予測を引き起こす可能性がある。 この問題に対処するために,ラベルの類似性を学習可能なラベル分布学習モジュールを導入し,より優れたラベル分布を生成することにより,モデルによるテキストの識別をより効果的に行えるようにした。 このモジュールはモデルのオーバーフィッティングを容易にし、最終的な分類性能を改善し、推論中に$k$NNモジュールによって取得した隣人の品質を向上させる。 ベンチマークデータセットの大規模な実験により,本手法の有効性が検証された。

関連論文リスト

• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [58.617025733655005]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• DocSCAN: Unsupervised Text Classification via Learning from Neighbors [2.2082422928825145]
  Semantic Clustering by Adopting Nearest-Neighbors (SCAN)を用いた、完全に教師なしのテキスト分類アプローチであるDocSCANを紹介します。 各文書に対して,大規模事前学習言語モデルから意味情報ベクトルを得る。 類似の文書には近接ベクトルがあるので、表現空間の隣人はトピックラベルを共有する傾向がある。 学習可能なクラスタリングアプローチでは、隣接するデータポイントのペアを弱い学習信号として使用します。 提案されたアプローチは、グラウンドトラスラベルなしでデータセット全体にクラスを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2021-05-09T21:20:31Z)
• Label Confusion Learning to Enhance Text Classification Models [3.0251266104313643]
  ラベル混乱モデル(lcm)はラベル間の意味的重複を捉えるためにラベル混乱を学習する。 lcmは、元のホットラベルベクトルを置き換えるより優れたラベル分布を生成することができる。 5つのテキスト分類ベンチマークデータセットの実験により、広く使われているディープラーニング分類モデルに対するLCMの有効性が明らかにされた。
  論文  参考訳（メタデータ） (2020-12-09T11:34:35Z)
• Unsupervised Label Refinement Improves Dataless Text Classification [48.031421660674745]
  データレステキスト分類は、ラベル記述と組み合わせた文書にスコアを割り当てることで、文書を未確認のラベルに分類することができる。 有望ながら、それは重要なダウンストリームタスクごとにラベルセットの正確な説明に依存します。 この依存により、データレス分類器はラベル記述の選択に非常に敏感になり、実際にはデータレス分類の幅広い適用を妨げる。
  論文  参考訳（メタデータ） (2020-12-08T03:37:50Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Meta-Learning for Neural Relation Classification with Distant Supervision [38.755055486296435]
  本稿では,参照データの指導の下で,雑音の多い学習データを重み付けするメタラーニング手法を提案する。 いくつかのデータセットの実験では、参照データがトレーニングデータの選択を効果的にガイドできることが示されている。
  論文  参考訳（メタデータ） (2020-10-26T12:52:28Z)
• Classify and Generate Reciprocally: Simultaneous Positive-Unlabelled Learning and Conditional Generation with Extra Data [77.31213472792088]
  クラスラベルデータの不足は、多くの機械学習問題において、ユビキタスなボトルネックとなっている。 本稿では, 正負ラベル付き(PU)分類と, 余分なラベル付きデータによる条件生成を活用することで, この問題に対処する。 本稿では,PU分類と条件生成を併用した新たなトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-14T08:27:40Z)
• Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
  我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。 提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。