論文の概要: Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification

• arxiv url: http://arxiv.org/abs/2406.17534v1
• Date: Tue, 25 Jun 2024 13:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 14:20:18.389361
• Title: Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification
• Title（参考訳）: Few-shot Hierarchical Text Classificationのための検索型インコンテキスト学習
• Authors: Huiyao Chen, Yu Zhao, Zulong Chen, Mengjia Wang, Liangyue Li, Meishan Zhang, Min Zhang,
• Abstract要約: 大規模な言語モデル(LLM)を備えた最初のICLベースのフレームワークを,数ショットのHTC向けに紹介する。 検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。 数ショットのHTCで最先端の成果が得られます。
• 参考スコア（独自算出の注目度）: 34.06292178703825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical text classification (HTC) is an important task with broad applications, while few-shot HTC has gained increasing interest recently. While in-context learning (ICL) with large language models (LLMs) has achieved significant success in few-shot learning, it is not as effective for HTC because of the expansive hierarchical label sets and extremely-ambiguous labels. In this work, we introduce the first ICL-based framework with LLM for few-shot HTC. We exploit a retrieval database to identify relevant demonstrations, and an iterative policy to manage multi-layer hierarchical labels. Particularly, we equip the retrieval database with HTC label-aware representations for the input texts, which is achieved by continual training on a pretrained language model with masked language modeling (MLM), layer-wise classification (CLS, specifically for HTC), and a novel divergent contrastive learning (DCL, mainly for adjacent semantically-similar labels) objective. Experimental results on three benchmark datasets demonstrate superior performance of our method, and we can achieve state-of-the-art results in few-shot HTC.
• Abstract（参考訳）: 階層的テキスト分類(HTC)は幅広いアプリケーションにとって重要なタスクである。 大規模言語モデル (LLM) を持つインコンテキストラーニング (ICL) は、数発の学習で大きな成功を収めているが、階層的なラベルセットと非常にあいまいなラベルのために、HTCにとってそれほど効果的ではない。 本研究では,数発のHTC向けに LLM を用いた最初の ICL ベースのフレームワークを紹介する。 検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。 特に,入力テキストに対するHTCのラベル対応表現を検索データベースに装備し,マスク言語モデリング(MLM)による事前訓練,レイヤワイド分類(CLS,特にHTC用),および新たな異種コントラスト学習(DCL,主に隣接セマンティック・類似ラベル)の目標とする。 3つのベンチマークデータセットによる実験結果から,提案手法の優れた性能が示され,数発のHTCで最先端の結果が得られた。

関連論文リスト

• Revisiting Hierarchical Text Classification: Inference and Metrics [4.057349748970303]
  階層的テキスト分類(階層的テキスト分類、hierarchical text classification)は、階層として整理された構造化空間内のテキストにラベルを割り当てるタスクである。 最近の研究は、HTCを従来のマルチラベル分類問題として扱い、そのように評価している。 本稿では,特に設計した階層的指標に基づくモデルの評価を提案し,計量選択と予測推定手法の複雑さを実証する。
  論文  参考訳（メタデータ） (2024-10-02T07:57:33Z)
• Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
  我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。 階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。 HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2024-07-12T03:21:57Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
  階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。 本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。 このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
  論文  参考訳（メタデータ） (2023-05-26T12:41:49Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
  マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。 具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。 実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-28T11:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。