論文の概要: Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification

• arxiv url: http://arxiv.org/abs/2407.08959v1
• Date: Fri, 12 Jul 2024 03:21:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 00:56:38.775462
• Title: Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification
• Title（参考訳）: 数ショット階層テキスト分類のための反復推論の連鎖によるドメイン階層適応
• Authors: Ke Ji, Peng Wang, Wenjun Ke, Guozheng Li, Jiajun Liu, Jingsheng Gao, Ziyu Shang,
• Abstract要約: 我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。 階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。 HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
• 参考スコア（独自算出の注目度）: 13.320591504692574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, various pre-trained language models (PLMs) have been proposed to prove their impressive performances on a wide range of few-shot tasks. However, limited by the unstructured prior knowledge in PLMs, it is difficult to maintain consistent performance on complex structured scenarios, such as hierarchical text classification (HTC), especially when the downstream data is extremely scarce. The main challenge is how to transfer the unstructured semantic space in PLMs to the downstream domain hierarchy. Unlike previous work on HTC which directly performs multi-label classification or uses graph neural network (GNN) to inject label hierarchy, in this work, we study the HTC problem under a few-shot setting to adapt knowledge in PLMs from an unstructured manner to the downstream hierarchy. Technically, we design a simple yet effective method named Hierarchical Iterative Conditional Random Field (HierICRF) to search the most domain-challenging directions and exquisitely crafts domain-hierarchy adaptation as a hierarchical iterative language modeling problem, and then it encourages the model to make hierarchical consistency self-correction during the inference, thereby achieving knowledge transfer with hierarchical consistency preservation. We perform HierICRF on various architectures, and extensive experiments on two popular HTC datasets demonstrate that prompt with HierICRF significantly boosts the few-shot HTC performance with an average Micro-F1 by 28.80% to 1.50% and Macro-F1 by 36.29% to 1.5% over the previous state-of-the-art (SOTA) baselines under few-shot settings, while remaining SOTA hierarchical consistency performance.
• Abstract（参考訳）: 近年,様々な事前学習型言語モデル (PLM) が提案されている。 しかし、PLMにおける非構造的事前知識に制限されているため、特に下流データが極めて少ない場合に、階層的テキスト分類(HTC)のような複雑な構造化シナリオで一貫した性能を維持することは困難である。 主な課題は、PLMの非構造化セマンティック空間を下流ドメイン階層に転送する方法である。 複数ラベルの分類やグラフニューラルネットワーク(GNN)を用いてラベル階層をインジェクトする以前のHTCの作業とは異なり、本研究では、HTCの問題を数ショットの条件下で研究し、構造化されていない方法でPLMの知識を下流階層に適応させる。 技術的には、階層的反復条件ランダムフィールド (HierICRF) と呼ばれる単純な手法を設計し、最もドメインが混在する方向を探索し、ドメイン階層適応を階層的反復言語モデリング問題として巧妙に構築し、推論中に階層的一貫性を自己補正し、階層的一貫性の維持による知識伝達を実現する。 私たちは、さまざまなアーキテクチャ上でHierICRFを実行し、2つの人気のあるHTCデータセット上で大規模な実験を行い、HierICRFによるプロンプトによって、平均的なMicro-F1が28.80%、Macro-F1が36.29%から1.5%向上し、SOTAの階層的一貫性が保たれる一方で、以前のSOTAベースラインよりも大幅に向上することを示した。

関連論文リスト

• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
  階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。 本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。 このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
  論文  参考訳（メタデータ） (2023-05-26T12:41:49Z)
• Topic-driven Distant Supervision Framework for Macro-level Discourse Parsing [72.14449502499535]
  テキストの内部修辞構造を解析する作業は、自然言語処理において難しい問題である。 近年のニューラルモデルの発展にもかかわらず、トレーニングのための大規模で高品質なコーパスの欠如は大きな障害となっている。 近年の研究では、遠方の監督を用いてこの制限を克服しようと試みている。
  論文  参考訳（メタデータ） (2023-05-23T07:13:51Z)
• HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
  マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。 具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。 実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-28T11:22:49Z)
• HFT-ONLSTM: Hierarchical and Fine-Tuning Multi-label Text Classification [7.176984223240199]
  階層型マルチラベルテキスト分類(HMTC)は,近縁なカテゴリの大規模集合よりも高精度である。 本稿では,HFT-ONLSTMと略される順序付きニューラルLSTMニューラルネットワークをベースとした階層的・微調整手法を提案し,より正確なレベル・バイ・レベルHMTCを提案する。
  論文  参考訳（メタデータ） (2022-04-18T00:57:46Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Hierarchical Text Classification As Sub-Hierarchy Sequence Generation [8.062201442038957]
  階層的テキスト分類(HTC)は、様々な実アプリケーションに必須である。 最近のHTCモデルは階層情報をモデル構造に組み込もうとしている。 我々はHTCをサブ階層シーケンス生成として定式化し、階層情報をターゲットラベルシーケンスに組み込む。 HiDECは、ベンチマークデータセットの既存のモデルよりもモデルパラメータが大幅に少ない最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-11-22T10:50:39Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Unsupervised and self-adaptative techniques for cross-domain person re-identification [82.54691433502335]
  非重複カメラにおける人物再識別(ReID)は難しい課題である。 Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。 本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
  論文  参考訳（メタデータ） (2021-03-21T23:58:39Z)
• Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
  サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。 動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。 MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
  論文  参考訳（メタデータ） (2020-12-08T08:05:20Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。