論文の概要: Hierarchical Text Classification Using Black Box Large Language Models
- arxiv url: http://arxiv.org/abs/2508.04219v1
- Date: Wed, 06 Aug 2025 08:53:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.639869
- Title: Hierarchical Text Classification Using Black Box Large Language Models
- Title（参考訳）: ブラックボックス大言語モデルを用いた階層的テキスト分類
- Authors: Kosuke Yoshimura, Hisashi Kashima,
- Abstract要約: 階層的テキスト分類は、構造化ラベル階層にテキストを割り当てることを目的としている。
本研究は,HTCのAPIを通じてアクセスされるブラックボックスの大規模言語モデルの実現可能性について検討する。
- 参考スコア（独自算出の注目度）: 21.919003715442074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical Text Classification (HTC) aims to assign texts to structured label hierarchies; however, it faces challenges due to data scarcity and model complexity. This study explores the feasibility of using black box Large Language Models (LLMs) accessed via APIs for HTC, as an alternative to traditional machine learning methods that require extensive labeled data and computational resources. We evaluate three prompting strategies -- Direct Leaf Label Prediction (DL), Direct Hierarchical Label Prediction (DH), and Top-down Multi-step Hierarchical Label Prediction (TMH) -- in both zero-shot and few-shot settings, comparing the accuracy and cost-effectiveness of these strategies. Experiments on two datasets show that a few-shot setting consistently improves classification accuracy compared to a zero-shot setting. While a traditional machine learning model achieves high accuracy on a dataset with a shallow hierarchy, LLMs, especially DH strategy, tend to outperform the machine learning model on a dataset with a deeper hierarchy. API costs increase significantly due to the higher input tokens required for deeper label hierarchies on DH strategy. These results emphasize the trade-off between accuracy improvement and the computational cost of prompt strategy. These findings highlight the potential of black box LLMs for HTC while underscoring the need to carefully select a prompt strategy to balance performance and cost.
- Abstract（参考訳）: 階層的テキスト分類(HTC)は、構造化されたラベル階層にテキストを割り当てることを目的としている。
本研究は,HTCのAPIを通じてアクセスされるブラックボックスのLarge Language Models (LLM) を,ラベル付きデータや計算資源を必要とする従来の機械学習手法の代替として利用できるかを検討する。
我々は,これらの戦略の精度と費用対効果を比較検討し,直接リーフラベル予測(DL),直接階層ラベル予測(DH),トップダウン多段階階層ラベル予測(TMH)の3つのプロンプト戦略を評価する。
2つのデータセットの実験では、ゼロショット設定と比較して、数ショット設定が常に分類精度を改善することが示されている。
従来の機械学習モデルは、浅い階層のデータセットで高い精度を達成するが、LLM、特にDH戦略は、より深い階層のデータセットで機械学習モデルより優れている傾向にある。
APIのコストは、DH戦略におけるより深いラベル階層に必要な高い入力トークンによって大幅に増加する。
これらの結果は、精度の向上と迅速な戦略の計算コストのトレードオフを強調している。
これらの発見は、HTCのブラックボックスLSMの可能性を強調し、パフォーマンスとコストのバランスをとるための迅速な戦略を慎重に選択する必要があることを強調している。
関連論文リスト
- Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。
また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
論文 参考訳（メタデータ） (2024-12-17T08:47:41Z) - Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。
本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。
クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-11-29T18:58:22Z) - Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。
LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。
総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-11-12T18:57:59Z) - Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification [13.320591504692574]
我々は,PLMの知識を非構造化の方法で下流階層に適応させるために,HTCの問題を数ショット設定で研究する。
階層的条件付き反復ランダムフィールド (HierICRF) という単純な手法を用いて、最もドメインが混在する方向を探索する。
HierICRFによるプロンプトは、平均的なMicro-F1の28.80%から1.50%、Macro-F1の36.29%から1.5%で、HTCのパフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2024-07-12T03:21:57Z) - Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification [34.06292178703825]
大規模な言語モデル(LLM)を備えた最初のICLベースのフレームワークを,数ショットのHTC向けに紹介する。
検索データベースを利用して、関連する実演を識別し、多層階層ラベルを管理するための反復的なポリシーを用いる。
数ショットのHTCで最先端の成果が得られます。
論文 参考訳（メタデータ） (2024-06-25T13:19:41Z) - HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text
Classification [19.12354692458442]
階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。
動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
論文 参考訳（メタデータ） (2024-01-24T04:44:42Z) - Hierarchical Verbalizer for Few-Shot Hierarchical Text Classification [10.578682558356473]
階層的テキスト分類(HTC)は、低リソースまたは少数ショットの設定を考慮すると、パフォーマンスが低下する。
本稿では,HTC を単一あるいは複数ラベルの分類問題として扱う多言語フレームワークである階層型動詞化器 (HierVerb) を提案する。
このように、HierVerbはラベル階層の知識を動詞化子に融合させ、グラフエンコーダを通じて階層を注入する者よりも著しく優れています。
論文 参考訳（メタデータ） (2023-05-26T12:41:49Z) - HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification [45.314357107687286]
マルチラベルの観点からHTCを扱うための階層型Prompt Tuning法であるHPTを提案する。
具体的には,ラベル階層の知識を融合させるために,ソフトプロンプトの形式を取り入れた動的仮想テンプレートとラベル語を構築した。
実験によると、HPTは3つの人気のあるHTCデータセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-04-28T11:22:49Z) - HTCInfoMax: A Global Model for Hierarchical Text Classification via
Information Maximization [75.45291796263103]
階層的テキスト分類のための現在の最新モデルHiAGMには2つの制限がある。
関連しない情報を含むデータセット内のすべてのラベルと、各テキストサンプルを関連付ける。
2つのモジュールを含む情報を導入することで、これらの問題に対処するHTCInfoMaxを提案します。
論文 参考訳（メタデータ） (2021-04-12T06:04:20Z) - Data-to-text Generation with Macro Planning [61.265321323312286]
本稿では,マクロ計画段階のニューラルモデルと,従来の手法を連想させる生成段階を提案する。
提案手法は, 自動評価と人的評価の両面で, 競争ベースラインを上回っている。
論文 参考訳（メタデータ） (2021-02-04T16:32:57Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。