論文の概要: Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification

• arxiv url: http://arxiv.org/abs/2511.03830v1
• Date: Wed, 05 Nov 2025 19:53:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.204433
• Title: Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification
• Title（参考訳）: Divide, Cache, Conquer: 効率的なマルチラベルLCM分類のためのダイコトミック・プロンプティング
• Authors: Mikołaj Langner, Jan Eliasz, Ewa Rudnicka, Jan Kocoń,
• Abstract要約: 大規模言語モデル(LLM)を用いた効率的な多言語テキスト分類手法を提案する。 単一の構造化された応答で全てのラベルを生成する代わりに、各ターゲット次元は独立してクエリされる。 この結果から,マルチラベル分類をダイコトミッククエリに分解することで,スケーラブルで効率的なフレームワークが提供されることが示唆された。
• 参考スコア（独自算出の注目度）: 0.2799896314754614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a method for efficient multi-label text classification with large language models (LLMs), built on reformulating classification tasks as sequences of dichotomic (yes/no) decisions. Instead of generating all labels in a single structured response, each target dimension is queried independently, which, combined with a prefix caching mechanism, yields substantial efficiency gains for short-text inference without loss of accuracy. To demonstrate the approach, we focus on affective text analysis, covering 24 dimensions including emotions and sentiment. Using LLM-to-SLM distillation, a powerful annotator model (DeepSeek-V3) provides multiple annotations per text, which are aggregated to fine-tune smaller models (HerBERT-Large, CLARIN-1B, PLLuM-8B, Gemma3-1B). The fine-tuned models show significant improvements over zero-shot baselines, particularly on the dimensions seen during training. Our findings suggest that decomposing multi-label classification into dichotomic queries, combined with distillation and cache-aware inference, offers a scalable and effective framework for LLM-based classification. While we validate the method on affective states, the approach is general and applicable across domains.
• Abstract（参考訳）: ダイコトミック(yes/no)決定のシーケンスとして分類タスクを再構成した,大規模言語モデル(LLM)を用いた効率的な多言語テキスト分類法を提案する。 単一の構造化された応答で全てのラベルを生成する代わりに、各ターゲット次元を独立してクエリし、プレフィックスキャッシング機構と組み合わせることで、精度を損なわずに短文推論の大幅な効率向上が得られる。 このアプローチを実証するために,感情や感情を含む24次元の感情的テキスト分析に焦点を当てた。 LLM-to-SLM蒸留を用いて、強力なアノテータモデル(DeepSeek-V3)はテキスト毎に複数のアノテーションを提供し、細い小さなモデル(HerBERT-Large, CLARIN-1B, PLLuM-8B, Gemma3-1B)に集約される。 微調整されたモデルでは、ゼロショットベースライン、特にトレーニング中に見られる寸法よりも大幅に改善されている。 以上の結果から,マルチラベル分類をダイコトミッククエリに分解し,蒸留とキャッシュ認識推論を組み合わせることで,LLMに基づく分類のスケーラブルで効果的なフレームワークが提供されることが示唆された。 この手法を感情状態で検証する一方で、アプローチは汎用的で、各領域にまたがって適用可能である。

関連論文リスト

• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• Large Language Models Do Multi-Label Classification Differently [41.60681320369492]
  実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 自己回帰型LLMは,主観的タスクに着目し,マルチラベル分類を行うかを検討する。 第1ラベルの初期確率分布は最終的な出力を反映しないことが多い。
  論文  参考訳（メタデータ） (2025-05-23T06:04:36Z)
• Label-template based Few-Shot Text Classification with Contrastive Learning [7.964862748983985]
  本稿では,単純かつ効果的なテキスト分類フレームワークを提案する。 ラベルテンプレートは入力文に埋め込まれ、クラスラベルの潜在値を完全に活用する。 教師付きコントラスト学習を用いて、サポートサンプルとクエリサンプル間の相互作用情報をモデル化する。
  論文  参考訳（メタデータ） (2024-12-13T12:51:50Z)
• Boosting Prompt-Based Self-Training With Mapping-Free Automatic Verbalizer for Multi-Class Classification [3.647905567437244]
  マッピング不要な自動言語モデリングツール (MAV) という,新しい効率的な動詞体系を導入する。 MAVは、予測から利用可能な全ての情報に乗じて、分類に必要な単語の特徴を自動的に抽出する訓練可能な発声器として機能する。 5つの多クラス分類データセットの実験結果は、MAVの優れた自己学習効果を示している。
  論文  参考訳（メタデータ） (2023-12-08T11:43:00Z)
• SPIN: Sparsifying and Integrating Internal Neurons in Large Language Models for Text Classification [6.227343685358882]
  本稿では,テキスト分類のための大規模言語モデルの中間層の内部ニューロンを分散・統合するモデルに依存しないフレームワークを提案する。 SPINはテキスト分類の精度、効率、解釈可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-11-27T16:28:20Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。