論文の概要: LLM-Enhanced Dual-Branch Learning for Large-Scale Multi-Label Text Classification
- arxiv url: http://arxiv.org/abs/2609.12915v1
- Date: Fri, 11 Sep 2026 14:42:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.781426
- Title: LLM-Enhanced Dual-Branch Learning for Large-Scale Multi-Label Text Classification
- Title(参考訳): 大規模マルチラベルテキスト分類のためのLLM強化デュアルブランチ学習
- Abstract要約: 自動回帰デコーダのみの言語モデルと双方向エンコーダにより,同じ文書を処理するデュアルブランチフレームワークであるDualMLCを提案する。
DualMLCは、広く使われている3つの大規模マルチラベルテキスト分類ベンチマークに対して、最先端の結果を達成する。
- 参考スコア(独自算出の注目度): 12.339719467095492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale multi-label text classification assigns a small subset of relevant labels to each document from a vocabulary containing thousands or tens of thousands of candidate labels. Although pretrained language models have improved semantic text representations, most representation-based approaches center their prediction pipelines on a primary encoder or combine auxiliary features within a single ranker. The complementarity between heterogeneous language models therefore remains insufficiently explored. We propose DualMLC, a dual-branch framework that processes the same document through an autoregressive decoder-only language model and a bidirectional encoder. Each branch maintains its own representation pathway and independently estimates relevance scores over the shared label space. DualMLC combines the two score vectors through late logit fusion, allowing shared evidence to reinforce relevant labels and branch-specific evidence to compensate for limitations in the other branch's representation. DualMLC achieves state-of-the-art results on three widely used large-scale multi-label text classification benchmarks. Ablation results further confirm that integrating the heterogeneous predictors produces stronger rankings than either branch alone. The source code is publicly available at https://github.com/huiyegit/DualMLC.
- Abstract(参考訳): 大規模マルチラベルテキスト分類では、数千から数万の候補ラベルを含む語彙から、関連するラベルの小さなサブセットを各文書に割り当てる。
事前訓練された言語モデルでは、セマンティックテキスト表現が改善されているが、ほとんどの表現ベースのアプローチは、予測パイプラインを一次エンコーダ、または1つのローダ内で補助的な特徴を組み合わせることに集中している。
したがって、異種言語モデル間の相補性は未だ不十分である。
自動回帰デコーダのみの言語モデルと双方向エンコーダにより,同じ文書を処理するデュアルブランチフレームワークであるDualMLCを提案する。
各ブランチは独自の表現経路を維持し、共有ラベル空間上の関連スコアを独立に推定する。
DualMLCは2つのスコアベクトルを後期ロジット融合(英語版)を通じて結合し、共有エビデンスによって関連するラベルが強化され、ブランチ固有のエビデンスによって他のブランチの表現の制限が補償される。
DualMLCは、広く使われている3つの大規模マルチラベルテキスト分類ベンチマークに対して、最先端の結果を達成する。
アブレーションの結果は、不均一な予測器を統合することによって、いずれの枝よりも強いランクが生まれることをさらに確認する。
ソースコードはhttps://github.com/huiyegit/DualMLC.comで公開されている。
関連論文リスト
- Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification [0.2799896314754614]
大規模言語モデル(LLM)を用いた効率的な多言語テキスト分類手法を提案する。
単一の構造化された応答で全てのラベルを生成する代わりに、各ターゲット次元は独立してクエリされる。
この結果から,マルチラベル分類をダイコトミッククエリに分解することで,スケーラブルで効率的なフレームワークが提供されることが示唆された。
論文 参考訳(メタデータ) (2025-11-05T19:53:51Z) - Responsible AI in NLP: GUS-Net Span-Level Bias Detection Dataset and Benchmark for Generalizations, Unfairness, and Stereotypes [6.30817290125825]
本稿では、GUSデータセットとマルチラベルトークンレベル検出器を組み合わせたGUS-Net Frameworkを紹介し、社会バイアスのスパンレベル分析を行う。
GUSデータセットには、複数のドメインにまたがる3,739のユニークなスニペットが含まれ、69,000以上のトークンレベルのアノテーションが含まれている。
マルチラベルトークンレベルの分類としてバイアス検出を定式化し,エンコーダベースモデルとデコーダベース大規模言語モデルの両方をベンチマークする。
論文 参考訳(メタデータ) (2024-10-10T21:51:22Z) - Open-world Multi-label Text Classification with Extremely Weak Supervision [30.85235057480158]
極弱監督(XWS)下でのオープンワールドマルチラベルテキスト分類について検討する。
まず、ユーザ記述を利用して、原文書のサブセットのキーフレーズに対して大きな言語モデル(LLM)をプロンプトし、クラスタリングによりラベル空間を構築する。
次に、ゼロショットのマルチラベル分類器を適用して、予測スコアが小さい文書を見つけることで、より長いテールラベルに対する主要なキーフレーズを再検討する。
X-MLClassは、様々なデータセットにおいて、地平線ラベルの空間カバレッジが顕著に増加している。
論文 参考訳(メタデータ) (2024-07-08T04:52:49Z) - UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.59511319244973]
Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。
損失に依存しないエンドツーエンドのトレーニング可能なフレームワークであるUniDECを開発した。
UniDECは、数百万のラベルを持つデータセットで最先端の結果を達成する。
論文 参考訳(メタデータ) (2024-05-04T17:27:51Z) - mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view
Contrastive Learning [54.523172171533645]
CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。
言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。
40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
論文 参考訳(メタデータ) (2023-08-17T16:02:29Z) - Towards Unsupervised Recognition of Token-level Semantic Differences in
Related Documents [61.63208012250885]
意味的差異をトークンレベルの回帰タスクとして認識する。
マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。
その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
論文 参考訳(メタデータ) (2023-05-22T17:58:04Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Generalized Funnelling: Ensemble Learning and Heterogeneous Document
Embeddings for Cross-Lingual Text Classification [78.83284164605473]
emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。
Emph Generalized Funnelling (gFun) はFunの一般化である。
gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2021-09-17T23:33:04Z) - Multilingual Autoregressive Entity Linking [49.35994386221958]
mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。
与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。
提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
論文 参考訳(メタデータ) (2021-03-23T13:25:55Z) - MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。
親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。
大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
論文 参考訳(メタデータ) (2021-02-15T05:23:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。