論文の概要: LabelFusion: Learning to Fuse LLMs and Transformer Classifiers for Robust Text Classification
- arxiv url: http://arxiv.org/abs/2512.10793v1
- Date: Thu, 11 Dec 2025 16:39:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.465792
- Title: LabelFusion: Learning to Fuse LLMs and Transformer Classifiers for Robust Text Classification
- Title（参考訳）: LabelFusion:ロバストテキスト分類のための LLM と Transformer の融合学習
- Authors: Michael Schlee, Christoph Weisser, Timo Kivimäki, Melchizedek Mashiku, Benjamin Saefken,
- Abstract要約: LabelFusionはテキスト分類のための融合アンサンブルである。
トランスフォーマーベースの分類器と1つ以上の大規模言語モデルを組み合わせることを学ぶ。
AG Newsでは92.4%、Reutersでは92.3%、トピック分類では21578となっている。
- 参考スコア（独自算出の注目度）: 0.7611870296994722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LabelFusion is a fusion ensemble for text classification that learns to combine a traditional transformer-based classifier (e.g., RoBERTa) with one or more Large Language Models (LLMs such as OpenAI GPT, Google Gemini, or DeepSeek) to deliver accurate and cost-aware predictions across multi-class and multi-label tasks. The package provides a simple high-level interface (AutoFusionClassifier) that trains the full pipeline end-to-end with minimal configuration, and a flexible API for advanced users. Under the hood, LabelFusion integrates vector signals from both sources by concatenating the ML backbone's embeddings with the LLM-derived per-class scores -- obtained through structured prompt-engineering strategies -- and feeds this joint representation into a compact multi-layer perceptron (FusionMLP) that produces the final prediction. This learned fusion approach captures complementary strengths of LLM reasoning and traditional transformer-based classifiers, yielding robust performance across domains -- achieving 92.4% accuracy on AG News and 92.3% on 10-class Reuters 21578 topic classification -- while enabling practical trade-offs between accuracy, latency, and cost.
- Abstract（参考訳）: LabelFusionはテキスト分類のための融合アンサンブルで、従来のトランスフォーマーベースの分類器(例えばRoBERTa)と1つ以上の大規模言語モデル(OpenAI GPT、Google Gemini、DeepSeekなどのLLM)を組み合わせて、複数クラスおよび複数ラベルタスクの正確でコストの高い予測を提供する。
このパッケージは単純なハイレベルインターフェース(AutoFusionClassifier)を提供し、完全なパイプラインを最小構成でエンドツーエンドにトレーニングし、高度なユーザのためのフレキシブルなAPIを提供する。
内部では、LabelFusionはMLバックボーンの埋め込みと、構造化されたプロンプトエンジニアリング戦略によって得られるLLM由来のクラスごとのスコアを結合することにより、両方のソースからのベクトル信号を統合し、最終的な予測を生成するコンパクトな多層パーセプトロン(FusionMLP)にこのジョイント表現を供給している。
この学習された融合アプローチは、LLM推論と従来のトランスフォーマーベースの分類器の補完的な強みを捉え、ドメイン間の堅牢なパフォーマンス(AG Newsでは92.4%、Reuters 21578のトピック分類では92.3%)を達成し、精度、レイテンシ、コストの実質的なトレードオフを可能にした。
関連論文リスト
- Contextual Gating within the Transformer Stack: Synergistic Feature Modulation for Enhanced Lyrical Classification and Calibration [0.0]
本研究は,歌詞コンテンツ分類のための特徴融合における重要なアーキテクチャ的進歩を紹介する。
本稿では,文脈ゲーティング機構を利用した新しいディープラーニングモデルであるSFL Transformerを提案する。
このモデルは、UMAPが還元した線形埋め込みから導かれる挑戦的な二項分類タスクに適用される。
論文 参考訳（メタデータ） (2025-11-27T08:23:45Z) - Lightweight Safety Classification Using Pruned Language Models [0.0]
本稿では,大規模言語モデルに対するコンテンツ安全性と迅速なインジェクション分類のための新しい手法を提案する。
提案手法は,GPT-4oを超える優れた性能と,タスク毎に微調整された特別目的モデルを実現する。
以上の結果から,コンテンツ安全性の分類やインジェクションの早期検出,出力トークンの同時生成に,単一汎用LLMが使用可能であることが示唆された。
論文 参考訳（メタデータ） (2024-12-18T02:13:13Z) - TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks [2.497666465251894]
TransformerRankerは、事前訓練された言語モデルの分類タスクをランク付けする軽量ライブラリである。
我々のライブラリは、転送可能性推定のための現在のアプローチを実装している。
TransformerRankerは,Pipインストール可能なオープンソースライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-09-09T18:47:00Z) - Cool-Fusion: Fuse Large Language Models without Training [73.17551121242602]
Cool-Fusionは、トレーニングを必要としないソースLLMの知識を融合させる。
さまざまなベンチマークデータセットで実験が行われた。
GSM8Kでは、Cool-Fusionは3つの強力なLLMからの精度を17.4%向上させた。
論文 参考訳（メタデータ） (2024-07-29T09:02:19Z) - Computation and Parameter Efficient Multi-Modal Fusion Transformer for
Cued Speech Recognition [48.84506301960988]
Cued Speech (CS) は、聴覚障害者が使用する純粋視覚符号化法である。
自動CS認識(ACSR)は、音声の視覚的手がかりをテキストに書き起こそうとする。
論文 参考訳（メタデータ） (2024-01-31T05:20:29Z) - Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。
CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。
多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
論文 参考訳（メタデータ） (2023-08-13T06:12:00Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - A multi-model-based deep learning framework for short text multiclass
classification with the imbalanced and extremely small data set [0.6875312133832077]
本稿では,不均衡かつ極めて小さなデータセットを持つ短文マルチクラス分類のための,マルチモデルに基づくディープラーニングフレームワークを提案する。
精度、リコール、精度、F1スコアの点で最先端のベースライン性能を維持している。
論文 参考訳（メタデータ） (2022-06-24T00:51:02Z) - Exploiting Local and Global Features in Transformer-based Extreme
Multi-label Text Classification [28.28186933768281]
本稿では,Transformerモデルが生成する局所的特徴とグローバル的特徴を組み合わせることで,分類器の予測能力を向上させる手法を提案する。
本実験は,提案モデルがベンチマークデータセットの最先端手法よりも優れているか,あるいは同等であることを示す。
論文 参考訳（メタデータ） (2022-04-02T19:55:23Z) - Generalized Funnelling: Ensemble Learning and Heterogeneous Document
Embeddings for Cross-Lingual Text Classification [78.83284164605473]
emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。
Emph Generalized Funnelling (gFun) はFunの一般化である。
gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-09-17T23:33:04Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。