論文の概要: Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment

• arxiv url: http://arxiv.org/abs/2601.00444v1
• Date: Thu, 01 Jan 2026 19:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.449305
• Title: Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
• Title（参考訳）: 軽量変圧器モデルの比較効率解析:エンタープライズNLP展開のためのマルチドメイン実証ベンチマーク
• Authors: Muhammad Shahmeer Khan,
• Abstract要約: 本研究では、DistilBERT、MiniLM、ALBERTの3種類の軽量トランスフォーマーモデルの比較分析を行った。 精度,精度,リコール,F1スコアを含む精度に基づく測定値を用いて評価を行った。 AlBERTは複数のドメインで最高のタスク固有精度を達成し、MiniLMは推論速度とスループットに優れ、DistilBERTは競争効率を維持しながらタスク間で最も一貫性のある精度を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the rapidly evolving landscape of enterprise natural language processing (NLP), the demand for efficient, lightweight models capable of handling multi-domain text automation tasks has intensified. This study conducts a comparative analysis of three prominent lightweight Transformer models - DistilBERT, MiniLM, and ALBERT - across three distinct domains: customer sentiment classification, news topic classification, and toxicity and hate speech detection. Utilizing datasets from IMDB, AG News, and the Measuring Hate Speech corpus, we evaluated performance using accuracy-based metrics including accuracy, precision, recall, and F1-score, as well as efficiency metrics such as model size, inference time, throughput, and memory usage. Key findings reveal that no single model dominates all performance dimensions. ALBERT achieves the highest task-specific accuracy in multiple domains, MiniLM excels in inference speed and throughput, and DistilBERT demonstrates the most consistent accuracy across tasks while maintaining competitive efficiency. All results reflect controlled fine-tuning under fixed enterprise-oriented constraints rather than exhaustive hyperparameter optimization. These results highlight trade-offs between accuracy and efficiency, recommending MiniLM for latency-sensitive enterprise applications, DistilBERT for balanced performance, and ALBERT for resource-constrained environments.
• Abstract（参考訳）: エンタープライズ自然言語処理(NLP)の急速な発展の中で、マルチドメインテキスト自動化タスクを処理できる効率的で軽量なモデルの需要が高まっている。 本研究では、顧客感情分類、ニューストピック分類、毒性とヘイトスピーチ検出の3つの異なる領域で、DistilBERT、MiniLM、ALBERTの3つの顕著な軽量トランスフォーマーモデルの比較分析を行う。 IMDB, AG News, およびMessaging Hate Speech Corpusのデータセットを用いて, 精度, 精度, リコール, F1スコア, モデルサイズ, 推論時間, スループット, メモリ使用量などの効率指標を用いて, 精度に基づく評価を行った。 主要な発見は、どのモデルもすべてのパフォーマンスの次元を支配していないことを示している。 ALBERTは複数のドメインで最高のタスク固有精度を達成し、MiniLMは推論速度とスループットに優れ、DistilBERTは競争効率を維持しながらタスク間で最も一貫性のある精度を示す。 すべての結果は、徹底的なハイパーパラメータ最適化ではなく、固定されたエンタープライズ指向の制約の下で制御された微調整を反映している。 これらの結果は正確性と効率のトレードオフを強調し、レイテンシに敏感なエンタープライズアプリケーションにMiniLM、バランスの取れたパフォーマンスにDistilBERT、リソース制約のある環境にALBERTを推奨している。

関連論文リスト

• TinyLLM: Evaluation and Optimization of Small Language Models for Agentic Tasks on Edge Devices [0.0]
  本稿では,エージェントタスク(機能/ツール/API呼び出し)における小言語モデル(SLM)の有効性について検討する。 本稿では、教師付き微調整(SFT)、パラメータ効率の高い微調整(PEFT)、強化学習(RL)、ハイブリッド手法を含むパラメータ駆動最適化戦略について述べる。 その結果,中規模モデル(1-3Bパラメータ)がウルトラコンパクトモデル(1Bパラメータ)を大幅に上回るモデルスケール間での精度差が明らかとなった。 この研究は、エッジデバイス上で、小さな言語モデルが正確で効率的で安定したエージェントAIを提供できるようにするためのハイブリッド最適化戦略の重要性を強調した。
  論文  参考訳（メタデータ） (2025-11-27T06:09:54Z)
• Layout-Aware Parsing Meets Efficient LLMs: A Unified, Scalable Framework for Resume Information Extraction and Evaluation [31.356673356827432]
  自動抽出・評価のためのレイアウト認識・効率最適化フレームワークを提案する。 私たちのシステムはAlibabaのインテリジェントなHRプラットフォームに完全にデプロイされています。
  論文  参考訳（メタデータ） (2025-10-10T07:01:35Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• TWSSenti: A Novel Hybrid Framework for Topic-Wise Sentiment Analysis on Social Media Using Transformer Models [0.0]
  本研究では,感情分類の精度と頑健性を改善するために,トランスフォーマーモデルを組み合わせたハイブリッドフレームワークについて検討する。 このフレームワークは、ノイズの多いデータ、コンテキストのあいまいさ、さまざまなデータセット間の一般化といった課題に対処する。 この研究は、ソーシャルメディアのモニタリング、顧客感情分析、世論の追跡など、現実世界のタスクへの適用性を強調している。
  論文  参考訳（メタデータ） (2025-04-14T05:44:11Z)
• Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
  既存の堅牢なベンチマークデータセットには2つの重要な制限がある。 単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。 LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。 データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
  論文  参考訳（メタデータ） (2025-03-05T05:39:29Z)
• FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios [0.5106912532044251]
  FsPONERは、少数ショットプロンプトを最適化するための新しいアプローチであり、ドメイン固有のNERデータセットの性能を評価する。 FsPONERは、ランダムサンプリングとTF-IDFとの組み合わせに基づく3つのショット選択法で構成されている。 データ不足を考慮した実世界のシナリオでは、TF-IDFを用いたFsPONERは、F1スコアで約10%の微調整モデルを上回っている。
  論文  参考訳（メタデータ） (2024-07-10T20:32:50Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• QuaLA-MiniLM: a Quantized Length Adaptive MiniLM [5.36703735486629]
  限られた計算予算は、トランスフォーマーを生産に使用せず、高い精度で使用することを防ぐことが多い。 知識蒸留法では、BERTを自己蒸留して、より少ない層と少ない内部埋め込みを持つより小さな変換器表現に変換することにより、計算効率に対処する。 Dynamic-TinyBERTは、Longth Adaptive Transformer (LAT) 技術をTinyBERTに部分的に実装し、最小限の精度でBERTベース上でx3スピードアップする。 我々は,LAT法と併用してMiniLM蒸留を行い,低ビット量子化を適用して効率をさらに高めている。
  論文  参考訳（メタデータ） (2022-10-31T07:42:52Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。