論文の概要: LLMs or Naive Bayes? Old Gems or New Ways

• arxiv url: http://arxiv.org/abs/2609.13185v1
• Date: Fri, 31 Jul 2026 02:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.518952
• Title: LLMs or Naive Bayes? Old Gems or New Ways
• Title（参考訳）: LLM か Naive Bayes か? 古い Gem か新しい方法
• Abstract要約: 大規模言語モデル(LLM)は、研究コンピューティングにおいて繰り返し疑問を呈する: Naive Bayesのような古典的な手法は廃止されるべきか? 我々は4つのモデルファミリと37倍の範囲にまたがるゼロショットおよび少数ショットLLMに対して、Complement Naive Bayesをベンチマークした。 ラベル付きデータでテキスト分類を行うリソース制約のあるHPC実践者にとって、NBは最適な選択肢である。
• 参考スコア（独自算出の注目度）: 1.1424708060286173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) prompt a recurring question in research computing: should classical methods like Naive Bayes (NB) be retired? We benchmark Complement Naive Bayes against zero-shot and few-shot LLMs spanning four model families and a 37x range in scale (27B to a 1T-parameter mixture-of-experts) across text classification tasks. LLMs dominate only in zero-data regimes (98.0% vs 88.2% on Amazon Polarity sentiment), and even that win is contamination-prone: on a low-contamination sentiment task NB beats the zero-shot LLM (81.7% vs 73.0%). However, once labeled data is available (e.g., AG News), NB reaches 89.1% accuracy, statistically indistinguishable from the zero-shot 27B LLM (89.0%) and better than the 397B frontier model (84.8%), at thousands of samples/sec on a commodity CPU. Fine-tuned DistilBERT reaches 90.6% but at far lower throughput than NB at batch size 1 (Table 2). Our measured GPU throughput analysis shows small-LLM batched inference is 40-486x slower than NB CPU inference (the multiplier depends strongly on the host CPU), exposing a structural gap bounded by memory bandwidth, with roughly two orders of magnitude lower energy per sample. For resource-constrained HPC practitioners performing text classification with labeled data, NB remains the optimal choice. We show the decision line is task-dependent (NB reaches LLM parity around $N \sim 10^4$ labels for topic classification, while zero-data sentiment favors the LLM at all N tested) and provide a Kubernetes Helm operator that automates model selection using configurable thresholds and verifiable Prometheus metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、研究コンピューティングにおいて繰り返し疑問を呈する: ネイブベイズ(NB)のような古典的な手法は廃止されるべきか? テキスト分類タスクの4つのモデルファミリと37倍の範囲(27Bから1Tパラメータの混合)にまたがるゼロショットおよび少数ショットのLLMに対して、Complement Naive Bayesをベンチマークした。 LLMはゼロデータレジーム(Amazon Polarityの感情では98.0%対88.2%)でのみ優位であり、その勝利も汚染のリスクが高く、低汚染の感情タスクではNBがゼロショットLLM(81.7%対73.0%)を上回っている。 しかし、ラベル付きデータが利用可能になると(例えばAG News)、NBは89.1%の精度に達し、ゼロショット27B LLM (89.0%) と統計的に区別できず、397Bフロンティアモデル (84.8%) より優れている。 微調整のDistilBERTは90.6%に達するが、バッチサイズ1(Table 2)ではNBよりもはるかに低いスループットである。 測定したGPUスループット分析により,小LLMバッチ推論はNB CPU推論よりも40-486倍遅い(乗算器はホストCPUに強く依存する)。 ラベル付きデータでテキスト分類を行うリソース制約のあるHPC実践者にとって、NBは最適な選択肢である。 決定行はタスクに依存している(NBはトピック分類のために$N \sim 10^4$ラベルに到達し、ゼロデータの感情は全NテストでLLMを好んでいる)。

関連論文リスト

• Evaluating Decision Models for Text Annotation in Computational Social Science [0.7792020418343021]
  決定モデルは、選択された型付き質問、ラベルセット上の確率分布、自由テキストよりも信頼スコアに答える。 最初の商用決定モデルと2つのオープンウェイトな決定モデルと、19のフロンティアとオープンウェイトな言語モデルを比較します。 我々の結果は、決定モデルがアノテーションパイプラインの第一歩として有用であることを示唆している。
  論文  参考訳（メタデータ） (2026-09-21T13:41:54Z)
• The Embedder's Dilemma: LLMs Are Better, but at What Cost? [18.755750863102232]
  10のテキスト埋め込みモデルと26の埋め込みモデルを比較した。 最良のLLM(Gemini 3.1 Pro)と最高の埋め込みモデル(77.2)は0.4ポイント異なる。 本研究は, 類似性, 分類, クラスタリングのための埋め込みモデルと, 推論集約検索のための予備LLMを用いて, 作業の分割を支援する。
  論文  参考訳（メタデータ） (2026-08-13T06:39:45Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。