論文の概要: Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed

• arxiv url: http://arxiv.org/abs/2608.11981v1
• Date: Wed, 12 Aug 2026 12:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.568938
• Title: Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed
• Title（参考訳）: SLMの信頼性のベンチマーク:事前トレーニングと圧縮
• Abstract要約: 小言語モデルは、リソース制約のあるシナリオにおいて有望な可能性を提供します。 SLMを構築するための既存のアプローチは、通常、スクラッチからコンパクトモデルを訓練するか、より大きな事前訓練されたモデルを圧縮するかの2つの経路をたどる。 本研究では, 公正性, 堅牢性, プライバシー, 倫理など, 複数次元にわたるSLMの信頼性を総合的に評価する。
• 参考スコア（独自算出の注目度）: 53.558457942993186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small Language Models (SLMs) have emerged as a more efficient alternative to traditional Large Language Models (LLMs), offering promising potential in resource-constrained scenarios. Existing approaches to building SLMs typically follow two paths: training compact models from scratch, or compressing larger pre-trained models using methods such as pruning, quantization, or distillation. As language models become increasingly integrated into real-world applications, ensuring their trustworthiness has become a critical concern. However, how to build trustworthy SLMs remains an underexplored question. In this work, we present a comprehensive evaluation of SLM trustworthiness across multiple dimensions, including fairness, robustness, privacy, and ethics. We first examine the effects of pruning and quantization, and find that quantization is significantly more effective in preserving trustworthiness compared to pruning. More importantly, we demonstrate that compressing a reliable large model via quantization can produce SLMs with superior trustworthiness and adaptability compared to using small models trained from scratch. Furthermore, knowledge distillation from trustworthy teacher models can further enhance the reliability of SLMs. We hope our findings provide practical guidance and a foundation for future research into the development and deployment of trustworthy small language models.
• Abstract（参考訳）: SLM(Small Language Models)は、従来のLLM(Large Language Models)よりも効率的な代替品として登場し、リソース制約のあるシナリオにおいて有望なポテンシャルを提供する。 既存のSLMの構築手法は、スクラッチからコンパクトモデルを訓練するか、プルーニング、量子化、蒸留といった方法を用いてより大規模な事前訓練モデルを圧縮する。 言語モデルが現実世界のアプリケーションに統合されるにつれて、信頼性の確保が重要な関心事となっている。 しかし、どうやって信頼できるSLMを構築するかは、まだ未解決の問題である。 本研究では, 公正性, 堅牢性, プライバシ, 倫理など, 複数次元にわたるSLMの信頼性を総合的に評価する。 まず, プルーニングと量子化の効果について検討し, プルーニングに比べ, 信頼性の維持に有意な効果が認められた。 さらに、量子化による信頼性の高い大規模モデルを圧縮することで、スクラッチから訓練した小型モデルに比べて信頼性と適応性に優れたSLMを生成できることを示す。 さらに、信頼できる教師モデルからの知識蒸留は、SLMの信頼性をさらに高めることができる。 本研究の成果は,信頼性の高い小言語モデルの開発と展開に関する実践的ガイダンスと今後の研究の基盤となることを願っている。

関連論文リスト

• LENS: Learning Ensemble Confidence from Neural States for Multi-LLM Answer Integration [0.0]
  大きな言語モデル(LLM)は、様々なタスクで素晴らしいパフォーマンスを示しています。 LENS(Learning ENsemble confidence from Neural States)は、内部表現を分析してモデル信頼度を推定する新しい手法である。
  論文  参考訳（メタデータ） (2025-07-31T00:35:45Z)
• DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models [10.34623505096336]
  一般向けQwen2.5モデルから派生した蒸留軽量言語モデル(LLM)のファミリーであるDistilQwen2.5を紹介する。 これらのモデルは、オリジナルのモデルと比較して、強化された命令追従能力を示す。 実用的な使用を容易にするため、DistilQwen2.5のモデルをオープンソースコミュニティにリリースしました。
  論文  参考訳（メタデータ） (2025-04-21T11:26:02Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。