論文の概要: SlimLM: An Efficient Small Language Model for On-Device Document Assistance

• arxiv url: http://arxiv.org/abs/2411.09944v1
• Date: Fri, 15 Nov 2024 04:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:35.609224
• Title: SlimLM: An Efficient Small Language Model for On-Device Document Assistance
• Title（参考訳）: SlimLM: オンデバイスドキュメンテーション支援のための効率的な小言語モデル
• Authors: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui,
• Abstract要約: SlimLMはモバイル端末上での文書支援タスクに最適化された一連のSLMである。 SlimLMはSlimPajama-627Bで事前訓練され、DocAssistで微調整されている。 我々はSlimLMを既存のSLMと比較し、同等または優れた性能を示す。
• 参考スコア（独自算出の注目度）: 60.971107009492606
• License:
• Abstract: While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.
• Abstract（参考訳）: 小型言語モデル(SLM)は、モバイルデプロイメントの約束を示すが、実際のパフォーマンスとスマートフォンでのアプリケーションはまだ探索されていない。 SlimLMはモバイル端末上での文書支援タスクに最適化された一連のSLMである。 Samsung Galaxy S24の広範な実験により、モデルサイズ(125Mから7Bまでの範囲)、コンテキスト長、推論時間の間の最適なトレードオフをデバイス上での効率的な処理のために特定する。 SlimLMはSlimPajama-627Bで事前トレーニングされ、DocAssistで微調整される。 我々の最小のモデルは、S24上での効率的なパフォーマンスを示し、大きなバリエーションは、モバイル制約内で拡張機能を提供する。 我々は、SlimLMを既存のSLMと比較し、同等または優れた性能を示し、デバイス上での言語モデルにおける将来の研究のためのベンチマークを提供する。 また、SLMデプロイメントに関する実践的な洞察を提供するAndroidアプリケーションも提供しています。 我々の発見は、ハイエンドスマートフォン上で高度な言語モデルを実行し、サーバコストを削減し、デバイス上での処理によってプライバシを向上する能力について、貴重な洞察を与えてくれます。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation [10.817783356090027]
  大規模言語モデル(LLM)は、私たちの仕事や日常生活のあらゆる側面にますます統合されています。 ユーザのプライバシに関する懸念が高まり、これらのモデルがローカルに展開される傾向が強まっている。 急速に普及しているアプリケーションとして、市販のモバイルデバイスのパフォーマンスを懸念しています。
  論文  参考訳（メタデータ） (2024-10-04T17:14:59Z)
• MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
  モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。 MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
  論文  参考訳（メタデータ） (2024-06-12T22:58:12Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices [73.46317110474064]
  MobileVLM (MobileVLM) は、モバイルデバイス上で動作する多モード視覚言語モデル(MMVLM)である。 これは、CLIP方式で事前訓練されたマルチモーダル視覚モデルである、スクラッチからトレーニングされた1.4Bと2.7Bのスケールの言語モデルで構成されている。
  論文  参考訳（メタデータ） (2023-12-28T08:21:24Z)
• A Performance Evaluation of a Quantized Large Language Model on Various Smartphones [0.0]
  本稿では,Apple iPhoneの様々なモデルに対するデバイス上での大規模言語モデル (LLM) 推論の実現可能性と性能について検討する。 資源制限装置上でのマルチビリオンパラメータLDMの動作に関する既存文献を活用し, 高性能LCMの熱的効果と相互作用速度について検討した。 実世界のパフォーマンス結果を提示し、デバイス上での推論機能に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-19T10:19:39Z)
• Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
  本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。 我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。 4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
  論文  参考訳（メタデータ） (2023-05-22T22:07:50Z)
• LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network [2.624902795082451]
  LIDSNetは、デバイス上の意図を検出する新しい軽量なモデルである。 我々は,Samsung Galaxy S20デバイス上でのMobileBERTよりも,推論時に少なくとも41倍,30倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T18:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。