論文の概要: TinyLLM: A Framework for Training and Deploying Language Models at the Edge Computers

• arxiv url: http://arxiv.org/abs/2412.15304v1
• Date: Thu, 19 Dec 2024 12:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 19:50:51.065493
• Title: TinyLLM: A Framework for Training and Deploying Language Models at the Edge Computers
• Title（参考訳）: TinyLLM:エッジコンピュータでの言語モデルのトレーニングとデプロイのためのフレームワーク
• Authors: Savitha Viswanadh Kandala, Pramuka Medaranga, Ambuj Varshney,
• Abstract要約: 言語モデルは、モデルがますます大きなパラメータサイズに拡大されるにつれて出現する汎用機能のために、大きな関心を集めている。 大規模モデルはコンピュータシステムに厳格な要求を課し、推論に重要なメモリと処理の要求を必要とする。 これにより、モバイルとエッジデバイスでの推論が難しくなり、しばしばネットワークコールを介してリモートホストされたモデルを呼び出す必要がある。
• 参考スコア（独自算出の注目度）: 0.8499685241219366
• License:
• Abstract: Language models have gained significant interest due to their general-purpose capabilities, which appear to emerge as models are scaled to increasingly larger parameter sizes. However, these large models impose stringent requirements on computing systems, necessitating significant memory and processing requirements for inference. This makes performing inference on mobile and edge devices challenging, often requiring invocating remotely-hosted models via network calls. Remote inference, in turn, introduces issues like latency, unreliable network connectivity, and privacy concerns. To address these challenges, we explored the possibility of deviating from the trend of increasing model size. Instead, we hypothesize that much smaller models (~30-120M parameters) can outperform their larger counterparts for specific tasks by carefully curating the data used for pre-training and fine-tuning. We investigate this within the context of deploying edge-device models to support sensing applications. We trained several foundational models through a systematic study and found that small models can run locally on edge devices, achieving high token rates and accuracy. Based on these findings, we developed a framework that allows users to train foundational models tailored to their specific applications and deploy them at the edge.
• Abstract（参考訳）: 言語モデルは、モデルがますます大きなパラメータサイズに拡大されるにつれて出現する汎用機能のために、大きな関心を集めている。 しかし、これらの大きなモデルはコンピュータシステムに厳格な要求を課し、推論に重要なメモリと処理の要求を必要とする。 これにより、モバイルとエッジデバイスでの推論が難しくなり、しばしばネットワークコールを介してリモートホストされたモデルを呼び出す必要がある。 リモート推論では、レイテンシ、信頼性の低いネットワーク接続、プライバシの懸念といった問題が発生する。 これらの課題に対処するため,モデルサイズの増加傾向から逸脱する可能性を検討した。 その代わり、より小さなモデル(約30～120Mのパラメータ)が、事前学習や微調整に使用されるデータを慎重にキュレートすることで、特定のタスクにおいてより大きなモデルよりも優れていると仮定する。 センサアプリケーションをサポートするエッジデバイスモデルをデプロイするコンテキスト内でこれを調査する。 我々は、体系的な研究を通じていくつかの基礎モデルを訓練し、小さなモデルがエッジデバイス上でローカルに動作し、高いトークンレートと精度を達成することを発見した。 これらの知見に基づいて,ユーザが特定のアプリケーションに適した基礎モデルをトレーニングし,エッジにデプロイすることを可能にするフレームワークを開発した。

関連論文リスト

• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models [0.0]
  世界中のコネクテッドデバイスの数の増加は、計算能力の低いローカルデバイスに容易に展開できる圧縮モデルを保証する。 画像分類,オブジェクト検出,言語モデル,生成モデルに基づく問題文に使用される一般的なディープラーニングモデルに対して,量子化とプルーニングの両方を実装した。
  論文  参考訳（メタデータ） (2024-07-22T14:20:53Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• On-device Training: A First Overview on Existing Systems [6.551096686706628]
  リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。 この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T19:22:29Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Learnware: Small Models Do Big [69.88234743773113]
  自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
  論文  参考訳（メタデータ） (2022-10-07T15:55:52Z)
• Enabling On-Device Training of Speech Recognition Models with Federated Dropout [4.165917555996752]
  フェデレーション学習は、デバイスを離れないローカルデータに基づいて、エッジ上の機械学習モデルをトレーニングするために使用することができる。 我々は,フルサイズのモデルサーバサイドをトレーニングしながら,クライアントモデルのサイズを減らすために,フェデレートド・ドロップアウト(Federated Dropout)を提案する。
  論文  参考訳（メタデータ） (2021-10-07T17:22:40Z)
• Challenges and Obstacles Towards Deploying Deep Learning Models on Mobile Devices [1.422288795020666]
  ディープラーニングモデルは、多くの高レベルのジェネリックフレームワークとライブラリを使って開発されている。 モバイルデバイス上でモデルを実行するには、ハードウェアによる最適化が必要です。 本稿では,モバイルデバイスにディープラーニングモデルをデプロイするための既存の課題,障害,実践的ソリューションについて述べる。
  論文  参考訳（メタデータ） (2021-05-06T12:40:28Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。