論文の概要: Merino: Entropy-driven Design for Generative Language Models on IoT Devices

• arxiv url: http://arxiv.org/abs/2403.07921v2
• Date: Tue, 10 Dec 2024 23:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:24.954533
• Title: Merino: Entropy-driven Design for Generative Language Models on IoT Devices
• Title（参考訳）: Merino: IoTデバイス上の生成言語モデルのためのエントロピー駆動設計
• Authors: Youpeng Zhao, Ming Lin, Huadong Tang, Qiang Wu, Jun Wang,
• Abstract要約: モバイルフレンドリーな生成言語モデルを設計するための新しい情報エントロピーフレームワークを提案する。 設計手順全体は、数理プログラミング(MP)問題を解くことを含み、数分でCPU上で実行でき、ほとんどコストがかからない。 我々は,14のNLPダウンストリームタスクにおいて,MeRinoと呼ばれる設計モデルを評価し,モバイル環境下での最先端の自己回帰変換モデルとの競合性能を示した。
• 参考スコア（独自算出の注目度）: 17.319634176922804
• License:
• Abstract: Generative Large Language Models (LLMs) stand as a revolutionary advancement in the modern era of artificial intelligence (AI). However, scaling down LLMs for resource-constrained hardware, such as Internet-of-Things (IoT) devices requires non-trivial efforts and domain knowledge. In this paper, we propose a novel information-entropy framework for designing mobile-friendly generative language models. The whole design procedure involves solving a mathematical programming (MP) problem, which can be done on the CPU within minutes, making it nearly zero-cost. We evaluate our designed models, termed MeRino, across fourteen NLP downstream tasks, showing their competitive performance against the state-of-the-art autoregressive transformer models under the mobile setting. Notably, MeRino achieves similar or better performance on both language modeling and zero-shot learning tasks, compared to the 350M parameter OPT while being 4.9x faster on NVIDIA Jetson Nano with 5.5x reduction in model size.
• Abstract（参考訳）: ジェネレーティブ・大型言語モデル(LLMs)は、現代人工知能(AI)における革命的な進歩である。 しかし、IoT(Internet-of-Things)デバイスのようなリソース制約のあるハードウェアでLLMをスケールダウンするには、自明な努力とドメイン知識が必要である。 本稿では,モバイルフレンドリーな生成言語モデルを設計するための新しい情報エントロピーフレームワークを提案する。 設計手順全体は、数理プログラミング(MP)問題を解くことを含み、数分でCPU上で実行でき、ほとんどコストがかからない。 我々は,14のNLPダウンストリームタスクにおいて,MeRinoと呼ばれる設計モデルを評価し,モバイル環境下での最先端の自己回帰変換モデルとの競合性能を示した。 特に、MeRinoは、350MパラメータのOPTと比較して、言語モデリングとゼロショット学習の両方で同様のあるいはより良いパフォーマンスを達成し、NVIDIA Jetson Nanoでは5.5倍の速度でモデルサイズを縮小している。

関連論文リスト

• On-Device Language Models: A Comprehensive Review [26.759861320845467]
  資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。 論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。 主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
  論文  参考訳（メタデータ） (2024-08-26T03:33:36Z)
• Apple Intelligence Foundation Language Models [109.60033785567484]
  本報告では、モデルアーキテクチャ、モデルトレーニングに使用されるデータ、トレーニングプロセス、評価結果について述べる。 私たちは、Responsible AIと、モデル開発全体を通して原則がどのように適用されているかに重点を置いています。
  論文  参考訳（メタデータ） (2024-07-29T18:38:49Z)
• Super Tiny Language Models [3.8353434814956517]
  本稿では,スーパーティニー言語モデル(STLM)に着目した一連の研究成果を紹介する。 我々は,プーリング機構によるバイトレベルのトークン化,ウェイトタイリング,効率的なトレーニング戦略など,革新的な手法を探求する。 我々の最終的な目標は、広範囲のアプリケーションに対して、高性能な言語モデルをよりアクセスしやすく、実用的なものにすることです。
  論文  参考訳（メタデータ） (2024-05-23T04:12:49Z)
• Optimization of Lightweight Malware Detection Models For AIoT Devices [2.4947404267499587]
  マルウェア侵入はInternet of Things(IoT)とArtificial Intelligence of Things(AIoT)デバイスの問題である。 本研究の目的は、提案するスーパーラーナーメタ学習アンサンブルモデルを最適化して、ローエンドのAIoTデバイスで実現できるようにすることである。
  論文  参考訳（メタデータ） (2024-04-06T09:30:38Z)
• MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications [46.337078949637345]
  我々は、スクラッチから訓練されたバイリンガル軽量な大規模言語モデルの新しいシリーズであるMindLLMを紹介する。 大規模なモデル開発で得られた経験の詳細な説明が与えられ、プロセスのすべてのステップをカバーする。 MindLLMは、いくつかの公開ベンチマークにおいて、他のオープンソースの大規模モデルのパフォーマンスと一貫して一致または上回っている。
  論文  参考訳（メタデータ） (2023-10-24T12:22:34Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model [35.75234515196426]
  本稿では,最大のモノリシックトランスフォーマーベース言語モデルMegatron-Turing NLG 530B(MT-NLG)のトレーニングについて述べる。 MT-NLGは,いくつかのNLPベンチマークにおいて,ゼロ,ワンショット,少数ショットの学習精度が向上し,新たな最先端結果が得られた。
  論文  参考訳（メタデータ） (2022-01-28T08:59:57Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。