論文の概要: Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

• arxiv url: http://arxiv.org/abs/2503.01933v1
• Date: Mon, 03 Mar 2025 04:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:19.424678
• Title: Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective
• Title（参考訳）: ドメイン特化AIのための微調整された小言語モデル:エッジAIの視点から
• Authors: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi,
• Abstract要約: 本稿では,これらの制約を直接対象とするShakti-100M,Shakti-250M,Shakti-500Mを紹介する。 効率的なアーキテクチャ、量子化技術、責任あるAI原則を組み合わせることで、Shaktiシリーズはスマートフォン、スマートアプライアンス、IoTシステムなどのデバイス上でのインテリジェンスを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.
• Abstract（参考訳）: エッジデバイスに大規模言語モデルをデプロイすることは、高い計算要求、エネルギー消費、潜在的なデータプライバシリスクといった、固有の課題に直面します。 本稿では,これらの制約を直接対象とするShakti-100M,Shakti-250M,Shakti-500Mを紹介する。 効率的なアーキテクチャ、量子化技術、責任あるAI原則を組み合わせることで、Shaktiシリーズはスマートフォン、スマートアプライアンス、IoTシステムなどのデバイス上でのインテリジェンスを可能にする。 デザイン哲学、トレーニングパイプライン、一般的なタスク(例えば、MMLU、Hellaswag)と専門ドメイン(医療、金融、法律)のベンチマークパフォーマンスに関する総合的な洞察を提供する。 我々の研究結果は、コンパクトモデルが慎重に設計され、微調整されると、現実のエッジAIシナリオで期待を達成し、しばしば超えられることを示している。

関連論文リスト

• On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
  リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。 本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
  論文  参考訳（メタデータ） (2025-01-25T01:37:03Z)
• TinyLLM: A Framework for Training and Deploying Language Models at the Edge Computers [0.8499685241219366]
  言語モデルは、モデルがますます大きなパラメータサイズに拡大されるにつれて出現する汎用機能のために、大きな関心を集めている。 大規模モデルはコンピュータシステムに厳格な要求を課し、推論に重要なメモリと処理の要求を必要とする。 これにより、モバイルとエッジデバイスでの推論が難しくなり、しばしばネットワークコールを介してリモートホストされたモデルを呼び出す必要がある。
  論文  参考訳（メタデータ） (2024-12-19T12:28:27Z)
• SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments [0.0]
  Shaktiは高性能NLPと最適化された効率と精度を組み合わせた。 言語やドメイン固有のタスクをサポートすることで、Shaktiは医療、金融、カスタマーサービスといった業界に長けている。
  論文  参考訳（メタデータ） (2024-10-15T06:59:44Z)
• On-Device Language Models: A Comprehensive Review [26.759861320845467]
  資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。 論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。 主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
  論文  参考訳（メタデータ） (2024-08-26T03:33:36Z)
• XEdgeAI: A Human-centered Industrial Inspection Framework with Data-centric Explainable Edge AI Approach [2.0209172586699173]
  本稿では,新しいXAI統合視覚品質検査フレームワークを提案する。 我々のフレームワークはXAIとLarge Vision Language Modelを組み込んで人間中心の解釈可能性を提供する。 このアプローチは、重要な産業アプリケーションに信頼性と解釈可能なAIツールを広く採用する道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-16T14:30:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
  次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。 運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。 既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。 本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:13:08Z)
• Large Language Models Empowered Autonomous Edge AI for Connected Intelligence [51.269276328087855]
  エッジ人工知能(Edge AI)は、コネクテッドインテリジェンスを実現するための有望なソリューションである。 この記事では、ユーザのさまざまな要件を満たすために自動的に組織化し、適応し、最適化する、自律的なエッジAIシステムのビジョンを示す。
  論文  参考訳（メタデータ） (2023-07-06T05:16:55Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
  モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。 特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
  論文  参考訳（メタデータ） (2022-03-06T10:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。