論文の概要: GPIoT: Tailoring Small Language Models for IoT Program Synthesis and Development

• arxiv url: http://arxiv.org/abs/2503.00686v1
• Date: Sun, 02 Mar 2025 01:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:56.095627
• Title: GPIoT: Tailoring Small Language Models for IoT Program Synthesis and Development
• Title（参考訳）: GPIoT:IoTプログラムの合成と開発のための小さな言語モデルを準備
• Authors: Leming Shen, Qiang Yang, Xinyu Huang, Zijing Ma, Yuanqing Zheng,
• Abstract要約: GPIoTは、ローカルにデプロイ可能なSLM(Small Language Models)を微調整することで、IoTアプリケーションのためのコード生成システムである。 GPIoTは、IoT専用データセット上にローカルにデプロイ可能なSLM(Small Language Models)を微調整することで、IoTアプリケーションのためのコード生成システムである。
• 参考スコア（独自算出の注目度）: 15.109121724888382
• License:
• Abstract: Code Large Language Models (LLMs) enhance software development efficiency by automatically generating code and documentation in response to user requirements. However, code LLMs cannot synthesize specialized programs when tasked with IoT applications that require domain knowledge. While Retrieval-Augmented Generation (RAG) offers a promising solution by fetching relevant domain knowledge, it necessitates powerful cloud LLMs (e.g., GPT-4) to process user requirements and retrieved contents, which raises significant privacy concerns. This approach also suffers from unstable networks and prohibitive LLM query costs. Moreover, it is challenging to ensure the correctness and relevance of the fetched contents. To address these issues, we propose GPIoT, a code generation system for IoT applications by fine-tuning locally deployable Small Language Models (SLMs) on IoT-specialized datasets. SLMs have smaller model sizes, allowing efficient local deployment and execution to mitigate privacy concerns and network uncertainty. Furthermore, by fine-tuning the SLMs with our IoT-specialized datasets, the SLMs' ability to synthesize IoT-related programs can be substantially improved. To evaluate GPIoT's capability in synthesizing programs for IoT applications, we develop a benchmark, IoTBench. Extensive experiments and user trials demonstrate the effectiveness of GPIoT in generating IoT-specialized code, outperforming state-of-the-art code LLMs with an average task accuracy increment of 64.7% and significant improvements in user satisfaction.
• Abstract（参考訳）: コード大言語モデル(LLM)は、ユーザ要求に応じてコードとドキュメントを自動的に生成することで、ソフトウェア開発の効率を高める。 しかし、コードLLMは、ドメイン知識を必要とするIoTアプリケーションを扱う際に、特別なプログラムを合成することはできない。 Retrieval-Augmented Generation (RAG)は、関連するドメイン知識を取得することで、有望なソリューションを提供するが、ユーザ要求とコンテンツを取得するために強力なクラウドLLM(例:GPT-4)を必要とするため、プライバシー上の懸念が生じる。 このアプローチは不安定なネットワークとLLMクエリの禁止コストにも悩まされる。 さらに、取得したコンテンツの正確性と関連性を確保することは困難である。 これらの問題に対処するため、我々は、IoT専用データセット上にローカルにデプロイ可能なSLM(Small Language Models)を微調整することで、IoTアプリケーションのためのコード生成システムであるGPIoTを提案する。 SLMはモデルサイズが小さく、効率的なローカルデプロイメントと実行により、プライバシの懸念やネットワークの不確実性を軽減できる。 さらに、当社のIoT特化データセットでSLMを微調整することにより、IoT関連プログラムを合成するSLMの能力を大幅に改善することができる。 GPIoTのIoTアプリケーション用プログラムの合成能力を評価するために,ベンチマークであるIoTBenchを開発した。 大規模な実験とユーザトライアルは、IoT専用コードの生成におけるGPIoTの有効性を示し、平均タスク精度64.7%で最先端のコードLLMを上回り、ユーザ満足度が大幅に向上した。

関連論文リスト

• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [49.998130983414924]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• ChatIoT: Large Language Model-based Security Assistant for Internet of Things with Retrieval-Augmented Generation [6.39666247062118]
  ChatIoTは、大規模な言語モデル(LLM)ベースのIoTセキュリティアシスタントで、IoTセキュリティと脅威インテリジェンスの普及を目的としている。 我々は、不均一なデータセットを扱うエンドツーエンドのデータ処理ツールキットを開発した。
  論文  参考訳（メタデータ） (2025-02-14T04:00:18Z)
• When IoT Meet LLMs: Applications and Challenges [0.5461938536945723]
  大規模言語モデル(LLM)がIoT(Internet of Things)における高度な意思決定とコンテキスト理解をいかに促進するかを示す。 これは、エッジ、フォグ、クラウドシステム間のIoT-LLM統合に関する最初の包括的な研究である。 産業用IoTアプリケーションのための新しいシステムモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-20T23:44:51Z)
• IoT-LLM: Enhancing Real-World IoT Task Reasoning with Large Language Models [15.779982408779945]
  大規模言語モデル(LLM)は、テキストや視覚領域にまたがる顕著な能力を示してきたが、しばしば物理法則に違反した出力を生成する。 人間の認識にインスパイアされた我々は、IoTセンサデータと、物理的な世界でのIoTタスク推論に関する関連する知識を用いて、知覚能力の向上によるLLMの強化について検討する。 我々は,IoT-LLMがLLMによるIoTタスクの推論性能を大幅に向上し,従来の手法と比較して,各タスクの平均65%の改善を実現していることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:24:18Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• IoT-LM: Large Multisensory Language Models for the Internet of Things [70.74131118309967]
  IoTエコシステムは、モーション、サーマル、ジオロケーション、イメージング、ディープ、センサー、オーディオといった、現実世界のモダリティの豊富なソースを提供する。 機械学習は、IoTデータを大規模に自動的に処理する豊富な機会を提供する。 IoTエコシステムに適した,オープンソースの大規模マルチセンサ言語モデルであるIoT-LMを紹介します。
  論文  参考訳（メタデータ） (2024-07-13T08:20:37Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Optimizing Resource-Efficiency for Federated Edge Intelligence in IoT Networks [96.24723959137218]
  We study a edge intelligence-based IoT network that a set of edge server learn a shared model using federated learning (FL)。 フェデレーションエッジインテリジェンス(FEI)と呼ばれる新しいフレームワークを提案し、エッジサーバがIoTネットワークのエネルギーコストに応じて必要なデータサンプル数を評価できるようにする。 提案アルゴリズムがIoTネットワークのトポロジ的情報を漏洩したり開示したりしないことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:51:59Z)
• Machine learning and data analytics for the IoT [8.39035688352917]
  機械学習解析におけるIoT生成データの処理方法について概観する。 我々は、IoTアプリケーションが他のIoTアプリケーションから適応的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-30T07:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。