論文の概要: H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code

• arxiv url: http://arxiv.org/abs/2603.11139v1
• Date: Wed, 11 Mar 2026 16:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.542372
• Title: H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code
• Title（参考訳）: H2LooP Spark Preview:低レベル組み込みシステムコードのための大規模言語モデルの継続的な事前トレーニング
• Authors: Amit Singh, Vedant Nipane, Pulkit Agrawal, Jatin Kishnani,
• Abstract要約: H2LooP Spark Previewは、OLMo-3-7B(完全にオープンな言語モデル)を組み込みシステムドメインに適合させる、継続的な事前トレーニングパイプラインである。 当社のトレーニングコーパスは,117メーカーにまたがる100Bの生組込みシステムデータのトークンを格納したリポジトリとデータベースのペアから構築されている。 高いランクのLoRAによる継続的な事前トレーニングでは、相当な利得が得られ、ドメイン内のパープレキシティは70.4%減少し、リポジトリのパープレキシティは66.1%減少する。
• 参考スコア（独自算出の注目度）: 7.53866164483869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) demonstrate strong code generation abilities in general-purpose programming languages but remain limited in specialized domains such as low-level embedded systems programming. This domain involves hardware register manipulation, vendor-specific SDKs, real-time operating system APIs, and hardware abstraction layers that are underrepresented in standard pretraining corpora. We introduce H2LooP Spark Preview, a continual pretraining (CPT) pipeline that adapts the OLMo-3-7B-a fully open language model to the embedded systems domain using BF16 LoRA with rank-stabilized scaling on 8 NVIDIA H100 GPUs. Our training corpus is constructed from repository-datasheet pairs covering 100B tokens of raw embedded systems data across 117 manufacturers, processed using the hierarchical datasheet-to-code mapping approach proposed in SpecMap (Nipane et al., 2026). The resulting curated dataset split contains 23.5B tokens across 13 embedded domains. Continual pretraining with high-rank LoRA (r=512) yields substantial gains, reducing in-domain perplexity by 70.4% and held-out repository perplexity by 66.1%. On generative code completion benchmarks spanning 13 embedded domains, our 7B model outperforms Claude Opus 4.6 and Qwen3-Coder-30B on 8 categories in token accuracy, showing that targeted continual pretraining enables smaller open-weight models to rival frontier systems on specialized technical tasks. We release the production training checkpoint on Huggingface as an open-source artifact.
• Abstract（参考訳）: LLM(Large Language Model)は、汎用プログラミング言語において強力なコード生成能力を示すが、低レベルの組み込みシステムプログラミングのような特殊なドメインに限られる。 このドメインには、ハードウェアレジスタ操作、ベンダ固有のSDK、リアルタイムオペレーティングシステムAPI、標準事前学習コーパスで不足しているハードウェア抽象化レイヤが含まれる。 H2LooP Spark Previewは、OLMo-3-7Bという完全にオープンな言語モデルを8つのNVIDIA H100 GPU上でランク安定化されたスケーリングを備えたBF16 LoRAを使用して組み込みシステムドメインに適応する、連続事前学習(CPT)パイプラインである。 トレーニングコーパスは,117 メーカーにまたがる生の組み込みシステムの100B トークンをカバーするリポジトリとデータベースのペアから構築され,SpecMap (Nipane et al , 2026 ) で提案された階層型データシートとコード間のマッピング手法を用いて処理される。 結果として得られたデータセット分割は、13の組み込みドメインにまたがる23.5Bトークンを含む。 高ランクのLoRA (r=512) による継続的な事前訓練は、相当な利得をもたらし、ドメイン内のパープレキシティを70.4%減らし、リポジトリのパープレキシティを66.1%減らした。 13の組み込みドメインにまたがる生成コード補完ベンチマークでは、私たちの7Bモデルはトークンの精度でClaude Opus 4.6とQwen3-Coder-30Bより優れています。 私たちはHuggingfaceのプロダクショントレーニングチェックポイントをオープンソースアーティファクトとしてリリースしています。

関連論文リスト

• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks [0.0]
  本稿では、信頼性のあるローカルGPUとクラウドGPUのトランスフォーマーを分割する、プライバシーに配慮した大規模言語モデル(LLM)の実用的なシステムを提案する。 我々のシステムは、高速広帯域ネットワーク(WAN)上での自己回帰LDM復号化の独特な課題に対処する。 システムは4.9GBのローカルVRAMと7Bのスループットしか持たない大型モデルに一般化される。
  論文  参考訳（メタデータ） (2026-02-18T14:13:08Z)
• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• SpecMap: Hierarchical LLM Agent for Datasheet-to-Code Traceability Link Recovery in Systems Engineering [8.235446273226277]
  組み込みシステムとそれに対応するコード実装の間のトレーサビリティは、システムエンジニアリングにおける根本的な課題である。 既存のトレーサビリティリンク回復アプローチは、語彙的類似性と情報検索技術に依存している。 本稿では,意味解析に大規模言語モデルを用いる階層型コードマッピング手法を提案する。
  論文  参考訳（メタデータ） (2026-01-16T11:50:18Z)
• Lifecycle-Aware code generation: Leveraging Software Engineering Phases in LLMs [12.70863561286374]
  トレーニング段階と推論段階の両方に中間アーティファクトを組み込んだライフサイクル対応フレームワークを導入する。 実験によると、ライフサイクルレベルの微調整は、微調整の前に同じモデルで最大75%の精度でコードの正しさを向上させる。 オープンソース LLM は、かつて私たちのフレームワークの下で微調整され、コードで事前訓練されたモデルにマッチするか、わずかに優れています。
  論文  参考訳（メタデータ） (2025-10-28T02:54:02Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation [6.463959200930805]
  オープンソースのVerilogEvalベンチマークのリリース以降,新しい商用およびオープンなモデルを評価する。 最先端のモデルでは測定可能な改善が得られます。 高いパスレートを達成するためには、迅速なエンジニアリングが不可欠であることに気付きました。
  論文  参考訳（メタデータ） (2024-08-20T17:58:56Z)
• Exploring and Characterizing Large Language Models For Embedded System Development and Debugging [10.967443876391611]
  大規模言語モデル (LLM) は、コードを生成する際、顕著な能力を示しているが、組み込みシステム用のソフトウェアを開発する能力は研究されていない。 我々は,組込みシステム開発におけるLLMの能力と限界を評価するためのオープンソースフレームワークを開発した。 この発見を利用して、人間のプログラマがこれらのツールとどのように相互作用するかを研究し、組み込みシステムを構築するためのヒューマンAIベースのソフトウェアエンジニアリングワークフローを開発する。
  論文  参考訳（メタデータ） (2023-07-07T20:14:22Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。