論文の概要: MAGNET: Autonomous Expert Model Generation via Decentralized Autoresearch and BitNet Training

• arxiv url: http://arxiv.org/abs/2603.25813v1
• Date: Thu, 26 Mar 2026 18:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.230693
• Title: MAGNET: Autonomous Expert Model Generation via Decentralized Autoresearch and BitNet Training
• Title（参考訳）: MAGNET: 分散自動検索とBitNetトレーニングによる自律的エキスパートモデル生成
• Authors: Yongwan Kim, Sungchul Park,
• Abstract要約: 本稿では,コモディティハードウェアにおけるドメインエキスパート言語モデルの自律生成,トレーニング,提供のための分散システムを提案する。 自動検索,BitNet b1.583次トレーニング,DiLoCo分散マージ,およびHOOTi EVMチェーン上でのオンチェーンコントリビューショントラッキングを統合した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present MAGNET (Model Autonomously Growing Network), a decentralized system for autonomous generation, training, and serving of domain-expert language models across commodity hardware. MAGNET integrates four components: (1) autoresearch, an autonomous ML research pipeline that automates dataset generation, hyperparameter exploration, evaluation, and error-driven iteration; (2) BitNet b1.58 ternary training, enabling CPU-native inference via bitnet.cpp without GPU hardware; (3) DiLoCo-based distributed merging for communication-efficient aggregation of domain specialists; and (4) on-chain contribution tracking on the HOOTi EVM chain. We validate autoresearch through three case studies: video safety classification (balanced accuracy 0.9287 to 0.9851), cryptocurrency directional prediction (41% to 54.9% hit rate), and BitNet hyperparameter optimization (10-phase sweep, -16.7% validation loss).
• Abstract（参考訳）: 本稿では,コモディティハードウェアにまたがるドメインエキスパート言語モデルの自律生成,訓練,提供を行う分散システムであるMAGNETについて述べる。 MAGNETは、(1)データセット生成、ハイパーパラメータ探索、評価、エラー駆動イテレーションを自動化する自動ML研究パイプライン、(2)BitNet b1.583次トレーニング、GPUハードウェアなしでbitnet.cppによるCPUネイティブ推論を可能にする、(3)ドメインスペシャリストの通信効率向上のためのDiLoCoベースの分散マージ、(4)HOOTi EVMチェーン上のオンチェーンコントリビューショントラッキングの4つのコンポーネントを統合する。 ビデオ安全性分類(精度0.9287から0.9851)、暗号通貨の方向性予測(41%から54.9%のヒット率)、BitNetハイパーパラメータ最適化(10フェーズスイープ、-16.7%の検証損失)の3つのケーススタディを通じて自動検索を検証する。

関連論文リスト

• NNGPT: Rethinking AutoML with Large Language Models [36.90850535125572]
  NNGPTは、大規模な言語モデル(LLM)を、ニューラルネットワーク開発のための自己改善型のAutoMLエンジンに変換する、オープンソースのフレームワークである。 ゼロショットアーキテクチャ合成、ハイパーパラメータ最適化、コード認識精度/早期停止予測、強化学習の5つのシナジスティックLLMベースのパイプラインに統合されている。 このシステムは、すでに5K以上の検証済みモデルを生成しており、自律的なAutoMLエンジンとしてNNGPTを証明している。
  論文  参考訳（メタデータ） (2025-11-25T14:10:44Z)
• End-to-End Efficiency in Keyword Spotting: A System-Level Approach for Embedded Microcontrollers [0.18472148461613155]
  KWS(Keywords Spoting)は、組み込みデバイスとIoTデバイスのハンズフリーインタラクションを可能にする重要な技術である。 本研究では,DS-CNN,LiCoNet,TENetなどの最先端の軽量ニューラルネットワークアーキテクチャと,MobileNet上に構築したTypman-KWSアーキテクチャを比較した。 この結果から, 3つの残差ブロックを持つTKWSは, 14.4kパラメータしか持たない92.4%のF1スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2025-09-08T16:01:55Z)
• Energy-Efficient Deep Learning for Traffic Classification on Microcontrollers [1.3124513975412255]
  本稿では,資源限定マイクロコントローラ上でのエネルギー効率の高いトラフィック分類のための実用的なディープラーニング(DL)手法を提案する。 ISCX VPN-Non-VPNデータセット上で96.59%の精度を実現するハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)により最適化された軽量な1D-CNNを開発する。 2つのマイクロコントローラにおける実世界の推論性能を評価する。
  論文  参考訳（メタデータ） (2025-06-12T16:10:22Z)
• MiniCPM4: Ultra-Efficient LLMs on End Devices [126.22958722174583]
  MiniCPM4は、エンドサイドデバイス向けに明示的に設計された高効率な大規模言語モデル(LLM)である。 この効率性は、モデルアーキテクチャ、トレーニングデータ、トレーニングアルゴリズム、推論システムという4つの重要な側面において、体系的な革新を通じて達成します。
  論文  参考訳（メタデータ） (2025-06-09T16:16:50Z)
• Fragile Mastery: Are Domain-Specific Trade-Offs Undermining On-Device Language Models? [0.0]
  Generalized Edge Model (GEM) は、堅牢性と一般化を調和的にバランスさせることを目的としている。 GEMはSparse Cross-Attention Router (SCAR) を使用して、可変数のコンピューティングリソースに動的に割り当てる。 GPT-4 Liteと比較して、GEMはドメイン固有のパフォーマンスの尊重と同等性に対して、一般タスクレベルを7%向上させる。
  論文  参考訳（メタデータ） (2025-03-16T18:30:26Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• LHU-Net: a Lean Hybrid U-Net for Cost-efficient, High-performance Volumetric Segmentation [4.168081528698768]
  ボリューム医療画像分割のためのリーンハイブリッドU-NetであるLHU-Netを提案する。 LHU-Netは、チャンネルの特徴を洗練する前に空間的特徴抽出を優先し、効率と精度の両方を最適化する。 Synapse、Left Atrial、BraTS-Decathlon、Lung-Decathlonの4つのベンチマークデータセットによる評価
  論文  参考訳（メタデータ） (2024-04-07T22:58:18Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。