論文の概要: Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning
- arxiv url: http://arxiv.org/abs/2608.07226v1
- Date: Fri, 07 Aug 2026 13:41:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.522344
- Title: Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning
- Title（参考訳）: Dual-Node NVIDIA DGX Spark over Tailscale: 分散LLMトレーニングとサイバートレラントインテリジェンスファインチューニングのためのリモートAccessテストベッド
- Abstract要約: 本報告では,2つのNVIDIA DGX Sparkシステムを対象とした分散NanoChatプリトレーニングのコンセプト実証について述べる。
このクラスタは400レベルのAIコース(CS 426)とCBS 255のSecurity+ POGILアクティビティ用のクエリエンジンをサポートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compact AI systems make local language-model experimentation increasingly accessible, yet practical evidence for multi-node training on desktop-class accelerators remains limited. This report presents a proof-of-concept deployment of distributed NanoChat pretraining across two NVIDIA DGX Spark systems, each with a GB10 Grace Blackwell system-on-chip and 128 GB of unified memory, administered remotely over a Tailscale mesh VPN and connected for training by a dedicated 200 Gb/s QSFP56 direct fiber link. PyTorch torchrun, DDP, and NCCL were configured with one process per node, a depth-20 NanoChat model, a local batch size of 32 per node, and a 2,048-token context, giving a global batch of 131,072 tokens per step. The run sustained a step time of about 69.4 s (about 1,890 tokens/s), processing about 653 million tokens over four days. We document link configuration, container setup, interface binding, a step-zero evaluation bug that triggered NCCL timeouts, checkpointing, and troubleshooting lessons, as a reproducibility reference for small labs. We also built a cybersecurity fine-tuning dataset from 77 CISA advisories (338 training, 37 validation conversations) and ran a 17-question held-out evaluation comparing a baseline SFT checkpoint against a CTI-augmented checkpoint with an Ollama-hosted LLM judge. CTI-specific categories improved while general-knowledge categories regressed, for a small overall change from 2.06 to 2.29 on a 0-10 scale. The same cluster supports a 400-level AI course (CS 426) and a query engine for CompTIA Security+ POGIL activities in CBS 255, showing modest local infrastructure can serve both research and teaching. The study establishes feasibility rather than a scaling-efficiency claim, since single-node throughput used for comparison was estimated, not measured under matched conditions. Runbook and scripts are available (see Code Availability).
- Abstract（参考訳）: コンパクトなAIシステムは、ローカル言語モデル実験をますますアクセスしやすくするが、デスクトップクラスのアクセラレーターにおけるマルチノードトレーニングの実践的な証拠は限られている。
本稿では,2つのNVIDIA DGX Sparkシステムに対して,それぞれGB10グレース・ブラックウェルシステムオンチップと128GBの統一メモリを備え,TailscaleメッシュVPN上で遠隔操作され,200Gb/sのQSFP56直接ファイバリンクでトレーニングするために接続された分散NanoChatのコンセプト実証について述べる。
PyTorch torchrun、DDP、NCCLはノード毎の1つのプロセス、深さ20のNanoChatモデル、ノード毎32のローカルバッチサイズ、2,048のコンテキストで構成され、1ステップあたり131,072トークンのグローバルバッチが提供された。
走行時間は69.4秒(約1,890トークン/秒)で、4日間で約6300万トークンを処理した。
小研究室の再現性基準として,リンク設定,コンテナ設定,インターフェースバインディング,NCCLタイムアウト,チェックポイント,トラブルシューティングのレッスンを起動するステップゼロ評価バグを文書化する。
我々はまた、77のCISAアドバイザリー(338のトレーニング、37のバリデーション会話)からのサイバーセキュリティの微調整データセットを構築し、ベースラインのSFTチェックポイントとCTI拡張チェックポイントとOllamaホストのLLMジャッジを比較した17の質問応答評価を実行した。
CTI固有のカテゴリは、0-10スケールで2.06から2.29に小さな変更を加えながら改善され、一般知識のカテゴリは後退した。
同クラスタは400レベルのAIコース(CS 426)とCBS 255のCompTIA Security+ POGILアクティビティ用のクエリエンジンをサポートしており、研究と教育の両方に役立てることができる。
比較に用いた単一ノードスループットが推定され、一致した条件下では測定されないため、スケーリング効率のクレームよりも実現可能性を確立する。
ランブックとスクリプトは利用可能である(Code Availabilityを参照)。
関連論文リスト
- Numbat: Building and Verifying a Self-Contained Machine-Learning Stack [0.0]
numbatは1つの汎用言語(Zig)で書かれた機械学習スタックで、サードパーティの依存関係はない。
我々はナムバットの構築と検証について報告する。
論文 参考訳（メタデータ） (2026-09-09T08:36:12Z) - CogEvol: Towards Efficient and Reliable Learning Environment Generation [49.18054685846454]
本稿では,学習環境生成に特化して訓練されたモデル群であるCogEvolを紹介する。
CogEvolは、スライドを中央値17秒、対話ページを59秒で完了し、数分のマルチターンエージェントの足場を置き換える。
プロダクショングラウンドのデータパイプラインは、実際の障害を53,687個のSFTサンプルに変換する。
論文 参考訳（メタデータ） (2026-08-31T15:33:38Z) - Qwen-CUA: Native Computer Use for (almost) Everything [104.78368489343713]
本稿では,Qwen-CUAについて紹介する。
DOMツリー、アクセシビリティメタデータ、タスク固有のAPIなしで、スクリーンショットのみを観察し、キーボードやマウスのイベントを通じて動作します。
足場は最大20個のアクティブなスクリーンショットを保持し、最近の証拠を保持するために固定サイズのブロックで古い視覚履歴を折り畳む。
論文 参考訳（メタデータ） (2026-08-03T15:04:20Z) - ProCUA-SFT Technical Report [80.97543110323542]
コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。
93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。
ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
論文 参考訳（メタデータ） (2026-06-15T22:04:11Z) - EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。
実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。
EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
論文 参考訳（メタデータ） (2026-06-09T17:57:16Z) - MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research [39.68394140712043]
MobileGymは、日常的なモバイル利用のための軽量で完全に制御可能な環境である。
階層化された状態モデルと宣言的なタスク定義フレームワークは、状態のプログラマビリティとタスク作成を大規模に実践的に保ちます。
単一のプログラム的判断メカニズムは、決定論的評価評価と高密度報酬の両方を提供する。
論文 参考訳（メタデータ） (2026-05-25T17:59:49Z) - LIDARLearn: A Unified Deep Learning Library for 3D Point Cloud Classification, Segmentation, and Self-Supervised Representation Learning [1.2599533416395765]
3次元の3次元クラウド解析は、自律運転やロボット工学から林業や生態モニタリングまで幅広い応用の中心となっている。
libは統合されたPyTorchライブラリで、29の教師付きアーキテクチャ、7つのSSL事前トレーニングメソッド、5つのPEFT戦略を含む55以上のモデル構成を統合している。
libは、標準化されたトレーニングランナー、階層化された$K$-fold分割によるクロスバリデーション、自動化/CSVテーブル生成、厳密なマルチモデル比較のための臨界差図を用いたFriedman/Nemenyi統計テスト、200以上の自動テストを備えた総合的なテストスイートを提供する。
論文 参考訳（メタデータ） (2026-04-12T19:10:12Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code [7.026788530015788]
H2LooP Spark Previewは、OLMo-3-7B(完全にオープンな言語モデル)を組み込みシステムドメインに適合させる、継続的な事前トレーニングパイプラインである。
当社のトレーニングコーパスは,117メーカーにまたがる100Bの生組込みシステムデータのトークンを格納したリポジトリとデータベースのペアから構築されている。
高いランクのLoRAによる継続的な事前トレーニングでは、相当な利得が得られ、ドメイン内のパープレキシティは70.4%減少し、リポジトリのパープレキシティは66.1%減少する。
論文 参考訳（メタデータ） (2026-03-11T16:32:14Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳（メタデータ） (2021-10-16T02:41:35Z) - Key Points Estimation and Point Instance Segmentation Approach for Lane
Detection [65.37887088194022]
本稿では,PINet (Point Instance Network) と呼ばれるトラヒックライン検出手法を提案する。
PINetには、同時にトレーニングされる複数のスタックされた時間ガラスネットワークが含まれている。
PINetはTuSimpleとCulaneのデータセットで競合精度と偽陽性を達成する。
論文 参考訳（メタデータ） (2020-02-16T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。