論文の概要: Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents

• arxiv url: http://arxiv.org/abs/2602.23556v1
• Date: Thu, 26 Feb 2026 23:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.168293
• Title: Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents
• Title（参考訳）: LLMエージェントを用いた分散GNNトレーニングにおけるステアリング前処理
• Authors: Aishwarya Sarkar, Sayan Ghosh, Nathan Tallent, Aman Chadha, Tanya Roosta, Ali Jannesari,
• Abstract要約: Rudderは最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールである。 我々は、リモートノードを自律的にプリフェッチするために、最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールであるRudderを紹介した。 LLM(Large Language Models)に見られる生成AIは、ゼロショットタスクのためのICL(In-Context Learning)のような創発的な特性を示し、論理的多段階推論を行う。
• 参考スコア（独自算出の注目度）: 19.368928130932833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale Graph Neural Networks (GNNs) are typically trained by sampling a vertex's neighbors to a fixed distance. Because large input graphs are distributed, training requires frequent irregular communication that stalls forward progress. Moreover, fetched data changes with graph, graph distribution, sample and batch parameters, and caching polices. Consequently, any static prefetching method will miss crucial opportunities to adapt to different dynamic conditions. In this paper, we introduce Rudder, a software module embedded in the state-of-the-art AWS DistDGL framework, to autonomously prefetch remote nodes and minimize communication. Rudder's adaptation contrasts with both standard heuristics and traditional ML classifiers. We observe that the generative AI found in contemporary Large Language Models (LLMs) exhibits emergent properties like In-Context Learning (ICL) for zero-shot tasks, with logical multi-step reasoning. We find this behavior well-suited for adaptive control even with substantial undertraining. Evaluations using standard datasets and unseen configurations on the NERSC Perlmutter supercomputer show up to 91% improvement in end-to-end training performance over baseline DistDGL (no prefetching), and an 82% improvement over static prefetching, reducing communication by over 50%. Our code is available at https://github.com/aishwaryyasarkar/rudder-llm-agent.
• Abstract（参考訳）: 大規模グラフニューラルネットワーク(GNN)は通常、頂点の隣人を一定の距離までサンプリングすることによって訓練される。 大きな入力グラフが分散しているため、トレーニングでは、前処理を中断する頻繁な不規則な通信が必要となる。 さらに、グラフ、グラフの分散、サンプルとバッチパラメータ、およびキャッシュ警察によるデータ変更も行われる。 その結果、任意の静的プレフェッチ法は、異なる動的条件に適応する重要な機会を逃すことになる。 本稿では,最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールであるRudderを紹介し,遠隔ノードを自律的にプリフェッチし,通信を最小化する。 ラダーの適応は、標準的なヒューリスティックと伝統的なML分類器の両方と対照的である。 LLM(Large Language Models)に見られる生成AIは、ゼロショットタスクのためのICL(In-Context Learning)のような創発的な特性を示し、論理的多段階推論を行う。 この動作は、実質的なアンダートレーニングであっても適応制御に適している。 NERSC Perlmutterスーパーコンピュータの標準データセットと未確認構成を使用した評価では、ベースラインのDistDGLよりもエンドツーエンドのトレーニング性能が91%向上し(プリフェッチなし)、静的プリフェッチよりも82%向上し、通信が50%以上削減された。 私たちのコードはhttps://github.com/aishwaryyasarkar/rudder-llm-agent.comで公開されています。

関連論文リスト

• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
  リンク予測(LP)は、グラフ機械学習において重要なタスクである。 既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。 これらの課題に対処するためのソリューションとして,事前学習について検討する。
  論文  参考訳（メタデータ） (2025-08-06T17:10:31Z)
• Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
  本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。 それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
  論文  参考訳（メタデータ） (2025-05-22T02:16:34Z)
• LOBSTUR: A Local Bootstrap Framework for Tuning Unsupervised Representations in Graph Neural Networks [0.9208007322096533]
  グラフニューラルネットワーク(GNN)は、教師なし学習技術と組み合わせて強力なノード表現を学習するために、ますます利用されている。 教師なしグラフ表現学習におけるブートストラップ手法の適用を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T19:59:35Z)
• LASE: Learned Adjacency Spectral Embeddings [9.227991604045416]
  グラフ入力から結節隣接スペクトル埋め込み(ASE)を学習する。 LASEは解釈可能で、パラメータ効率が高く、未観測のエッジを持つ入力に対して堅牢である。 LASEレイヤは、Graph Convolutional Network (GCN)と完全に接続されたGraph Attention Network (GAT)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-23T17:35:19Z)
• MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
  本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。 NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
  論文  参考訳（メタデータ） (2024-10-30T05:10:38Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。