論文の概要: Verify Distributed Deep Learning Model Implementation Refinement with Iterative Relation Inference

• arxiv url: http://arxiv.org/abs/2508.09505v1
• Date: Wed, 13 Aug 2025 05:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.768655
• Title: Verify Distributed Deep Learning Model Implementation Refinement with Iterative Relation Inference
• Title（参考訳）: 反復的関係推論による分散ディープラーニングモデル実装の検証
• Authors: Zhanghan Wang, Ding Ding, Hang Zhu, Haibin Lin, Aurojit Panda,
• Abstract要約: 今日では、分散機械学習のトレーニングと推論が一般的である。なぜなら、今日の大きなモデルは、単一のGPUで提供できる以上のメモリと計算を必要とするからだ。 本稿では,モデル修正をチェックすることによって,このようなバグを静的に識別する手法について述べる。 GraphGuardで実装された我々のアプローチは、反復的な書き換えを使ってモデルの洗練を証明します。
• 参考スコア（独自算出の注目度）: 5.699231128144775
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Distributed machine learning training and inference is common today because today's large models require more memory and compute than can be provided by a single GPU. Distributed models are generally produced by programmers who take a sequential model specification and apply several distribution strategies to distribute state and computation across GPUs. Unfortunately, bugs can be introduced in the process, and a distributed model implementation's outputs might differ from the sequential model's outputs. In this paper, we describe an approach to statically identify such bugs by checking model refinement, that is, can the sequential model's outputs be reconstructed from the distributed model's outputs? Our approach, implemented in GraphGuard, uses iterative rewriting to prove model refinement. Our approach can scale to today's large models and deployments: we evaluate it using GPT and Llama-3. Further, it provides actionable output that aids in bug localization.
• Abstract（参考訳）: 今日では、分散機械学習のトレーニングと推論が一般的である。なぜなら、今日の大きなモデルは、単一のGPUで提供できる以上のメモリと計算を必要とするからだ。 分散モデルは一般的に、シーケンシャルなモデル仕様を採用し、複数の分散戦略を適用して、状態と計算をGPU間で分散するプログラマによって生成される。 残念ながら、バグはプロセス中に導入でき、分散モデルの実装の出力はシーケンシャルモデルの出力とは異なるかもしれない。 本稿では,これらのバグを静的に識別する手法について述べる。つまり,連続モデル出力を分散モデル出力から再構成できるのか? GraphGuardで実装された我々のアプローチは、反復的な書き換えを使ってモデルの洗練を証明します。 当社のアプローチは,今日の大規模モデルやデプロイメントにも拡張可能です。 さらに、バグのローカライゼーションを支援する実行可能な出力も提供する。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Hierarchical Blockmodelling for Knowledge Graphs [0.5530212768657544]
  知識グラフ上の階層的なエンティティクラスタリングのためにブロックモデルを使用します。 Nested Chinese Restaurant ProcessとStick Breaking Processを生成モデルに統合することで、階層的なクラスタリングの誘導が可能になる。 我々は、合成および実世界のデータセット上でモデルを評価し、ベンチマークモデルと定量的に比較した。
  論文  参考訳（メタデータ） (2024-08-28T09:04:15Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for Multivariate Time Series Analysis [7.979501926410114]
  ConvTimeNetは時系列解析のために設計された階層的な純粋な畳み込みモデルである。 データ駆動方式で時間依存の基本単位の局所パターンを適応的に知覚する。 大規模なカーネル機構を使用して、畳み込みブロックが深く積み重ねられるようにする。
  論文  参考訳（メタデータ） (2024-03-03T12:05:49Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
  我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。 実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2021-12-13T22:05:26Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。