Fugu-MT 論文翻訳(概要): D$^3$: Dynamic Directional Graph-Constrained Data Scheduling for LLM Training

論文の概要: D$^3$: Dynamic Directional Graph-Constrained Data Scheduling for LLM Training

arxiv url: http://arxiv.org/abs/2605.31164v1
Date: Fri, 29 May 2026 11:13:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.567163
Title: D$^3$: Dynamic Directional Graph-Constrained Data Scheduling for LLM Training
Title（参考訳）: D$^3$: LLMトレーニングのための動的方向グラフ制約データスケジューリング
Abstract要約: トレーニングデータは、大規模言語モデル(LLM)最適化において中心的な役割を果たす。動的指向グラフ制約データスケジューリングフレームワークである$D3$を提案する。 D3$は、列車ユニット間の複雑な相互作用を動的影響グラフとして定式化し、エッジは損失ベースの依存関係を表す。
参考スコア（独自算出の注目度）: 8.590176208356331
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training data plays a central role in large language models (LLMs) optimization, motivating extensive research on data scheduling strategies. Most existing approaches concentrate on adjusting the overall data distribution but neglect the underlying interactions between samples during training. However, we argue that such interactions cannot be overlooked, as real-world data samples frequently exhibit directional influences on each other, making the training order crucial. Intuitively, we can prioritize train-units with greater influence to improves learning efficiency. In this work, we propose $D^3$, a Dynamic Directional graph-constrained Data scheduling framework. $D^3$ formulates the complex interactions among train-units as a dynamic influence graph, where edges represent loss-based dependencies. It then solves a constrained optimization problem over this graph to derive the training order, which ensures that the data sequence respects the evolving information flow throughout training. Our approach is theoretically motivated and yields consistent improvements over existing data scheduling methods across both pre-training and post-training phases. Furthermore, for scalability, $D^3$ also employs an efficient approximation algorithm that keeps the additional computational overhead within a manageable range. For future research, the code is available at https://github.com/xuyj233/D3.
Abstract（参考訳）: トレーニングデータは、大規模言語モデル(LLM)最適化において中心的な役割を担い、データスケジューリング戦略に関する広範な研究を動機付けている。既存のアプローチのほとんどは、全体的なデータ分散を調整することに集中しているが、トレーニング中にサンプル間の基礎となる相互作用を無視している。しかし、実世界のデータサンプルが相互に方向性に影響を与え、トレーニング順序が重要になるため、そのような相互作用は見過ごせないと我々は論じる。直感的には、学習効率を向上させるために、より影響力のある列車ユニットを優先することができる。本研究では,動的指向性グラフ制約データスケジューリングフレームワークである$D^3$を提案する。 D^3$は、列車ユニット間の複雑な相互作用を動的影響グラフとして定式化します。次に、このグラフ上の制約付き最適化問題を解き、トレーニング順序を導出し、データシーケンスがトレーニング全体を通して進化する情報の流れを尊重することを保証する。我々の手法は理論的に動機付けられており、事前学習と後学習の両方の段階にわたって既存のデータスケジューリング手法よりも一貫した改善をもたらす。さらに、スケーラビリティのためには、$D^3$は、計算オーバーヘッドを管理可能な範囲内に保持する効率的な近似アルゴリズムも採用している。将来の研究のために、コードはhttps://github.com/xuyj233/D3.comで入手できる。

関連論文リスト

Data Agent: Learning to Select Data via End-to-End Dynamic Optimization [37.1771265765151]
データエージェントは、トレーニング対応のシーケンシャルな意思決定問題としてデータ選択を定式化する。データエージェントは、パフォーマンスを保留または改善しながら、トレーニングを継続的に加速する。データセットに依存しない定式化とモジュラー報酬により、タスクやシナリオをプラグイン&プレイできる。
論文参考訳（メタデータ） (2026-03-08T03:10:39Z)
GRAIL:Learning to Interact with Large Knowledge Graphs for Retrieval Augmented Reasoning [13.481673780508215]
GRAILは、検索強化推論のための大規模グラフと相互作用するように設計されたフレームワークである。 GRAILは知識グラフ問合せデータセットの平均精度を21.01%改善し、F1改善を22.43%改善する。
論文参考訳（メタデータ） (2025-08-07T15:34:41Z)
Data Uniformity Improves Training Efficiency and More, with a Convergence Framework Beyond the NTK Regime [24.425649636862122]
より均一に分散したデータを選択することで、トレーニング効率が向上し、性能が向上することを示す。具体的には、より均一な(バイアスのない)分布が、データポイント間の最小ペア距離を大きくすることを示す。理論的には、ニューラルネットワークの近似誤差は、h_min$が増加するにつれて減少する。
論文参考訳（メタデータ） (2025-06-30T17:58:30Z)
Data Scaling Laws for End-to-End Autonomous Driving [83.85463296830743]
16時間から8192時間に及ぶ内部駆動データセット上での簡易エンド・ツー・エンド駆動アーキテクチャの性能評価を行った。具体的には、目標の性能向上を達成するために、どの程度のトレーニングデータが必要かを調査する。
論文参考訳（メタデータ） (2025-04-06T03:23:48Z)
PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
論文参考訳（メタデータ） (2025-02-17T18:43:41Z)
Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2024-12-12T18:28:55Z)
ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T21:51:04Z)
Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。提案手法は,複数のMOTデータセット上での最先端性能を実現する。画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
論文参考訳（メタデータ） (2023-03-27T17:39:00Z)
Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
論文参考訳（メタデータ） (2022-11-21T11:01:37Z)
Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods [29.141145775835106]
固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか? 5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
論文参考訳（メタデータ） (2022-09-30T17:04:55Z)
DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [86.03382625531951]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文参考訳（メタデータ） (2021-07-16T04:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。