論文の概要: Towards an Introspective Dynamic Model of Globally Distributed Computing Infrastructures

• arxiv url: http://arxiv.org/abs/2506.19578v1
• Date: Tue, 24 Jun 2025 12:42:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.626948
• Title: Towards an Introspective Dynamic Model of Globally Distributed Computing Infrastructures
• Title（参考訳）: グローバル分散コンピューティング基盤のイントロスペクティブ・ダイナミックモデルに向けて
• Authors: Ozgur O. Kilic, David K. Park, Yihui Ren, Tatiana Korchuganova, Sairam Sri Vatsavai, Joseph Boudreau, Tasnuva Chowdhury, Shengyu Feng, Raees Khan, Jaehyung Kim, Scott Klasky, Tadashi Maeno, Paul Nilsson, Verena Ingrid Martinez Outschoorn, Norbert Podhorszki, Frédéric Suter, Wei Yang, Yiming Yang, Shinjae Yoo, Alexei Klimentov, Adolfy Hoisie,
• Abstract要約: 大規模な科学的コラボレーションはペタバイト単位のデータを生成し、ボリュームはすぐにエクタバイトに達すると期待されている。 これらの計算とストレージの要求を管理するために、中央集権的なワークフローとデータ管理システムが実装されている。 より効果的あるいはAI駆動のソリューションを採用する上で重要な障害は、迅速で信頼性の高いイントロスペクティブ・ダイナミック・モデルがないことである。
• 参考スコア（独自算出の注目度）: 27.473508984130728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale scientific collaborations like ATLAS, Belle II, CMS, DUNE, and others involve hundreds of research institutes and thousands of researchers spread across the globe. These experiments generate petabytes of data, with volumes soon expected to reach exabytes. Consequently, there is a growing need for computation, including structured data processing from raw data to consumer-ready derived data, extensive Monte Carlo simulation campaigns, and a wide range of end-user analysis. To manage these computational and storage demands, centralized workflow and data management systems are implemented. However, decisions regarding data placement and payload allocation are often made disjointly and via heuristic means. A significant obstacle in adopting more effective heuristic or AI-driven solutions is the absence of a quick and reliable introspective dynamic model to evaluate and refine alternative approaches. In this study, we aim to develop such an interactive system using real-world data. By examining job execution records from the PanDA workflow management system, we have pinpointed key performance indicators such as queuing time, error rate, and the extent of remote data access. The dataset includes five months of activity. Additionally, we are creating a generative AI model to simulate time series of payloads, which incorporate visible features like category, event count, and submitting group, as well as hidden features like the total computational load-derived from existing PanDA records and computing site capabilities. These hidden features, which are not visible to job allocators, whether heuristic or AI-driven, influence factors such as queuing times and data movement.
• Abstract（参考訳）: ATLAS、ベルII、CMS、DUNEなどの大規模な科学的コラボレーションには、世界中の何百もの研究所や何千もの研究者が関与している。 これらの実験はペタバイト単位のデータを生成し、ボリュームはすぐにエクタバイトに達すると期待されている。 その結果、生データからコンシューマ対応データへの構造化データ処理、モンテカルロシミュレーションの広範なキャンペーン、幅広いエンドユーザー分析など、計算の必要性が高まっている。 これらの計算とストレージの要求を管理するために、中央集権的なワークフローとデータ管理システムが実装されている。 しかし、データ配置やペイロード割り当てに関する決定は、しばしば不一致かつヒューリスティックな方法で行われる。 より効果的なヒューリスティックあるいはAI駆動のソリューションを採用する上で重要な障害は、代替アプローチを評価し、洗練するための、迅速で信頼性の高い内観的動的モデルがないことである。 本研究では,実世界データを用いた対話型システムの実現を目指す。 PanDAワークフロー管理システムからジョブ実行レコードを調べることで、キュー時間、エラー率、リモートデータアクセスの程度などの重要なパフォーマンス指標を特定しました。 データセットには5ヶ月のアクティビティが含まれている。 さらに、私たちは、カテゴリ、イベントカウント、送信グループといった可視的な機能や、既存のPanDAレコードやコンピューティングサイト機能から派生した計算負荷の合計といった隠れた機能を含む、一連のペイロードをシミュレートする生成AIモデルを作成しています。 これらの隠れた特徴は、ヒューリスティックであれAI駆動であれ、ジョブアロケータには見えないが、キューイング時間やデータ移動などの要因に影響を与える。

関連論文リスト

• Data Scaling Laws for End-to-End Autonomous Driving [83.85463296830743]
  16時間から8192時間に及ぶ内部駆動データセット上での簡易エンド・ツー・エンド駆動アーキテクチャの性能評価を行った。 具体的には、目標の性能向上を達成するために、どの程度のトレーニングデータが必要かを調査する。
  論文  参考訳（メタデータ） (2025-04-06T03:23:48Z)
• Explaining Categorical Feature Interactions Using Graph Covariance and LLMs [18.44675735926458]
  本稿では,Counter Trafficking Data Collaborativeからのグローバルな合成データセットに焦点を当てる。 2002年から2022年にかけて20,000件以上の匿名化された記録があり、それぞれのレコードに多くの分類学的特徴がある。 本稿では,重要な分類的特徴の相互作用を分析し,抽出するための高速でスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2025-01-24T21:41:26Z)
• Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models [64.28420991770382]
  Data-Juicer 2.0は、テキスト、画像、ビデオ、オーディオのモダリティにまたがるデータ処理オペレーターがバックアップするデータ処理システムである。 データ分析、アノテーション、基礎モデルポストトレーニングなど、より重要なタスクをサポートする。 さまざまな研究分野やAlibaba Cloud PAIのような現実世界の製品で広く採用されている。
  論文  参考訳（メタデータ） (2024-12-23T08:29:57Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• LAMBDA: A Large Model Based Data Agent [7.240586338370509]
  本稿では,LArge Model Based Data Agent (LAMBDA)を紹介する。 LAMBDAは、データ駆動アプリケーションにおけるデータ分析の課題に対処するように設計されている。 それは、人間と人工知能をシームレスに統合することで、データ分析パラダイムを強化する可能性がある。
  論文  参考訳（メタデータ） (2024-07-24T06:26:36Z)
• DISCOVER: A Data-driven Interactive System for Comprehensive Observation, Visualization, and ExploRation of Human Behaviour [6.716560115378451]
  我々は,人間行動分析のための計算駆動型データ探索を効率化するために,モジュール型でフレキシブルでユーザフレンドリなソフトウェアフレームワークを導入する。 我々の主な目的は、高度な計算方法論へのアクセスを民主化することであり、これにより研究者は、広範囲の技術的熟練を必要とせずに、詳細な行動分析を行うことができる。
  論文  参考訳（メタデータ） (2024-07-18T11:28:52Z)
• CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
  知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。 マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。 我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:10:41Z)
• Dynamic Spatio-Temporal Summarization using Information Based Fusion [3.038642416291856]
  本稿では,重要な時間経過における情報的特徴を識別し,少ない情報的特徴を融合する動的時間的データ要約手法を提案する。 既存の手法とは異なり,本手法は生と要約の両方のタイムステップを保持し,時間とともに情報の変化を包括的に把握する。 我々は,粒子ベースのフローシミュレーション,セキュリティと監視の応用,免疫システム内の生体細胞間相互作用など,多様なデータセットにまたがる手法の汎用性を実証した。
  論文  参考訳（メタデータ） (2023-10-02T20:21:43Z)
• Integration of Domain Expert-Centric Ontology Design into the CRISP-DM for Cyber-Physical Production Systems [45.05372822216111]
  機械学習(ML)とデータマイニング(DM)の手法は、収集されたデータから複雑で隠れたパターンを抽出する上で有望であることが証明されている。 しかし、このようなデータ駆動プロジェクトは、通常、CRISPDM(Cross-Industry Standard Process for Data Mining)で実行され、データの理解と準備に要する時間の不均等さのために失敗することが多い。 このコントリビューションは、データサイエンティストがCPPSの課題に対してより迅速かつ確実に洞察を得ることができるように、統合されたアプローチを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-07-21T15:04:00Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。