論文の概要: Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture
- arxiv url: http://arxiv.org/abs/2405.17221v1
- Date: Tue, 21 May 2024 14:09:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 15:03:23.920128
- Title: Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture
- Title（参考訳）: スケールアウト空間アーキテクチャによる効率的なオーケストレーションAIワークフローの実行
- Authors: Jinyi Deng, Xinru Tang, Zhiheng Yue, Guangyang Lu, Qize Yang, Jiahao Zhang, Jinxi Li, Chao Li, Shaojun Wei, Yang Hu, Shouyi Yin,
- Abstract要約: さまざまなタスクをロジック駆動型決定と統合し、動的で洗練されたAIを提供する。
我々は,オーケストレーションされた空間グラフを用いて,オーケストレーションされたAIの本質的なデュアルダイナミクスを効果的に表現できることを見出した。
我々の評価は、オーケストレーションAIの動的な要求に対処する上で、従来のアーキテクチャよりも大幅に優れていることを示している。
- 参考スコア（独自算出の注目度）: 17.516934379812994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given the increasing complexity of AI applications, traditional spatial architectures frequently fall short. Our analysis identifies a pattern of interconnected, multi-faceted tasks encompassing both AI and general computational processes. In response, we have conceptualized "Orchestrated AI Workflows," an approach that integrates various tasks with logic-driven decisions into dynamic, sophisticated workflows. Specifically, we find that the intrinsic Dual Dynamicity of Orchestrated AI Workflows, namely dynamic execution times and frequencies of Task Blocks, can be effectively represented using the Orchestrated Workflow Graph. Furthermore, the intrinsic Dual Dynamicity poses challenges to existing spatial architecture, namely Indiscriminate Resource Allocation, Reactive Load Rebalancing, and Contagious PEA Idleness. To overcome these challenges, we present Octopus, a scale-out spatial architecture and a suite of advanced scheduling strategies optimized for executing Orchestrated AI Workflows, such as the Discriminate Dual-Scheduling Mechanism, Adaptive TBU Scheduling Strategy, and Proactive Cluster Scheduling Strategy. Our evaluations demonstrate that Octopus significantly outperforms traditional architectures in handling the dynamic demands of Orchestrated AI Workflows, and possesses robust scalability in large scale hardware such as wafer-scale chip.
- Abstract（参考訳）: AIアプリケーションの複雑さが増す中、伝統的な空間アーキテクチャはしばしば不足する。
我々の分析では、AIと一般的な計算プロセスの両方を含む相互接続された多面的タスクのパターンを同定する。
これに応えて、さまざまなタスクとロジック駆動の意思決定を統合して、動的で洗練されたワークフローを構築するアプローチである“Orchestrated AI Workflows”を概念化した。
具体的には、オーケストレーションされたAIワークフローの本質的なデュアルダイナミック性、すなわちタスクブロックの実行時間と頻度を、オーケストレーションされたワークフローグラフを使って効果的に表現できることを見出した。
さらに、本質的なデュアルダイナミック性は、既存の空間アーキテクチャ、すなわち、非差別的なリソース割り当て、リアクティブロードリバランシング、Contagious PEAアイドルネスに課題をもたらす。
これらの課題を克服するために、我々は、Octopusというスケールアウト空間アーキテクチャと、Dual-Scheduling Mechanism、Adaptive TBU Scheduling Strategy、Proactive Cluster Scheduling Strategyといった、オーケストレーションされたAIワークフローの実行に最適化された高度なスケジューリング戦略スイートを提示する。
評価の結果,OctopusはOrchestrate AI Workflowsの動的要求に対処する上で,従来のアーキテクチャよりも大幅に優れており,ウエハスケールチップなどの大規模ハードウェアにおいて堅牢なスケーラビリティを有していることがわかった。
関連論文リスト
- DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-02-18T02:37:26Z) - Towards Resource-Efficient Compound AI Systems [4.709762596591902]
複合AIシステムは、モデル、レトリバー、外部ツールなどの複数の相互作用コンポーネントを統合する。
現在の実装は、アプリケーションロジックと実行の詳細の密結合によって、非効率なリソース利用に悩まされています。
本稿では、動的スケジューリングとリソース認識意思決定のための宣言型ワークフロープログラミングモデルと適応型ランタイムシステムを提案する。
論文 参考訳（メタデータ） (2025-01-28T02:15:34Z) - Flow: A Modular Approach to Automated Agentic Workflow Generation [53.073598156915615]
大規模言語モデル(LLM)を利用したマルチエージェントフレームワークは、自動計画とタスク実行において大きな成功を収めている。
しかし,実行中のエージェントの効果的な調整は十分に研究されていない。
論文 参考訳（メタデータ） (2025-01-14T04:35:37Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - Faster Diffusion Action Segmentation [9.868244939496678]
時間的行動分類(TAS)はビデオ解析において不可欠な課題であり、連続したフレームを別のアクションセグメントに分割し分類することを目的としている。
拡散モデルの最近の進歩は、安定したトレーニングプロセスと高品質な生成能力により、TASタスクにおいて大きな成功を収めている。
本稿では,効率的かつ高性能なTASアルゴリズムであるEffiDiffActを提案する。
論文 参考訳（メタデータ） (2024-08-04T13:23:18Z) - Synergising Human-like Responses and Machine Intelligence for Planning in Disaster Response [10.294618771570985]
デュアルプロセス理論(DPT)にインスパイアされた注意に基づく認知アーキテクチャを提案する。
このフレームワークは、高速だが(人間のような)応答と、遅いが最適化されたマシンインテリジェンスの計画能力を統合する。
論文 参考訳（メタデータ） (2024-04-15T15:47:08Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Geometric Deep Reinforcement Learning for Dynamic DAG Scheduling [8.14784681248878]
本稿では,現実的なスケジューリング問題を解決するための強化学習手法を提案する。
高性能コンピューティングコミュニティにおいて一般的に実行されるアルゴリズムであるColesky Factorizationに適用する。
我々のアルゴリズムは,アクター・クリティカル・アルゴリズム (A2C) と組み合わせてグラフニューラルネットワークを用いて,問題の適応表現をオンザフライで構築する。
論文 参考訳（メタデータ） (2020-11-09T10:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。