論文の概要: SCALE: Scalable Cross-Attention Learning with Extrapolation for Agentic Workflow Scheduling

• arxiv url: http://arxiv.org/abs/2606.06820v1
• Date: Fri, 05 Jun 2026 01:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.50812
• Title: SCALE: Scalable Cross-Attention Learning with Extrapolation for Agentic Workflow Scheduling
• Title（参考訳）: SCALE: エージェントワークフロースケジューリングのための外挿によるスケーラブルなクロスアテンション学習
• Authors: Zhifei Xu, Jierui Lan, Zixuan Liang, Aiji Liang, Jinxi He,
• Abstract要約: そこで本研究では,微調整を伴わずにクラスタスケールを非表示に一般化するDRLスケジューラを提案する。 我々は、タスクがサーバ機能に対するクエリを特徴とするクロスアテンションポインタネットワークを採用しており、アーキテクチャは構築によって任意の数のサーバを受け入れる。
• 参考スコア（独自算出の注目度）: 0.48794459648189575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic Large Language Model (LLM) systems decompose complex tasks into workflow Directed Acyclic Graphs (DAGs) whose primitives must be scheduled on heterogeneous clusters. Existing deep reinforcement learning (DRL) schedulers are tied to a fixed cluster size and require retraining whenever the number of servers changes. We propose SCALE (Scalable Cross-Attention Learning with Extrapolation), a DRL scheduler that generalizes to unseen cluster scales without fine-tuning. SCALE employs a cross-attention pointer network where task features query against server features, so the architecture accepts any number of servers by construction. We observe, however, that permutation-invariant architecture alone does not guarantee good performance at new scales - the attention feature undergoes distribution shift as the server count grows. To counter this, we introduce Structured Representation Regularization (SRR): a decorrelation loss combined with a KL penalty toward the standard normal, which keeps feature statistics stable regardless of input size. Trained on 16 nodes and tested directly on 32 and 48 nodes, SCALE reduces average response time by 8.9% at N=48 relative to the same architecture without SRR, confirming that explicit regularization is necessary to close the scale-generalization gap.
• Abstract（参考訳）: エージェント型大規模言語モデル(LLM)システムは複雑なタスクをワークフローに分解する。 既存の強化学習(DRL)スケジューラは、固定クラスタサイズに縛り付けられ、サーバ数が変化するたびに再トレーニングが必要になる。 細調整なしでクラスタスケールに一般化するDRLスケジューラであるSCALE(Scalable Cross-Attention Learning with Extrapolation)を提案する。 SCALEはクロスアテンションポインタネットワークを採用しており、タスクはサーバ機能に対するクエリを特徴とするので、アーキテクチャは構成によって任意の数のサーバを受け入れる。 しかし、置換不変アーキテクチャだけでは新しいスケールでの優れた性能を保証していないことが観察される。 これに対応するために,構造表現正規化(Structured Representation Regularization, SRR)を導入する。 16ノードで訓練され、32ノードと48ノードで直接テストされ、SCALEはSRRなしで同じアーキテクチャと比較して平均応答時間を8.9%削減し、スケール一般化ギャップを閉じるために明示的な正規化が必要であることを確認した。

関連論文リスト

• RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
  RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。 RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。 以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
  論文  参考訳（メタデータ） (2026-05-22T05:19:58Z)
• Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents [19.368928130932833]
  Rudderは最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールである。 我々は、リモートノードを自律的にプリフェッチするために、最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールであるRudderを紹介した。 LLM(Large Language Models)に見られる生成AIは、ゼロショットタスクのためのICL(In-Context Learning)のような創発的な特性を示し、論理的多段階推論を行う。
  論文  参考訳（メタデータ） (2026-02-26T23:39:42Z)
• SPARC-RAG: Adaptive Sequential-Parallel Scaling with Context Management for Retrieval-Augmented Generation [8.00733338569737]
  Retrieval-Augmented Generationは、大規模な言語モデルのアウトプットを外部のエビデンスに根拠付けている。 最近の研究は、2つの相補的な次元に沿って推論時にRAGをスケールする。 逐次的および並列な推論時間スケーリングを協調するマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-22T20:18:55Z)
• Behavior Knowledge Merge in Reinforced Agentic Models [48.89546963456286]
  強化学習はポストトレーニングの中心であり、特に特別な推論行動を必要とするエージェントモデルにとって重要である。 既存のマージ手法は教師付き微調整(SFT)のために設計されており、RL学習エージェントモデル上でタスク固有の機能を維持するのに最適である。 本稿では,RL学習エージェントモデル用に明示的に設計された分散対応エージェントマージフレームワークであるReinforced Agent Merging (RAM)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T03:56:53Z)
• STRGCN: Capturing Asynchronous Spatio-Temporal Dependencies for Irregular Multivariate Time Series Forecasting [14.156419219696252]
  STRGCNはIMTSの複雑な相互依存性を完全連結グラフとして表現する。 4つの公開データセットの実験では、STRGCNが最先端の精度、競合するメモリ使用量、トレーニング速度を達成することが示されている。
  論文  参考訳（メタデータ） (2025-05-07T06:41:33Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System [54.588242387136376]
  エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。 まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。 次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。 第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
  論文  参考訳（メタデータ） (2021-01-17T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。