論文の概要: Performance Prediction for Large Systems via Text-to-Text Regression

• arxiv url: http://arxiv.org/abs/2506.21718v1
• Date: Thu, 26 Jun 2025 19:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:22.982921
• Title: Performance Prediction for Large Systems via Text-to-Text Regression
• Title（参考訳）: テキストからテキストへの回帰による大規模システムの性能予測
• Authors: Yash Akhauri, Bryan Lewandowski, Cheng-Hsi Lin, Adrian N. Reyes, Grant C. Forbes, Arissa Wongpanich, Bangding Yang, Mohamed S. Abdelfattah, Sagi Perel, Xingyou Song,
• Abstract要約: 従来の回帰法に代わる汎用的でスケーラブルな回帰法としてテキスト・テキスト・レグレッションを提案する。 Googleの大規模クラスタスケジューリングシステムであるBorgでリソース効率を予測するために、60Mパラメータエンコーダ-デコーダがトレーニングされている。 このモデルは、わずか500の例で新しいタスクに容易に適応し、複雑な結果分布の密度をキャプチャする。
• 参考スコア（独自算出の注目度）: 13.48548094460222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many industries, predicting metric outcomes of large systems is a fundamental problem, driven largely by traditional tabular regression. However, such methods struggle on complex systems data in the wild such as configuration files or system logs, where feature engineering is often infeasible. We propose text-to-text regression as a general, scalable alternative. For predicting resource efficiency on Borg, Google's massive compute cluster scheduling system, a 60M parameter encoder-decoder, trained from random initialization, achieves up to a near perfect 0.99 (0.9 average) rank correlation across the entire fleet, and 100x lower MSE than tabular approaches. The model also easily adapts to new tasks in only 500 few-shot examples and captures the densities of complex outcome distributions. Ablation studies highlight the importance of using encoders, increasing sequence length, and the model's inherent uncertainty quantification. These findings pave the way for universal simulators of real-world outcomes.
• Abstract（参考訳）: 多くの産業において、大規模システムのメートル法結果を予測することは基本的な問題であり、主に伝統的な表の回帰によって引き起こされる。 しかし、そのような手法は、構成ファイルやシステムログのような複雑なシステムデータに苦しむ。 本稿では,テキスト・テキスト・レグレッションを汎用的でスケーラブルな代替手段として提案する。 Borg上でのリソース効率を予測するため、Googleの大規模クラスタスケジューリングシステムである60Mパラメータエンコーダ-デコーダは、ランダム初期化からトレーニングされ、全体の0.99(0.9平均)ランクの相関を達成し、表のアプローチよりも100倍低いMSEを実現している。 このモデルは、わずか500の例で新しいタスクに容易に適応し、複雑な結果分布の密度をキャプチャする。 アブレーション研究では、エンコーダの使用の重要性、シーケンス長の増加、モデル固有の不確実性定量化が強調されている。 これらの知見は、実世界の結果の普遍的なシミュレーターの道を開くものである。

関連論文リスト

• Revisiting Randomization in Greedy Model Search [16.15551706774035]
  特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。 計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。 ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
  論文  参考訳（メタデータ） (2025-06-18T17:13:53Z)
• Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing [39.36305648162564]
  本稿では,係数学習(CL)と呼ばれる超小型人工ニューラルモデルを提案する。 CLは、従来の反復的手法の一般性と解釈性を継承しつつ、トレーニング不要で迅速なスパース再構築を可能にする。 代表的反復法と比較して、CLOMPは大規模データの効率を100から1000倍に改善する。
  論文  参考訳（メタデータ） (2025-01-20T16:50:59Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• Scalable Estimation for Structured Additive Distributional Regression [0.0]
  本稿では,勾配降下の考え方に基づいて,従来のノートパソコン上の任意の量のデータを扱うことができる新しいバックフィッティングアルゴリズムを提案する。 大規模なシミュレーション研究と、オーストリアにおける雷数予測の非常に困難でユニークな例を用いて、性能を評価した。
  論文  参考訳（メタデータ） (2023-01-13T14:59:42Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。