論文の概要: Successive Refinement in Large-Scale Computation: Advancing Model Inference Applications

• arxiv url: http://arxiv.org/abs/2402.07229v1
• Date: Sun, 11 Feb 2024 15:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 16:42:00.911607
• Title: Successive Refinement in Large-Scale Computation: Advancing Model Inference Applications
• Title（参考訳）: 大規模計算における逐次リファインメント:モデル推論の応用
• Authors: Homa Esfahanizadeh, Alejandro Cohen, Shlomo Shamai (Shitz), Muriel Medard
• Abstract要約: 階層化分解能計算の解を導入する。 これらの解により、最終結果よりも早い段階でより解像度の低い結果が得られる。
• 参考スコア（独自算出の注目度）: 67.76749044675721
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern computationally-intensive applications often operate under time constraints, necessitating acceleration methods and distribution of computational workloads across multiple entities. However, the outcome is either achieved within the desired timeline or not, and in the latter case, valuable resources are wasted. In this paper, we introduce solutions for layered-resolution computation. These solutions allow lower-resolution results to be obtained at an earlier stage than the final result. This innovation notably enhances the deadline-based systems, as if a computational job is terminated due to time constraints, an approximate version of the final result can still be generated. Moreover, in certain operational regimes, a high-resolution result might be unnecessary, because the low-resolution result may already deviate significantly from the decision threshold, for example in AI-based decision-making systems. Therefore, operators can decide whether higher resolution is needed or not based on intermediate results, enabling computations with adaptive resolution. We present our framework for two critical and computationally demanding jobs: distributed matrix multiplication (linear) and model inference in machine learning (nonlinear). Our theoretical and empirical results demonstrate that the execution delay for the first resolution is significantly shorter than that for the final resolution, while maintaining overall complexity comparable to the conventional one-shot approach. Our experiments further illustrate how the layering feature increases the likelihood of meeting deadlines and enables adaptability and transparency in massive, large-scale computations.
• Abstract（参考訳）: 現代の計算集約型アプリケーションは、しばしば時間の制約の下で動作し、加速方法と複数のエンティティにまたがる計算ワークロードの分散を必要とする。 しかし、結果は望ましいタイムライン内で達成されるか、そうでないかのいずれかであり、後者の場合、貴重なリソースが浪費される。 本稿では,階層化分解能計算の解を提案する。 これらの解は最終結果よりも早く解像度の低い結果が得られる。 この革新は、時間的制約により計算ジョブが終了したとしても、最終結果の近似バージョンを生成できるため、期限ベースのシステムを特に強化する。 さらに、一部の運用体制では、AIベースの意思決定システムのように、低解像度の結果が決定しきい値からかなり逸脱している可能性があるため、高解像度の結果は不要である可能性がある。 したがって、オペレータは中間結果に基づいて高分解能が必要かどうかを判断でき、適応分解能を持つ計算を可能にする。 本稿では、分散行列乗算(線形)と機械学習(非線形)のモデル推論という、2つのクリティカルかつ計算的に要求されるジョブの枠組みを提案する。 理論的および実証的な結果から,従来のワンショットアプローチに匹敵する全体的な複雑性を維持しつつ,第1解像度の実行遅延が最終解像度よりも著しく短いことが示されている。 さらに,本実験は,階層化が納期を延長し,大規模計算における適応性と透明性を実現する方法を示した。

関連論文リスト

• Solving Sparse \& High-Dimensional-Output Regression via Compression [2.7596444457918263]
  MOR(Multi-Output Regression)は、意思決定のための科学的データ分析に広く用いられている。 出力の次元性の増大は、現代のMORアプリケーションに対する解釈可能性と計算スケーラビリティに関する大きな課題を生じさせる。 本稿では,出力の解釈可能性を解決するために,余剰条件を付加することで,スパース&高次元出力回帰モデルを提案する。 提案手法は,任意のサンプルセット条件や比較的弱いサンプルセット条件下でのトレーニング損失と予測損失を,同じ順序で維持しながら,計算的にスケーラブルであることを示す。
  論文  参考訳（メタデータ） (2024-10-21T08:21:25Z)
• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• An Operator Learning Framework for Spatiotemporal Super-resolution of Scientific Simulations [3.921076451326108]
  Super Resolution Operator Network (SRNet) は、演算子学習問題として超解像を扱う。 低分解能近似からパラメトリック微分方程式の連続表現を学ぶために、既存の演算子学習問題から着想を得ている。 低分解能近似が提供されるセンサーの位置に制限は課されない。
  論文  参考訳（メタデータ） (2023-11-04T05:33:23Z)
• Taking the human out of decomposition-based optimization via artificial intelligence: Part II. Learning to initialize [0.0]
  提案手法は解時間を大幅に短縮することができる。 アクティブかつ教師付き学習は、計算性能を予測する代理モデルを学ぶために使用される。 その結果,提案手法が解時間を大幅に短縮する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-10T23:49:26Z)
• The Statistical Complexity of Interactive Decision Making [126.04974881555094]
  複雑度尺度であるDecision-Estimation Coefficientは,サンプル効率のインタラクティブ学習に必要かつ十分であることが証明された。 統合アルゴリズム設計原則であるE2Dは、教師付き推定のための任意のアルゴリズムを、意思決定のためのオンラインアルゴリズムに変換する。
  論文  参考訳（メタデータ） (2021-12-27T02:53:44Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Coded Distributed Computing with Partial Recovery [56.08535873173518]
  部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。 CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。 次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
  論文  参考訳（メタデータ） (2020-07-04T21:34:49Z)
• Polynomial-Time Exact MAP Inference on Discrete Models with Global Dependencies [83.05591911173332]
  ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。 本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
  論文  参考訳（メタデータ） (2019-12-27T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。