論文の概要: NeRCC: Nested-Regression Coded Computing for Resilient Distributed Prediction Serving Systems

• arxiv url: http://arxiv.org/abs/2402.04377v2
• Date: Thu, 8 Feb 2024 23:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 19:33:02.420804
• Title: NeRCC: Nested-Regression Coded Computing for Resilient Distributed Prediction Serving Systems
• Title（参考訳）: NeRCC: レジリエントな分散予測サービングシステムのためのネスト回帰符号計算
• Authors: Parsa Moradi, Mohammad Ali Maddah-Ali
• Abstract要約: NeRCCは、近似符号化コンピューティングのための一般的なストラグラー耐性フレームワークである。 NeRCCは、幅広いストラグラーにおける元の予測を正確に近似し、最先端の予測を最大23%上回った。
• 参考スコア（独自算出の注目度）: 18.85527080950587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Resilience against stragglers is a critical element of prediction serving systems, tasked with executing inferences on input data for a pre-trained machine-learning model. In this paper, we propose NeRCC, as a general straggler-resistant framework for approximate coded computing. NeRCC includes three layers: (1) encoding regression and sampling, which generates coded data points, as a combination of original data points, (2) computing, in which a cluster of workers run inference on the coded data points, (3) decoding regression and sampling, which approximately recovers the predictions of the original data points from the available predictions on the coded data points. We argue that the overall objective of the framework reveals an underlying interconnection between two regression models in the encoding and decoding layers. We propose a solution to the nested regressions problem by summarizing their dependence on two regularization terms that are jointly optimized. Our extensive experiments on different datasets and various machine learning models, including LeNet5, RepVGG, and Vision Transformer (ViT), demonstrate that NeRCC accurately approximates the original predictions in a wide range of stragglers, outperforming the state-of-the-art by up to 23%.
• Abstract（参考訳）: ストラグラーに対する耐性は予測サービスシステムの重要な要素であり、事前訓練された機械学習モデルの入力データに対する推論を実行する。 本稿では、近似符号化コンピューティングのための一般的なストラグラー耐性フレームワークとしてNeRCCを提案する。 nerccは,(1)エンコーディングレグレッションとサンプリング,(2)エンコードされたデータポイントの組合せとしてコード化されたデータポイントを生成する,(2)労働者のクラスタがコード化されたデータポイント上で推論を行う,(3)デコードレグレッションとサンプリング,(3)エンコードされたデータポイント上で利用可能な予測から元のデータポイントの予測をほぼ復元する,の3つのレイヤを含む。 このフレームワークの全体的な目的は、符号化層と復号層における2つの回帰モデル間の相互関係を明らかにすることである。 本稿では, 2つの正規化項への依存度を和らげることで, ネスト回帰問題の解法を提案する。 LeNet5、RepVGG、Vision Transformer(ViT)など、さまざまなデータセットとさまざまな機械学習モデルに関する広範な実験により、NeRCCは、幅広いストラグラーにおける元の予測を正確に近似し、最先端の技術を最大23%上回ることを示した。

関連論文リスト

• Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract) [56.55728466130238]
  本稿では,変換器の回帰能力をGNNのリンク予測強度と統合することを目的とした新しいMPGrafモデルを提案する。 我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。
  論文  参考訳（メタデータ） (2024-09-25T03:33:47Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Systematic Evaluation of Deep Learning Models for Log-based Failure Prediction [3.3810628880631226]
  本稿では,障害予測のためのログデータ埋め込み戦略とディープラーニング(DL)タイプの組み合わせを系統的に検討する。 そこで我々は,組込み戦略とDLベースのエンコーダの様々な構成に対応するモジュールアーキテクチャを提案する。 また,F1スコア測定値を用いて,Logkey2vecを用いたCNNベースのエンコーダが最適であることを示す。
  論文  参考訳（メタデータ） (2023-03-13T16:04:14Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Rank-N-Contrast: Learning Continuous Representations for Regression [28.926518084216607]
  Rank-N-Contrast(RNC)は、ターゲット空間のランクに基づいて、サンプルを互いに対比することで、回帰の連続的な表現を学習するフレームワークである。 RNCは、学習された表現の望ましい順序を目標命令に従って保証する。 RNCは最先端のパフォーマンスを達成し、データ効率の向上、ターゲットの刺激に対する堅牢性、データの破損など、興味深い特性を強調している。
  論文  参考訳（メタデータ） (2022-10-03T19:00:38Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• RoCourseNet: Distributionally Robust Training of a Prediction Aware Recourse Model [29.057300578765663]
  RoCourseNetは、将来のデータシフトに対して堅牢な予測とリコースを共同で最適化するトレーニングフレームワークである。 RoCourseNetは、ロバストな妥当性を96%以上達成し、ロバストな説明を生成する上で、最先端のベースラインを少なくとも10%上回っていることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:18:18Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Improving Sample and Feature Selection with Principal Covariates Regression [0.0]
  この目的に応用された2つの人気のあるサブセレクション方式に焦点をあてる。 対象情報を組み込むことで,教師付きタスクにおいてより優れた選択が可能となることを示す。 また、単純な教師付き学習モデルの側面を組み込むことで、より複雑なモデルの精度を向上させることも示します。
  論文  参考訳（メタデータ） (2020-12-22T18:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。