論文の概要: Learning to Learn to Predict Performance Regressions in Production at Meta

• arxiv url: http://arxiv.org/abs/2208.04351v2
• Date: Mon, 22 May 2023 08:55:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 05:54:58.363534
• Title: Learning to Learn to Predict Performance Regressions in Production at Meta
• Title（参考訳）: メタでプロダクションにおけるパフォーマンス回帰を予測することを学ぶ
• Authors: Moritz Beller, Hongyu Li, Vivek Nair, Vijayaraghavan Murali, Imad Ahmad, J\"urgen Cito, Drew Carlson, Ari Aye, Wes Dyer
• Abstract要約: この記事では、MetaでMLベースの回帰予測パイプラインを調査、デプロイした際の経験について説明します。 本研究は, 回帰変化に対する良性の不均衡が大きな特徴である, 性能予測問題の本質的な難しさを示すものである。 また,性能予測のためのTransformerベースのアーキテクチャの適用性についても疑問を呈する。
• 参考スコア（独自算出の注目度）: 11.45540873578889
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Catching and attributing code change-induced performance regressions in production is hard; predicting them beforehand, even harder. A primer on automatically learning to predict performance regressions in software, this article gives an account of the experiences we gained when researching and deploying an ML-based regression prediction pipeline at Meta. In this paper, we report on a comparative study with four ML models of increasing complexity, from (1) code-opaque, over (2) Bag of Words, (3) off-the-shelve Transformer-based, to (4) a bespoke Transformer-based model, coined SuperPerforator. Our investigation shows the inherent difficulty of the performance prediction problem, which is characterized by a large imbalance of benign onto regressing changes. Our results also call into question the general applicability of Transformer-based architectures for performance prediction: an off-the-shelve CodeBERT-based approach had surprisingly poor performance; our highly customized SuperPerforator architecture initially achieved prediction performance that was just on par with simpler Bag of Words models, and only outperformed them for down-stream use cases. This ability of SuperPerforator to transfer to an application with few learning examples afforded an opportunity to deploy it in practice at Meta: it can act as a pre-filter to sort out changes that are unlikely to introduce a regression, truncating the space of changes to search a regression in by up to 43%, a 45x improvement over a random baseline. To gain further insight into SuperPerforator, we explored it via a series of experiments computing counterfactual explanations. These highlight which parts of a code change the model deems important, thereby validating the learned black-box model.
• Abstract（参考訳）: コードの変更によって引き起こされるプロダクションのパフォーマンスの低下をキャッチし、帰結させることは難しい。 ソフトウェアのパフォーマンスレグレッションを予測するための自動学習に関するプライマーとして、この記事では、mlベースのレグレッション予測パイプラインをmetaで調査し、デプロイした経験について説明します。 本稿では,(1)コードopaque,(2) over (2) bag of words, (3) off-the-shelve transformer-based,(4) bespoke transformer-based model, coined superperforator の4つのmlモデルとの比較検討を行った。 本研究は, 回帰変化に対する良性の不均衡が大きな特徴である性能予測問題の本質的な難しさを示すものである。 我々の高度にカスタマイズされたSuperPerforatorアーキテクチャは、最初はシンプルなBag of Wordsモデルと同等の予測性能を達成し、下流のユースケースでのみ性能を向上しました。 スーパーパーフォレータが学習例をほとんど持たないアプリケーションへ移行する能力は、metaで実際にデプロイする機会を与えた:それは、レグレッションを起こさないような変更を整理するためのプリフィルタとして機能することができ、レグレッションを検索するための変更のスペースを最大43%削減し、ランダムなベースラインよりも45倍改善する。 superperforatorに関するさらなる洞察を得るために、反事実的説明を計算した一連の実験を通じて調査した。 これらは、どの部分が重要なモデルを変更するかを強調し、学習したブラックボックスモデルを検証する。

関連論文リスト

• TrackFormers: In Search of Transformer-Based Particle Tracking for the High-Luminosity LHC Era [2.9052912091435923]
  高エネルギー物理実験は、新しいイテレーション毎に複数倍のデータの増加に直面している。 このようなオーバーホールが必要なステップの1つは、粒子トラックの再構築、すなわち追跡のタスクである。 機械学習支援ソリューションは、大幅な改善が期待されている。
  論文  参考訳（メタデータ） (2024-07-09T18:47:25Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• On the Generalization Ability of Retrieval-Enhanced Transformers [1.0552465253379135]
  トレーニング可能な重みから検索データベースへのオフロードメモリは、言語モデリングを大幅に改善することができる。 この性能向上の少なくとも一部は、モデル重みと検索の両方に基づく非自明な一般化によるものであることが示唆されている。 検索結果から得られる性能は,データベースとテストデータの間に重複するトークンが主な原因であることが判明した。
  論文  参考訳（メタデータ） (2023-02-23T16:11:04Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• A Locally Adaptive Interpretable Regression [7.4267694612331905]
  線形回帰は最も解釈可能な予測モデルの一つである。 本稿では,局所適応型解釈型回帰(LoAIR)を導入する。 我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
  論文  参考訳（メタデータ） (2020-05-07T09:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。