論文の概要: Detection of Performance Changes in MooBench Results Using Nyrkiö on GitHub Actions

• arxiv url: http://arxiv.org/abs/2510.11310v1
• Date: Mon, 13 Oct 2025 12:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.349883
• Title: Detection of Performance Changes in MooBench Results Using Nyrkiö on GitHub Actions
• Title（参考訳）: GitHubアクションにおけるNyrkiöを用いたMooBench結果のパフォーマンス変化の検出
• Authors: Shinhyung Yang, David Georg Reichelt, Henrik Ingo, Wilhelm Hasselbring,
• Abstract要約: Moobenchは継続的にGitHub仮想マシン上で動作し、トレースエージェントのオーバーヘッドを測定したが、変更検出は行わなかった。 Nyrki"o 変更検出サービスに計測値のアップロードを追加することで,パフォーマンス変化の検出を可能にした。
• 参考スコア（独自算出の注目度）: 0.9099663022952496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In GitHub with its 518 million hosted projects, performance changes within these projects are highly relevant to the project's users. Although performance measurement is supported by GitHub CI/CD, performance change detection is a challenging topic. In this paper, we demonstrate how we incorporated Nyrki\"o to MooBench. Prior to this work, Moobench continuously ran on GitHub virtual machines, measuring overhead of tracing agents, but without change detection. By adding the upload of the measurements to the Nyrki\"o change detection service, we made it possible to detect performance changes. We identified one major performance regression and examined the performance change in depth. We report that (1) it is reproducible with GitHub actions, and (2) the performance regression is caused by a Linux Kernel version change.
• Abstract（参考訳）: GitHubでは、ホストされている5億1800万のプロジェクトで、これらのプロジェクトのパフォーマンスの変更は、プロジェクトのユーザにとって非常に関係がある。 パフォーマンス測定はGitHub CI/CDでサポートされているが、パフォーマンス変化の検出は難しいトピックである。 本稿では,Nyrki\"oをMooBenchにどのように組み込んだかを紹介する。 この作業に先立ち、MoobenchはGitHub仮想マシン上で継続的に動作し、トレースエージェントのオーバーヘッドを計測したが、変更検出は行わなかった。 Nyrki\"o 変更検出サービスに計測値のアップロードを追加することで、パフォーマンス変更の検出を可能にしました。 主な性能回帰を1つ同定し,性能変化を深く検討した。 1)GitHubのアクションと再現可能であること,(2)Linuxカーネルのバージョン変更によるパフォーマンスの低下が原因であることを報告した。

関連論文リスト

• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• A Benchmark for Localizing Code and Non-Code Issues in Software Projects [26.511673758202267]
  46の人気のあるGitHub Pythonプロジェクトから1,100のイシューのデータセットであるMULocBenchを紹介します。 既存のベンチマークと比較すると、MULocBenchはイシュータイプ、根本原因、ロケーションスコープ、ファイルタイプに大きな多様性を提供する。 このベンチマークを用いて、最先端のローカライズ手法と5つのLCMベースのプロンプト戦略の性能を評価する。
  論文  参考訳（メタデータ） (2025-09-26T06:05:20Z)
• SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
  We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。 従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
  論文  参考訳（メタデータ） (2025-05-29T18:28:02Z)
• CrashFixer: A crash resolution agent for the Linux kernel [58.152358195983155]
  この作業は、システムレベルのLinuxカーネルバグのベンチマークと、Linuxカーネルで実験を実行するプラットフォームを共有するkGymの上に構築されている。 CrashFixerはLinuxカーネルのバグに適応する最初のLCMベースのソフトウェア修復エージェントである。
  論文  参考訳（メタデータ） (2025-04-29T04:18:51Z)
• SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
  大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。 我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の競合性能を実現する。
  論文  参考訳（メタデータ） (2025-01-09T07:54:24Z)
• Automatic Categorization of GitHub Actions with Transformers and Few-shot Learning [12.254055731378045]
  GitHub Actions(GHA)は、開発者がパイプラインを作成してメンテナンスするための実用的なツールを提供するために考案されたものだ。 検索エンジンにアクションを公開するために、GitHubは開発者がそれらを1つ以上のカテゴリに手動で割り当てることを可能にする。 私たちはGitHubでアクションの可視性を高めるための実用的なソリューションであるGavelを提案する。
  論文  参考訳（メタデータ） (2024-07-24T02:27:36Z)
• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)
• VMamba: Visual State Space Model [98.0517369083152]
  状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)
• MS-Former: Memory-Supported Transformer for Weakly Supervised Change Detection with Patch-Level Annotations [50.79913333804232]
  弱い教師付き変化検出のためのメモリ支援トランス (MS-Former) を提案する。 MS-Former は双方向注意ブロック (BAB) とパッチレベルの監視スキーム (PSS) から構成される。 3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-16T09:57:29Z)
• GitBug-Actions: Building Reproducible Bug-Fix Benchmarks with GitHub Actions [8.508198765617196]
  GitBug-Actionsは、最新の完全に再現可能なバグフィックスでバグフィックスベンチマークを構築するための新しいツールです。 GitBug-Actionsは、最も人気のあるCIプラットフォームであるGitHub Actionsに依存してバグフィックスを検出する。 ツールチェーンを実証するために、GitBug-Actionsをデプロイして、概念実証Goバグフィックスベンチマークを構築しました。
  論文  参考訳（メタデータ） (2023-10-24T09:04:14Z)
• GitHub Actions: The Impact on the Pull Request Process [7.047566396769727]
  本研究では、プロジェクトがGitHub Actionsをどのように利用するか、開発者がGitHub Actionsについて何を議論しているか、プロジェクトアクティビティインジケータが採用後にどのように変化するかを調査する。 私たちの調査によると、5,000のリポジトリのうち1489がGitHub Actionsを採用しています。 また、GitHub Actionsの採用によってプルリクエスト(PR)の拒絶が増加し、受け入れられたPRでのコミュニケーションが増加し、拒否されたPRでのコミュニケーションが減少することが示唆された。
  論文  参考訳（メタデータ） (2022-06-28T16:24:17Z)
• Predicting Issue Types on GitHub [8.791809365994682]
  Ticket Taggerは、機械学習技術による課題のタイトルと説明を分析するGitHubアプリである。 私たちは、約30,000のGitHubイシューに対して、ツールの予測パフォーマンスを実証的に評価しました。
  論文  参考訳（メタデータ） (2021-07-21T08:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。