論文の概要: On the Need to Monitor Continuous Integration Practices -- An Empirical Study
- arxiv url: http://arxiv.org/abs/2409.05101v1
- Date: Sun, 8 Sep 2024 14:08:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-10 19:20:20.218512
- Title: On the Need to Monitor Continuous Integration Practices -- An Empirical Study
- Title(参考訳): 継続的統合の実践をモニタリングする必要性について-実証的研究
- Authors: Jadson Santos, Daniel Alencar da Costa, Shane McIntosh, Uirá Kulesza,
- Abstract要約: 継続的統合(CI)は、ソフトウェア開発を強化するために広く採用されているプラクティスの集合を含んでいる。
この記事では、CIプラクティスの監視に関する開発者の認識について説明する。
- 参考スコア(独自算出の注目度): 4.407128462695972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous Integration (CI) encompasses a set of widely adopted practices that enhance software development. However, there are indications that developers may not adequately monitor CI practices. Hence, this paper explores developers' perceptions regarding the monitoring CI practices. To achieve this, we first perform a Document Analysis to assess developers' expressed need for practice monitoring in pull requests comments generated by developers during the development process. After that, we conduct a survey among developers from 121 open-source projects to understand perception of the significance of monitoring seven CI practices in their projects. Finally, we triangulate the emergent themes from our survey by performing a second Document Analysis to understand the extent of monitoring features supported by existing CI services. Our key findings indicate that: 1) the most frequently mentioned CI practice during the development process is ``Test Coverage'' (> 80\%), while ``Build Health'' and ``Time to Fix a Broken Build'' present notable opportunities for monitoring CI practices; 2) developers do not adequately monitor all CI practices and express interest in monitoring additional practices; and 3) the most popular CI services currently offer limited native support for monitoring CI practices, requiring the use of third-party tools. Our results lead us to conclude that monitoring CI practices is often overlooked by both CI services and developers. Using third-party tools in conjunction with CI services is challenging, they monitor some redundant practices and still falls short of fully supporting CI practices monitoring. Therefore, CI services should implement CI practices monitoring, which would facilitate and encourage developers to monitor them.
- Abstract(参考訳): 継続的統合(CI)は、ソフトウェア開発を強化するために広く採用されているプラクティスの集合を含んでいる。
しかしながら、開発者がCIプラクティスを適切に監視できないという兆候もある。
そこで本稿では,CIプラクティスの監視に関する開発者の認識について検討する。
これを実現するために、私たちはまずドキュメント分析を実施し、開発プロセス中に開発者が生成したプルリクエストコメントのモニタリングを実践する開発者のニーズを評価する。
その後、121のオープンソースプロジェクトの開発者を対象に調査を行い、プロジェクトにおける7つのCIプラクティスの監視の重要性に対する認識を調査します。
最後に、既存のCIサービスでサポートされているモニタリング機能の範囲を理解するために、第2のドキュメント分析を実行することで、調査から生まれたテーマを三角化します。
私たちの重要な発見は以下のとおりである。
1) 開発プロセスにおいて最も頻繁に言及されるCIプラクティスは、'`Test Coverage' (> 80\%) であり、'`Build Health' と '``Time to Fix a Broken Build''' は、CIプラクティスを監視するための注目すべき機会である。
2) 開発者はすべてのCIプラクティスを適切に監視せず、追加プラクティスの監視に関心を示す。
現在最も人気のあるCIサービスは、CIプラクティスの監視に限定的なネイティブサポートを提供しており、サードパーティツールを使用する必要がある。
結果として、CIプラクティスの監視は、CIサービスと開発者の両方が見落としていることが多い、と結論付けました。
CIサービスと連携してサードパーティツールを使用することは困難であり、冗長なプラクティスを監視しながら、CIプラクティスの監視を完全にサポートしていない。
したがって、CIサービスはCIプラクティスの監視を実装する必要がある。
関連論文リスト
- Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents [57.49020237126194]
大規模言語モデル(LLM)はサイバーセキュリティタスクを支援することを約束しているが、既存のアプローチでは自動脆弱性発見とエクスプロイトに苦労している。
Co-RedTeamは,現実世界のレッドチームのミラーリングを目的とした,セキュリティを意識したマルチエージェントフレームワークである。
Co-RedTeamは、脆弱性分析をコーディネートされた発見およびエクスプロイトステージに分解し、エージェントがアクションを計画、実行、検証、洗練できるようにする。
論文 参考訳(メタデータ) (2026-02-02T14:38:45Z) - LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。
我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。
我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
論文 参考訳(メタデータ) (2025-11-17T23:57:24Z) - Agent Learning via Early Experience [93.83579011718858]
言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。
現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。
本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
論文 参考訳(メタデータ) (2025-10-09T17:59:17Z) - Bridging the Mobile Trust Gap: A Zero Trust Framework for Consumer-Facing Applications [51.56484100374058]
本稿では,信頼できないユーザ制御環境で動作するモバイルアプリケーションを対象としたZero Trustモデルを提案する。
デザインサイエンスの方法論を用いて、この研究は、実行時の信頼の強制をサポートする6つのピラーフレームワークを導入した。
提案したモデルは,デプロイ前コントロールを越えてモバイルアプリケーションをセキュアにするための,実用的で標準に準拠したアプローチを提供する。
論文 参考訳(メタデータ) (2025-08-20T18:42:36Z) - From First Use to Final Commit: Studying the Evolution of Multi-CI Service Adoption [0.0]
私たちは2008年1月から2024年12月までにGitHubでホストされた18,924のJavaプロジェクトの歴史的CI採用を分析した。
分析の結果、同じプロジェクト内で複数のCIサービスを使用することは、5つに1つ近いプロジェクトで繰り返し見られるパターンであることが分かりました。
論文 参考訳(メタデータ) (2025-07-27T01:32:22Z) - ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。
我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。
分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
論文 参考訳(メタデータ) (2025-05-29T17:59:38Z) - Integrating DAST in Kanban and CI/CD: A Real World Security Case Study [2.3480418671346164]
Webアプリケーションの攻撃と悪用された脆弱性が増加している。
現代の開発プラクティスにセキュリティを統合することがますます重要になっている。
現代の開発プラクティスでセキュリティプラクティスやアクティビティを採用するのは難しいです。
論文 参考訳(メタデータ) (2025-03-27T19:46:05Z) - AgentOrca: A Dual-System Framework to Evaluate Language Agents on Operational Routine and Constraint Adherence [54.317522790545304]
本稿では,言語エージェントの動作制約やルーチンに対するコンプライアンスを評価するための,デュアルシステムフレームワークであるAgentOrcaを提案する。
本フレームワークは,エージェントの自然言語プロンプトと,それに対応する実行可能コードが,自動検証のための基礎的真理として機能することを通じて,行動制約とルーチンを符号化する。
以上の結果から,o1のような大きな推論モデルではコンプライアンスが良好であり,他のモデルではパフォーマンスが著しく低下していることが明らかとなった。
論文 参考訳(メタデータ) (2025-03-11T17:53:02Z) - Do you monitor CI Practices? I don't know. You tell me: A case study [1.660201734459127]
ブラジルの3つの公共組織における現実シナリオにおける7つのCIプラクティスの監視の効果を評価することを目的としている。
企業はCIプラクティスの監視を採用し、CIサービスがこの監視をダッシュボードに統合することを推奨しています。
論文 参考訳(メタデータ) (2025-03-04T13:30:06Z) - AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。
AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。
我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2025-02-24T02:11:52Z) - Do We Need to Verify Step by Step? Rethinking Process Supervision from a Theoretical Perspective [59.61868506896214]
標準的なデータカバレッジの仮定では、強化学習はプロセスの監督よりも統計的に難しいものではない。
任意のポリシーの利点関数が最適なプロセス報酬モデルとして機能することを証明する。
論文 参考訳(メタデータ) (2025-02-14T22:21:56Z) - TrustOps: Continuously Building Trustworthy Software [42.81677042059531]
我々は、新しい信頼モデルを作成するには、ソフトウェア開発と運用の間に検証可能な証拠を集める必要があると論じる。
ソフトウェアライフサイクルのすべてのフェーズにおいて、検証可能な証拠を継続的に収集するアプローチであるTrustOpsを紹介します。
論文 参考訳(メタデータ) (2024-12-04T10:41:01Z) - CI/CD Configuration Practices in Open-Source Android Apps: An Empirical Study [0.1433758865948252]
2,564のAndroidアプリで,継続的インテグレーションと継続的デリバリのプラクティスに関する実証的研究を行います。
プロジェクトやサービス間で共通性や標準が欠如していることが、複雑なYML構成につながります。
我々の研究は、モバイルアプリケーションのCI/CDプロセスを改善するための自動化とAIツールの必要性を強調している。
論文 参考訳(メタデータ) (2024-11-09T05:46:43Z) - Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。
提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。
実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文 参考訳(メタデータ) (2024-10-30T17:35:44Z) - Adoption and Adaptation of CI/CD Practices in Very Small Software Development Entities: A Systematic Literature Review [0.0]
本研究は、ソフトウェア開発における極小エンティティ(VSE)における継続的インテグレーションと継続的デリバリ(CI/CD)プラクティスの導入に関する体系的なレビューを示す。
この研究は、一般的なCI/CDプラクティスを特定し、VSEの特定の制限を特徴づけ、これらのプラクティスを小規模環境に適用するための戦略を探求する13の研究を分析している。
論文 参考訳(メタデータ) (2024-09-29T04:43:15Z) - A Developer-Centric Study Exploring Mobile Application Security Practices and Challenges [10.342268145364242]
本研究では,開発者がアプリを保護する上で直面する共通プラクティスと課題について検討する。
この結果から,開発者は認証やセキュアストレージなどの機能を頻繁に実装し,セキュリティに重きを置いていることがわかった。
私たちは、セキュリティプラクティスの改善、より良い設計ツールとリソース、より効果的なトレーニングプログラムに繋がる私たちの発見を想像します。
論文 参考訳(メタデータ) (2024-08-16T22:03:06Z) - Practitioners' Challenges and Perceptions of CI Build Failure Predictions at Atlassian [9.781790288871]
我々は、Atlassianの製品開発全体にわたるCIビルドの失敗を調査する実証的研究について報告する。
私たちの定量的分析では、リポジトリの寸法がCIビルドの失敗に影響を及ぼす重要な要因であることが分かりました。
私たちは、CIビルド予測がCIビルドの失敗に対する積極的な洞察を提供するだけでなく、チームの意思決定を促進することができることに気づきました。
論文 参考訳(メタデータ) (2024-02-15T01:28:18Z) - Learning Interpretable Policies in Hindsight-Observable POMDPs through
Partially Supervised Reinforcement Learning [57.67629402360924]
本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。
PSRLの中心は、教師なし学習と教師なし学習の融合である。
PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-14T16:23:23Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
論文 参考訳(メタデータ) (2024-01-24T01:51:00Z) - Deep Reinforcement Learning Empowered Activity-Aware Dynamic Health
Monitoring Systems [69.41229290253605]
既存のモニタリングアプローチは、医療機器が複数の健康指標を同時に追跡するという前提で設計されている。
これは、その範囲内で関連するすべての健康値を報告し、過剰なリソース使用と外部データの収集をもたらす可能性があることを意味します。
最適なモニタリング性能とコスト効率のバランスをとるための動的アクティビティ・アウェアヘルスモニタリング戦略(DActAHM)を提案する。
論文 参考訳(メタデータ) (2024-01-19T16:26:35Z) - The Impact of a Continuous Integration Service on the Delivery Time of
Merged Pull Requests [8.108605385023939]
私たちは、CIサービス(TravisCI)を採用することで、統合されたPRを提供する時間を短縮できるかどうか調査する。
当社の結果から,CIサービスの採用がマージPRのデリバリを迅速化するとは限らないことが分かる。
CIが提供する自動化と開発者の自信の向上は、CIサービスを採用する上で重要なメリットである。
論文 参考訳(メタデータ) (2023-05-25T10:59:35Z) - Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。
目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。
本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
論文 参考訳(メタデータ) (2022-09-10T19:04:40Z) - Predictive Coding for Locally-Linear Control [92.35650774524399]
高次元観測と未知のダイナミクスは、多くの実世界の意思決定タスクに最適な制御を適用する際に大きな課題である。
Learning Controllable Embedding (LCE)フレームワークは、観測結果を低次元の潜伏空間に埋め込むことによって、これらの課題に対処する。
理論的には、明示的な次観測予測を予測符号化に置き換えることが可能である。
論文 参考訳(メタデータ) (2020-03-02T18:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。