論文の概要: Mining Action Rules for Defect Reduction Planning

• arxiv url: http://arxiv.org/abs/2405.13740v1
• Date: Wed, 22 May 2024 15:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:35:03.855965
• Title: Mining Action Rules for Defect Reduction Planning
• Title（参考訳）: 欠陥低減計画におけるマイニング行動ルール
• Authors: Khouloud Oueslati, Gabriel Laberge, Maxime Lamothe, Foutse Khomh,
• Abstract要約: ブラックボックスモデルを使わずに欠陥低減計画を生成するための,非実効的アクティオンルールマイニング手法であるCounterACTを導入する。 我々は,9つのソフトウェアプロジェクトにおいて,CounterACTの有効性を,元のアクションルールマイニングアルゴリズムと6つの確立された欠陥低減手法と比較した。 その結果、競合するアプローチと比較して、CounterACTの説明可能なプランはリリースレベルで高いオーバーラップスコアを得ることができた。
• 参考スコア（独自算出の注目度）: 14.40839500239476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Defect reduction planning plays a vital role in enhancing software quality and minimizing software maintenance costs. By training a black box machine learning model and "explaining" its predictions, explainable AI for software engineering aims to identify the code characteristics that impact maintenance risks. However, post-hoc explanations do not always faithfully reflect what the original model computes. In this paper, we introduce CounterACT, a Counterfactual ACTion rule mining approach that can generate defect reduction plans without black-box models. By leveraging action rules, CounterACT provides a course of action that can be considered as a counterfactual explanation for the class (e.g., buggy or not buggy) assigned to a piece of code. We compare the effectiveness of CounterACT with the original action rule mining algorithm and six established defect reduction approaches on 9 software projects. Our evaluation is based on (a) overlap scores between proposed code changes and actual developer modifications; (b) improvement scores in future releases; and (c) the precision, recall, and F1-score of the plans. Our results show that, compared to competing approaches, CounterACT's explainable plans achieve higher overlap scores at the release level (median 95%) and commit level (median 85.97%), and they offer better trade-off between precision and recall (median F1-score 88.12%). Finally, we venture beyond planning and explore leveraging Large Language models (LLM) for generating code edits from our generated plans. Our results show that suggested LLM code edits supported by our plans are actionable and are more likely to pass relevant test cases than vanilla LLM code recommendations.
• Abstract（参考訳）: 欠陥低減計画は、ソフトウェアの品質を高め、ソフトウェアのメンテナンスコストを最小限にする上で重要な役割を担います。 ブラックボックス機械学習モデルをトレーニングし、その予測を"説明"することで、ソフトウェアエンジニアリングのための説明可能なAIは、メンテナンスリスクに影響を与えるコードの特徴を特定することを目指している。 しかし、ポストホックな説明は、オリジナルのモデルが何を計算するかを常に忠実に反映しているわけではない。 本稿では,ブラックボックスモデルを使わずに欠陥低減計画を生成する,非現実的アクティオンルールマイニング手法であるCounterACTを紹介する。 アクションルールを活用することで、CounterACTは、コードの一部に割り当てられたクラス(例えば、バギーまたはバグギーでない)の反ファクト的な説明とみなすことができるアクションのコースを提供する。 我々は,9つのソフトウェアプロジェクトにおいて,CounterACTの有効性を,元のアクションルールマイニングアルゴリズムと6つの確立された欠陥低減手法と比較した。 私たちの評価は (a)提案されたコードの変更と実際の開発者の修正との重複点 b) 今後のリリースにおける改善点,及び (c)計画の正確性、リコール及びF1スコア その結果、競合するアプローチと比較して、CounterACTの説明可能なプランはリリースレベル(95%中)とコミットレベル(85.97%中)で高いオーバーラップスコアを達成し、精度とリコール(88.12%中)のトレードオフが向上した。 最後に、生成した計画からコード編集を生成するために、LLM(Large Language Model)を計画し活用することを超えて検討する。 提案するLPMコード編集は,本計画でサポートされたコード編集が実行可能であり,バニラLLMコードレコメンデーションよりも関連するテストケースをパスする可能性が示唆された。

関連論文リスト

• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• RePair: Automated Program Repair with Process-based Feedback [28.017321930042694]
  本稿では,プロセスの監督とフィードバックによって,小規模言語モデル(LM)が優れたパフォーマンスを実現する方法を示す。 我々は、批評家として機能する報酬モデルを開発し、微調整されたLMの行動に対するフィードバックを提供する。 その結果, プロセスベースでは, より大きな結果に基づく生成方法よりも, クローズドソースの大規模LMの性能にほぼ匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2024-08-21T02:53:23Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Code Revert Prediction with Graph Neural Networks: A Case Study at J.P. Morgan Chase [10.961209762486684]
  コードリバース予測は、コード変更がソフトウェア開発で逆転またはロールバックされる可能性を予測または予測することを目的としている。 コード欠陥検出の以前の方法は、独立した機能に依存していたが、コードスクリプト間の関係を無視していた。 本稿では,コードインポートグラフとコード特徴を統合した,コード逆転予測のための系統的研究について述べる。
  論文  参考訳（メタデータ） (2024-03-14T15:54:29Z)
• DeepCode AI Fix: Fixing Security Vulnerabilities with Large Language Models [3.1690235522182104]
  大規模言語モデル(LLM)は、様々なプログラミングタスクの解決にますます使われている。 長距離コード関係を学習するモデルを必要とするため,タスクは困難であることを示す。 本稿では,LLMのクエリと微調整のための新しいアプローチにより,これらの課題に対処する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:35:40Z)
• Tuning Language Models by Proxy [110.49482736590907]
  直接チューニングと同じ目的を達成するために,ブラックボックスLM上で動作する軽量復号時間アルゴリズムであるプロキシチューニングを導入する。 提案手法は, 小型のLMをチューニングし, 小型のLMと未チューニングのLMの予測の差を適用して, より大型の未チューニングモデルの本来の予測をチューニング方向にシフトさせる。
  論文  参考訳（メタデータ） (2024-01-16T18:49:55Z)
• OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning [15.59540726867483]
  我々は、ガイド付き復号法では、ステップごとの正当性を保証するよりも、不完全推論経路の可能性を評価する方が有利であると主張している。 誘導復号化のための$textitoutcomeの監督が本質的に価値モデルとして機能するという発見に触発されて、アウトカム管理価値モデル(OVM)を提案する。 GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2023-11-16T09:56:28Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。