論文の概要: From Metrics to Improvement: A Lifecycle-Aware LLM Feedback Framework for Research Software Quality

• arxiv url: http://arxiv.org/abs/2608.23118v1
• Date: Mon, 24 Aug 2026 11:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.998759
• Title: From Metrics to Improvement: A Lifecycle-Aware LLM Feedback Framework for Research Software Quality
• Title（参考訳）: メトリクスから改善へ - 研究ソフトウェア品質のためのライフサイクル対応LLMフィードバックフレームワーク
• Abstract要約: 研究ソフトウェアは、ソフトウェア工学の専門知識が限られている研究者によってしばしば開発される。 これは、メンテナンス性、再利用性、持続可能性を妨げる品質上の問題を引き起こす可能性がある。 本稿では,Large Language Model (LLM) に基づくコード修正と,定量的ソフトウェア品質評価を統合したライフサイクル認識フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.460186703921934
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Research software is increasingly central to scientific workflows, yet it is often developed by researchers with limited software engineering expertise. This can lead to quality issues that hinder maintainability, reproducibility, reuse, and sustainability. Existing static analysis tools can identify such issues, but their outputs often require expert interpretation and provide limited support for translating quality assessments into actionable improvements. To address this gap, we propose a lifecycle-aware framework that integrates quantitative software quality assessment with Large Language Model (LLM)-based code refinement. The framework comprises two stages. First, a lifecycle-aware Quality Model is developed from established software quality standards and practitioner requirements. The model defines five quality dimensions and 25 candidate metrics, of which 14 are operationalized using existing analysis tools and custom measurements. Second, the resulting quality diagnostics are used as structured feedback within an iterative LLM-based refinement process, enabling generated improvements to be repeatedly reassessed against the Quality Model. We evaluate the framework on notebook-centric research software using multiple LLMs and compare iterative structured feedback with single-step feedback and unstructured prompting. The results show improvements in specific quality attributes, particularly code duplication and structural quality, while also revealing trade-offs among maintainability, code size, documentation, and complexity. These findings demonstrate the potential of metric-driven LLM feedback for research software quality improvement while highlighting its inherently multi-objective nature \footnote{The source code and experimental data are publicly available at https://github.com/QCDIS/Software_Quality_Control_LLM . }
• Abstract（参考訳）: 研究ソフトウェアは科学的なワークフローの中心的存在になりつつあるが、ソフトウェア工学の専門知識が限られている研究者によってしばしば開発されている。 これは、メンテナンス性、再現性、再利用性、持続可能性を妨げる品質の問題を引き起こす可能性がある。 既存の静的解析ツールはそのような問題を識別できるが、そのアウトプットは専門家の解釈を必要とし、品質評価を実用的な改善に翻訳するための限定的なサポートを提供する。 このギャップに対処するために,ソフトウェア品質の定量的評価をLLM(Large Language Model)ベースのコード改善と統合するライフサイクルアウェアフレームワークを提案する。 フレームワークは2つのステージから構成される。 まず、ライフサイクルを意識した品質モデルが、確立されたソフトウェア品質標準と実践者の要求から開発されます。 モデルは5つの品質ディメンションと25の候補メトリクスを定義し、そのうち14は既存の分析ツールとカスタム測定を使用して運用されている。 第2に、得られた品質診断は、繰り返しLCMベースの精錬プロセスにおいて構造化されたフィードバックとして使用され、生成した改善を品質モデルに対して繰り返し再評価することができる。 複数のLCMを用いてノートブック中心の研究ソフトウェア上でのフレームワークの評価を行い、反復的な構造化されたフィードバックと単一ステップのフィードバックと非構造化的なプロンプトを比較した。 結果は、特定の品質特性、特にコードの重複と構造的品質の改善に加えて、保守性、コードサイズ、ドキュメント、複雑さのトレードオフを明らかにしている。 これらの結果は,その本質的に多目的性を強調しつつ,研究ソフトウェアの品質向上のためのメトリック駆動LLMフィードバックの可能性を示している。ソースコードと実験データはhttps://github.com/QCDIS/Software_Quality_Control_LLMで公開されている。 ※

関連論文リスト

• Continuous Autonomous Refactoring: A Research Roadmap for AI-Driven Code Quality Maintenance [3.0540716731676625]
  LLMベースのパイプラインは、時々手作業でのみ呼び出されるツールではなく、ソフトウェアメンテナンスの継続的コンポーネントである、と私たちは考えています。 このビジョンの下で、AIエージェントはソフトウェア品質の明示的で進化している概念に対して継続的に監視し、評価し、改善する。
  論文  参考訳（メタデータ） (2026-09-01T13:35:29Z)
• CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants [2.2811622267552014]
  大規模言語モデル(LLM)は、ソフトウェア開発にますます使われている。 LLMベースのコーディング支援のための既存のベンチマークは、高エネルギー物理学と高性能コンピューティングソフトウェアの制約を反映していない。 本稿では,HEP/HPC関連タスクにおけるLLM性能を定量化する,実用的で繰り返し可能なベンチマークを開発する。
  論文  参考訳（メタデータ） (2026-03-01T11:16:50Z)
• Q-REAL: Towards Realism and Plausibility Evaluation for AI-Generated Content [71.46991494014382]
  本稿では,AI生成画像におけるリアリズムと妥当性の詳細な評価のための新しいデータセットであるQ-Realを紹介する。 Q-Realは、人気のあるテキスト・ツー・イメージ・モデルによって生成される3,088のイメージで構成されている。 そこで本研究では,Q-Real Benchを2つの課題,すなわち判断と推論による根拠付けに基づいて評価する。
  論文  参考訳（メタデータ） (2025-11-21T02:43:17Z)
• Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics [3.0540716731676625]
  既存の研究は、生成したコードが品質に合格するかどうかではなく、テストに合格するかどうかに重点を置いている。 本研究は,108論文の体系的レビュー,複数組織の実践者による2つの業界ワークショップ,実世界のソフトウェア問題へのパッチ適用に関する実証分析の3つの相補的な調査を行った。 セキュリティとパフォーマンスの効率が学術的な注目を集めているのに対して、保守性やその他の品質が検討されていることがわかりました。
  論文  参考訳（メタデータ） (2025-11-13T12:56:07Z)
• SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
  ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。 SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。 SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
  論文  参考訳（メタデータ） (2025-11-07T18:01:32Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Automated Validation of LLM-based Evaluators for Software Engineering Artifacts [0.7548538278943616]
  REFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)は、大規模言語モデル(LLM)をベンチマークする自動化フレームワークである。 REFINEは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。 それぞれの候補評価器の構成を、そのランクが期待された順序にどの程度近いかを測定することで定量化する。
  論文  参考訳（メタデータ） (2025-08-04T18:52:01Z)
• CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval [44.39462689088926]
  CoQuIRは、品質を意識したコード検索を評価するために設計された、最初の大規模多言語ベンチマークである。 CoQuIRは、11のプログラミング言語で42,725のクエリと134,907のコードスニペットに対して、きめ細かい品質のアノテーションを提供する。
  論文  参考訳（メタデータ） (2025-05-31T13:00:17Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。