論文の概要: Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study
- arxiv url: http://arxiv.org/abs/2607.03174v1
- Date: Fri, 03 Jul 2026 10:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.543422
- Title: Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study
- Title(参考訳): LLMに基づくソフトウェア多様性の信頼性向上効果に関する実証的研究
- Abstract要約: 従来のソフトウェアの多様性は、複数の実装とそれに対応するバリデーション、メンテナンス、デプロイメントの労力を必要とするため、入手するのにコストがかかる。
LLM(Large Language Models)の最近の進歩は、これを変えるかもしれない。
LLMは、異なるモデル、デコード設定、プログラミング言語で同じ仕様の候補実装を迅速に作成する。
- 参考スコア(独自算出の注目度): 2.6342357827983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software diversity has been extensively studied as a means of reducing the risk of common-mode failures. Classic work showed that the central issue is whether failures of diversely redundant components overlap in ways that limit the reliability gains. Traditional software diversity is costly to obtain, since it requires multiple implementations as well as the corresponding validation, maintenance, and deployment effort. Recent advances in Large Language Models (LLMs) may change this. LLMs enable inexpensive code generation: they produce many candidate implementations of the same specification quickly, across different models, decoding settings, and programming languages. This raises a natural question: can LLMs serve as practical generators of software diversity, and how much reliability improvement can that diversity actually provide? In this paper, we extend classical empirical studies of software diversity in human-written programs to LLM-generated code. We study three specifications using both historical human-written programs and large pools of LLM-generated ones evaluated under a common compilation, sandboxing, and exhaustive test suite. We explore LLM diversity along multiple axes, including model family, generation temperature, and programming language. Reliability improvement is evaluated in a 1-out-of-2 configuration across both homogeneous and heterogeneous program populations, including within-LLM pairings and pairings across programming languages and across LLM-generated and human-written programs. The results show that combining LLM-generated programs, especially in heterogeneous settings, can yield reliability gains, although this is partly conditioned by the programming language and generation setting. Taken together, these findings suggest that LLMs provide a scalable source of comparatively low-cost programs whose diversity can be leveraged for reliability improvement.
- Abstract(参考訳): ソフトウェア多様性は、共通モード障害のリスクを低減する手段として、広く研究されている。
古典的な研究は、様々な冗長なコンポーネントの障害が信頼性の向上を制限する方法で重複しているかどうかが中心的な課題であることを示した。
従来のソフトウェアの多様性は、複数の実装とそれに対応するバリデーション、メンテナンス、デプロイメントの労力を必要とするため、入手するのにコストがかかる。
LLM(Large Language Models)の最近の進歩は、これを変えるかもしれない。
LLMは安価なコード生成を可能にし、異なるモデル、デコード設定、プログラミング言語で同じ仕様の多くの候補実装を迅速に作成する。
LLMはソフトウェア多様性の実践的なジェネレータとして機能し、その多様性が実際にどの程度の信頼性向上を提供できるのか?
本稿では,人間の書き起こしプログラムにおけるソフトウェア多様性に関する古典的実証的研究をLLM生成コードに拡張する。
従来の人書きプログラムとLLM生成プログラムの大きなプールの両方を用いて,共通コンパイル,サンドボックス,徹底的なテストスイートで評価した3つの仕様について検討した。
モデルファミリ,生成温度,プログラム言語など,複数の軸に沿ったLCMの多様性について検討する。
信頼性の向上は、LLM内ペアリングやプログラミング言語間のペアリングを含む、同種プログラムと異種プログラムの両方にまたがる1-out-of-2構成で評価される。
その結果,LLM生成プログラムの組み合わせ,特に不均一な設定では,プログラム言語と生成設定によって部分的に条件付けられているにも関わらず,信頼性の向上が期待できることがわかった。
これらの結果から,LCMは信頼性向上に多様性を活用可能な比較的低コストなプログラムのスケーラブルなソースを提供することが示唆された。
関連論文リスト
- Transformer-Assisted LLM-Based Source Code Summarisation: to Enable More Secure Software Development [3.4912596012054316]
Neural Source Code Summarisation (NSCS)は、開発者のコードに対する理解を改善するために、ソースコードの自然言語要約を生成することを目的としている。
本稿では,トランスフォーマー生成サマリーをインタプリタエンジニアリングに組み込むことで,LLMがより優れたソースコードサマリーを作成できることを示す。
論文 参考訳(メタデータ) (2026-07-23T05:27:24Z) - Code Fingerprints: Disentangled Attribution of LLM-Generated Code [7.515488307576106]
生成したコードに責任を負うソースLLMを決定することを目的とした,モデルレベルのコード属性の問題について検討する。
本稿では、ソース非依存のセマンティック情報とソース-特異なスタイル表現を分離するDisentangled Code Attribution Network (DCAN)を提案する。
4つのプログラミング言語で広く使われている4つの大規模言語モデル(LLM)が生成するコードからなる,最初の大規模ベンチマークデータセットを構築した。
論文 参考訳(メタデータ) (2026-03-04T15:58:36Z) - SLMFix: Leveraging Small Language Models for Error Fixing with Reinforcement Learning [39.94602104823846]
大規模言語モデル(LLM)は、構文的エラーを含むプログラムを生成し、与えられたタスクを完了できない。
本研究では、強化学習(RL)技術を用いて微調整された小言語モデル(SLM)を利用する新しいコード生成パイプラインであるSLMFixを提案する。
論文 参考訳(メタデータ) (2025-11-24T18:56:47Z) - CoDet-M4: Detecting Machine-Generated Code in Multi-Lingual, Multi-Generator and Multi-Domain Settings [32.72039589832989]
大規模言語モデル(LLM)はコード生成に革命をもたらし、プログラミングを驚くほどの効率で自動化した。
これらの進歩はプログラミングのスキル、倫理、評価の整合性に挑戦し、説明責任と標準を維持するのに欠かせないLCM生成コードを検出する。
複数のプログラミング言語、コードジェネレータ、ドメインにまたがる人間とLLMで書かれたコードを区別できるフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-17T21:41:37Z) - When One LLM Drools, Multi-LLM Collaboration Rules [98.71562711695991]
私たちは、データ、スキル、人々の幅広い多様性を表現するために、マルチLLMコラボレーションを議論しています。
既存のマルチLLM協調手法を,アクセスレベルと情報交換レベルに基づいて階層構造に整理する。
コンポジションインテリジェンスとコラボレーティブAI開発への不可欠な道として,マルチLLMコラボレーションを構想する。
論文 参考訳(メタデータ) (2025-02-06T21:13:44Z) - Multi-Programming Language Sandbox for LLMs [78.99934332554963]
大規模言語モデル(LLM)用のコンパイラと分析ツールから統一的で包括的なフィードバックを提供するように設計された、アウト・オブ・ザ・ボックスのマルチプログラミング言語サンドボックス
コードのプログラミング言語を自動的に識別し、独立したサブサンドボックス内でコンパイルして実行することで、安全性と安定性を確保することができる。
論文 参考訳(メタデータ) (2024-10-30T14:46:43Z) - Multi-Programming Language Ensemble for Code Generation in Large Language Model [5.882816711878273]
大規模言語モデル(LLM)は、特にワンパスコード生成において、コード生成を大幅に改善した。
既存のアプローチのほとんどは、単一のプログラミング言語でコードを生成することだけに重点を置いており、LLMの多言語機能を活用する可能性を見越している。
本稿では,複数の言語にまたがるコード生成を利用して全体的な性能を向上させる,新しいアンサンブルに基づくMulti-Programming Language Ensemble (MPLE)を提案する。
論文 参考訳(メタデータ) (2024-09-06T08:31:18Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。
具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。
LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文 参考訳(メタデータ) (2023-02-16T18:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。