Fugu-MT 論文翻訳(概要): Beyond Trusting Trust: Multi-Model Validation for Robust Code Generation

論文の概要: Beyond Trusting Trust: Multi-Model Validation for Robust Code Generation

arxiv url: http://arxiv.org/abs/2502.16279v1
Date: Sat, 22 Feb 2025 16:24:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:59:40.100657
Title: Beyond Trusting Trust: Multi-Model Validation for Robust Code Generation
Title（参考訳）: 信頼を超えた信頼:ロバストコード生成のためのマルチモデル検証
Authors: Bradley McDanel,
Abstract要約: 本稿では,トンプソンの「信頼の振り返り」とLLMベースのコード生成における現代の課題の類似性について考察する。本稿では,複数の独立モデルを用いて異常なコードパターンを検出するアンサンブルに基づく検証手法を提案する。
参考スコア（独自算出の注目度）: 0.3626013617212667
License:
Abstract: This paper explores the parallels between Thompson's "Reflections on Trusting Trust" and modern challenges in LLM-based code generation. We examine how Thompson's insights about compiler backdoors take on new relevance in the era of large language models, where the mechanisms for potential exploitation are even more opaque and difficult to analyze. Building on this analogy, we discuss how the statistical nature of LLMs creates novel security challenges in code generation pipelines. As a potential direction forward, we propose an ensemble-based validation approach that leverages multiple independent models to detect anomalous code patterns through cross-model consensus. This perspective piece aims to spark discussion about trust and validation in AI-assisted software development.
Abstract（参考訳）: 本稿では,トンプソンの「信頼の振り返り」とLLMベースのコード生成における現代の課題の類似性について考察する。我々は,コンパイラのバックドアに関するトンプソンの知見が,潜在的利用のメカニズムがさらに不透明で解析が難しい大規模言語モデルの時代において,どのように新たな関係性を持つかを検討する。この類似性に基づいて、LLMの統計的性質が、コード生成パイプラインにおける新しいセキュリティ課題をいかに生み出すかについて議論する。今後の方向性として,複数の独立モデルを利用したアンサンブルに基づく検証手法を提案し,モデル間コンセンサスによる異常なコードパターンの検出を行う。このパースペクティブは、AI支援ソフトウェア開発における信頼とバリデーションに関する議論を喚起することを目的としている。

関連論文リスト

On the Trustworthiness of Generative Foundation Models: Guideline, Assessment, and Perspective [314.7991906491166]
Generative Foundation Models (GenFMs) がトランスフォーメーションツールとして登場した。彼らの広く採用されていることは、次元の信頼に関する重要な懸念を提起する。本稿では,3つの主要なコントリビューションを通じて,これらの課題に対処するための包括的枠組みを提案する。
論文参考訳（メタデータ） (2025-02-20T06:20:36Z)
Trust Calibration in IDEs: Paving the Way for Widespread Adoption of AI Refactoring [5.342931064962865]
大規模言語モデル(LLM)は、AIアシストを通じて前例のない規模で言語を改善するための新しいアプローチを提供する。 LLMには、ブレーキ変更やセキュリティ脆弱性の導入など、固有のリスクがある。私たちは、IDE内のモデルとのインタラクションをカプセル化し、信頼できるセーフガードを使った試みを検証することを提唱します。本稿では、自動化における人的要因の研究から確立されたモデルに基づいて、今後の課題を位置づける。我々は,(1)新しい安全ガードの開発,(2)適切な信頼度を伝達するユーザインタラクションに関するCodeScene内のアクション研究の概要を概説する。
論文参考訳（メタデータ） (2024-12-20T14:44:11Z)
LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
論文参考訳（メタデータ） (2024-12-11T18:59:33Z)
Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations [48.07182711678573]
ASTrustは、モデル信頼度とプログラミング言語の構文構造の関係に基づく説明を生成する。 ASTからの構文構造のシーケンス, 熱マップ, グラフに基づく可視化を重畳した, モデル信頼度スコアを自動可視化する。
論文参考訳（メタデータ） (2024-07-12T04:38:28Z)
Validating LLM-Generated Programs with Metamorphic Prompt Testing [8.785973653167112]
大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルにますます統合されています。本稿では,これらの課題に対処するため,メタモルフィック・プロンプト・テストと呼ばれる新しい手法を提案する。我々のHumanEvalに対する評価は,GPT-4が生成する誤プログラムの75%を,偽陽性率8.6%で検出できることを示す。
論文参考訳（メタデータ） (2024-06-11T00:40:17Z)
Evaluation of large language models for assessing code maintainability [4.2909314120969855]
10種類の異なるモデルによって生成されたコードのクロスエントロピーと品質面の関係について検討する。この結果から,LLMが計算したクロスエントロピーは,クラスレベルでの保守性の予測因子であることがわかった。 LLMの複雑さはクロスエントロピーの範囲に影響を与えるが、これは保守性の側面を予測する上で重要な役割を果たす。
論文参考訳（メタデータ） (2024-01-23T12:29:42Z)
Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文参考訳（メタデータ） (2023-10-10T14:56:26Z)
Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文参考訳（メタデータ） (2023-08-07T18:50:57Z)
Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-07-31T10:22:33Z)
CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。