論文の概要: Verifier Warnings Do Not Improve Comprehensibility Prediction

• arxiv url: http://arxiv.org/abs/2604.22653v1
• Date: Fri, 24 Apr 2026 15:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.517694
• Title: Verifier Warnings Do Not Improve Comprehensibility Prediction
• Title（参考訳）: 検証者警告は理解度予測を改善しない
• Authors: Nadeeshan De Silva, Martin Kellogg, Oscar Chaparro,
• Abstract要約: 構文的特徴と開発者の特徴を組み合わせることは、人手によるコードの理解度を予測するのと同じくらい効果的であることを示す。 相関関係は存在するものの,検証器の警告和は限定的な識別力を有していることが示唆された。
• 参考スコア（独自算出の注目度）: 5.123298347655088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proponents of software verification suggest that code simplicity is linked to the effort to verify code, hypothesizing that formal verifiers produce fewer false positive warnings and require less manual intervention when analyzing simpler code. A recent meta-analysis study found empirical support for this hypothesis: a small correlation between the sum of verifier warnings and human-derived code comprehensibility metrics. Based on this finding, we conjectured that using the sum of verifier tool (verifier) warnings to represent program semantic information as an input feature to machine learning (ML) models for code comprehensibility prediction can enhance their performance, when combined with traditional syntactic and developer features. To test this conjecture, we performed a control-treatment experiment incorporating the verifier warning sum feature into machine learning models from the literature, and conducted a comparative analysis of their performance against models trained only on syntactic and developer features. We found no significant difference in the prediction performance of models with and without the warnings feature. Our findings suggest that while a correlation exists, the verifier warning sum offers limited discriminative power: combining syntactic and developer features is just as effective for predicting human-judged code comprehensibility.
• Abstract（参考訳）: ソフトウェア検証の支持者は、コードの単純さはコード検証の努力と結びついており、形式的検証は偽陽性の警告を少なくし、単純なコードを分析する際に手作業による介入を少なくする、と仮説を立てている。 最近のメタ分析研究は、検証者警告の総和と人間由来のコード理解度メトリクスとの小さな相関という、この仮説に対する実証的な支持を発見した。 この結果から,プログラム意味情報を入力特徴として表現するための検証ツール(検証ツール)警告の総和を用いて,コード理解度予測のための機械学習(ML)モデルが,従来の構文や開発者の機能と組み合わせることで,その性能を向上させることができると推測した。 この仮説を検証するために,文献から得られた機械学習モデルに検証器警告和機能を組み込んだ制御処理実験を行い,構文的・開発的特徴のみを訓練したモデルに対して,それらの性能の比較分析を行った。 警告機能のないモデルでは,予測性能に有意な差は認められなかった。 相関性はあるものの、検証器警告和は限定的な識別力を提供しており、構文的特徴と開発者の特徴を組み合わせることは、人間のジャッジドコードの理解度を予測するのと同じくらい効果的である。

関連論文リスト

• Evaluating Line-level Localization Ability of Learning-based Code Vulnerability Detection Models [9.543689542888599]
  脆弱性検出のための説明可能性に基づく評価手法を提案する。 提案手法は検出アライメント(DA)として定義され,入力されたソースコード間の一致を定量化する。 このようなモデルの予測は、常に非負の線に偏っていることを示す。
  論文  参考訳（メタデータ） (2025-10-13T09:34:40Z)
• Relative Code Comprehensibility Prediction [5.123298347655088]
  本研究では,機械学習による絶対的および相対的コード理解率予測の有効性の評価と比較を行う。 その結果, 絶対的理解度モデルでは, 最低でも33.4%改善し, 性能が低下することが示唆された。 相対的理解度モデルは大幅に改善され、平均的な改善は137.8%と74.7%である。
  論文  参考訳（メタデータ） (2025-10-03T19:51:43Z)
• Towards Automated Error Discovery: A Study in Conversational AI [48.735443116662026]
  本稿では,会話型AIにおけるエラーの検出と定義のためのフレームワークであるAutomated Error Discoveryを紹介する。 また,その実装に対するエンコーダに基づくアプローチとして,SEEED(Soft Clustering Extended-Based Error Detection)を提案する。
  論文  参考訳（メタデータ） (2025-09-13T14:53:22Z)
• On the Relationship between Code Verifiability and Understandability [2.5728707125824735]
  ソフトウェア検証の支持者は、より単純なコードは検証し易いと主張した。 我々は,Javaコードの211スニペット上で,最先端の4つの検証ツールが生成する警告数と,対象者からのコード理解度に関する20の指標を比較した。
  論文  参考訳（メタデータ） (2023-10-31T03:54:35Z)
• Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers [6.662800021628275]
  本稿では,特徴の学習効果をモデルで予測し,特徴がラベルに与える影響を推定するアルゴリズムを提案する。 毒性とIMDBレビューデータセットについて、提案アルゴリズムは、突発的な相関を最小化し、マイノリティグループを改善する。
  論文  参考訳（メタデータ） (2023-05-26T12:15:54Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。