論文の概要: Relative Code Comprehensibility Prediction

• arxiv url: http://arxiv.org/abs/2510.03474v1
• Date: Fri, 03 Oct 2025 19:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.062236
• Title: Relative Code Comprehensibility Prediction
• Title（参考訳）: 相対的コード理解度予測
• Authors: Nadeeshan De Silva, Martin Kellogg, Oscar Chaparro,
• Abstract要約: 本研究では,機械学習による絶対的および相対的コード理解率予測の有効性の評価と比較を行う。 その結果, 絶対的理解度モデルでは, 最低でも33.4%改善し, 性能が低下することが示唆された。 相対的理解度モデルは大幅に改善され、平均的な改善は137.8%と74.7%である。
• 参考スコア（独自算出の注目度）: 5.123298347655088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatically predicting how difficult it is for humans to understand a code snippet can assist developers in tasks like deciding when and where to refactor. Despite many proposed code comprehensibility metrics, studies have shown they often correlate poorly with actual measurements of human comprehensibility. This has motivated the use of machine learning models to predict human comprehensibility directly from code, but these models have also shown limited accuracy. We argue that model inaccuracy stems from inherent noise in human comprehensibility data, which confuses models trained to predict it directly. To address this, we propose training models to predict the relative comprehensibility of two code snippets - that is, predicting which snippet a human would find easier to understand without predicting each snippet's comprehensibility in isolation. This mitigates noise in predicting 'absolute' comprehensibility measurements, but is still useful for downstream software-engineering tasks like assessing whether refactoring improves or hinders comprehensibility. We conducted a study to assess and compare the effectiveness of absolute and relative code comprehensibility prediction via machine learning. We used a dataset of 150 Java code snippets and 12.5k human comprehensibility measurements from prior user studies, comparing the models' performance with naive baselines (eg 'always predict the majority class'). Our findings indicate that absolute comprehensibility models improve over the baselines by at most 33.4% and frequently underperform. In contrast, relative comprehensibility models are substantially better, with average improvements of 137.8% and 74.7% for snippet-wise and developer-wise prediction, respectively. These results suggest that relative comprehensibility models learn more effectively from the data, supporting their practical applicability for downstream SE tasks.
• Abstract（参考訳）: 人間がコードスニペットを理解するのがどれほど難しいかを自動的に予測することは、開発者がいつどこでリファクタリングするかを決めるのに役立つ。 多くのコード理解度指標が提案されているが、人間の理解度の実測値と相関性は低いことが研究で示されている。 これは、コードから直接人間の理解性を予測するための機械学習モデルの使用を動機付けているが、これらのモデルは精度も制限されている。 モデル不正確性は、人間の理解可能性データに固有のノイズが原因であり、それを直接予測するために訓練されたモデルを混乱させる、と我々は主張する。 そこで本研究では,2つのコードスニペットの相対的理解度を予測するトレーニングモデルを提案する。 これは、"絶対的"理解度の測定を予測するノイズを緩和するが、リファクタリングが改善するか、あるいは理解度を妨げているかを判断するといった、下流のソフトウェアエンジニアリングタスクには、依然として有用である。 本研究では,機械学習による絶対的および相対的コード理解率予測の有効性の評価と比較を行った。 150のJavaコードスニペットと12.5kの人間の理解度測定のデータセットを使用して、モデルのパフォーマンスを単純なベースライン("常に多数派を予測する"など)と比較しました。 その結果, 絶対的理解度モデルでは, 最低でも33.4%改善し, 性能が低下することが示唆された。 対照的に、相対的理解度モデルは大幅に改善されており、平均的な改善はスニペットワイドとディベロッパーワイドの予測でそれぞれ137.8%と74.7%である。 これらの結果から, 相対的理解性モデルはデータからより効果的に学習し, 下流SEタスクの実践的適用性をサポートすることが示唆された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• A Lightweight Generative Model for Interpretable Subject-level Prediction [0.07989135005592125]
  本稿では,本質的に解釈可能な単一対象予測手法を提案する。 実験により、結果のモデルを効率よく逆転させ、正確な主観レベルの予測を行うことが示されている。
  論文  参考訳（メタデータ） (2023-06-19T18:20:29Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• On the Lack of Robust Interpretability of Neural Text Classifiers [14.685352584216757]
  本研究では,事前学習したトランスフォーマーエンコーダをベースとしたニューラルテキスト分類器の解釈の堅牢性を評価する。 どちらのテストも、期待された行動から驚くほど逸脱しており、実践者が解釈から引き出す可能性のある洞察の程度について疑問を呈している。
  論文  参考訳（メタデータ） (2021-06-08T18:31:02Z)
• A framework for predicting, interpreting, and improving Learning Outcomes [0.0]
  本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。 ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
  論文  参考訳（メタデータ） (2020-10-06T11:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。