Fugu-MT 論文翻訳(概要): Back to the Future: Regressing Readability Features from LLMs

論文の概要: Back to the Future: Regressing Readability Features from LLMs

arxiv url: http://arxiv.org/abs/2610.04641v1
Date: Sat, 03 Oct 2026 16:31:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-11 18:09:38.887054
Title: Back to the Future: Regressing Readability Features from LLMs
Title（参考訳）: Back to the Future: LLMからの可読性機能の回帰
Abstract要約: 情報理論と線形回帰のペアであるBTTF(Back To The Future)を紹介する。言語モデルをブラックボックスの裁判官として使うのではなく、BTTFは測定器として使用する。従来のコード計測、埋め込みベースのセマンティック組織、ソース構造をキャプチャするための因果-LM予測能力を組み合わせたものだ。
参考スコア（独自算出の注目度）: 3.0619662678353348
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Code readability supports software understanding, review, and maintenance. As AI coding agents become more widely used, readable code helps both humans review agent-generated output and agents maintain code within limited context windows. Yet existing readability models do not consistently agree with human judgements across datasets. We introduce BTTF (Back To The Future), pairing linear regression with information-theoretic features. Rather than using language models as black-box judges, BTTF uses them as measurement instruments. It combines traditional code measurements, embedding-based semantic organisation, and causal-LM predictability to capture source structure, semantic coherence, and contextual surprise. We evaluate BTTF on five publicly available human-rated readability benchmarks and our manually annotated MBJP development set, totalling 1,100 samples. BTTF improves average Spearman correlation over the strongest baseline by up to 0.101. Across 13 controlled readability-reducing transformations on production code, it achieves response rates of 93.8% in Java and 87.6% in Python, outperforming Dorn by 14% and 19.2%. It performs best among local models and trails the strongest cloud-LLM response by 1.7% in Java and 5.1% in Python. The direct-LLM baselines require an average of 1,083 prompt tokens per evaluation while remaining opaque. BTTF combines state-of-the-art benchmark performance and strong transformation robustness with feature-granular interpretability: every feature coefficient matches its theoretical directional effect across all evaluated model configurations.
Abstract（参考訳）: コードの可読性は、ソフトウェア理解、レビュー、メンテナンスをサポートする。 AIコーディングエージェントがより広く使われるようになると、可読性のあるコードは、エージェントが生成した出力を人間がレビューし、エージェントが限られたコンテキストウィンドウ内でコードを維持するのに役立つ。しかし、既存の可読性モデルはデータセット間の人間の判断に一貫して一致しない。情報理論と線形回帰のペアであるBTTF(Back To The Future)を紹介する。言語モデルをブラックボックスの裁判官として使うのではなく、BTTFは測定器として使用する。従来のコード計測、埋め込みベースのセマンティック組織、ソース構造、セマンティックコヒーレンス、コンテキストサプライズをキャプチャする因果-LM予測能力を組み合わせたものだ。 BTTFを一般公開された5つのヒト評価可読性ベンチマークと手動注釈付きMBJP開発セットで評価し,合計1,100個のサンプルを得た。 BTTFは最強のベースラインに対する平均スピアマン相関を0.101まで改善する。実運用コードの可読性低減変換を13回にわたってコントロールし、Javaで93.8%、Pythonで87.6%のレスポンス率を達成し、Dornを14%、そして19.2%で上回った。ローカルモデルの中で最高のパフォーマンスを示し、Javaでは1.7%、Pythonでは5.1%という最強のクラウド-LLMレスポンスを辿る。直接LLMベースラインは、不透明なまま、評価毎に平均1,083のプロンプトトークンを必要とする。 BTTFは、最先端のベンチマーク性能と強力な変換堅牢性と特徴粒度解釈可能性を組み合わせる。

関連論文リスト

Benchmarking LLMs for Verilog Design Flows [6.24010225101442]
大規模言語モデル(LLM)は、コード生成において有望であるが、正しい合成可能なハードウェア記述言語(HDL)コードを生成する能力は、まだ適切にベンチマークされている。本稿では,Verilog RTL 生成におけるオープンソース LLM の評価を行う再現可能なベンチマークプラットフォームを提案する。このパイプラインは構文の妥当性を0%から70.43%に改善し、シミュレーションパスレートは3つのオープンソースモデルで51.8%に向上した。
論文参考訳（メタデータ） (2026-07-23T21:00:38Z)
Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
論文参考訳（メタデータ） (2026-05-26T23:02:38Z)
DiffScore: Text Evaluation Beyond Autoregressive Likelihood [79.18228156703695]
DiffScoreはMasked Large Diffusion Language Models上に構築された評価フレームワークである。 DiffScoreは、連続マスキングレートでテキストの回復可能性を測定することで、位置バイアスを排除している。 10のベンチマークでの実験によると、DiffScoreはゼロショットと微調整の両方で自動回帰ベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-05-12T06:27:36Z)
How Code Representation Shapes False-Positive Dynamics in Cross-Language LLM Vulnerability Detection [8.360057179027322]
言語間の脆弱性検出において、コード表現形式がどのように偽陽性行動を形成するかは、まだ理解されていない。学習時間と推論時間の両方で、原文と刈り取られた抽象構文木を比較し、学習強度とコード表現形式を体系的に変化させる。言語間のFPRは、トレーニング時間と推論時間の両方の表現の合同効果を反映している。
論文参考訳（メタデータ） (2026-04-30T11:01:03Z)
On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation [4.065344017083881]
CodeBERTScoreのような埋め込みベースのメトリクスを使って、機能的正確性や編集作業などの有用な構造を計測する能力を分析します。その結果,機能的正当性(0.16)との相関は弱いものの,編集作業と強く相関している(0.72)ことがわかった。
論文参考訳（メタデータ） (2024-04-26T15:54:39Z)
Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文参考訳（メタデータ） (2023-07-13T17:14:38Z)
INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文参考訳（メタデータ） (2023-05-23T17:27:22Z)
T5Score: Discriminative Fine-tuning of Generative Evaluation Metrics [94.69907794006826]
我々は、現在利用可能なデータから、教師なし信号と教師なし信号の両方を用いて、両方の世界のベストを結合するフレームワークを提案する。このアイデアを,mT5をバックボーンとするトレーニング信号を使用するメトリックであるT5Scoreをトレーニングすることで,運用する。 T5Scoreは、セグメントレベルの既存のトップスコアメトリクスに対して、すべてのデータセットで最高のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-12-12T06:29:04Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。