論文の概要: Reasoning Distillation for Lightweight Automated Program Repair
- arxiv url: http://arxiv.org/abs/2601.10987v1
- Date: Fri, 16 Jan 2026 04:34:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.357491
- Title: Reasoning Distillation for Lightweight Automated Program Repair
- Title(参考訳): 軽量自動プログラム修復のための推論蒸留法
- Authors: Aanand Balasubramanian, Sashank Silwal,
- Abstract要約: 本研究は,コンパクトなプログラム修復モデルにおいて,軽量なシンボリック推論監督が修正型分類を改善することができるかどうかを考察する。
本研究では,大規模な教師モデルが固定型ラベルとともに構造化された記号推論タグを提供する推論蒸留手法を提案する。
この結果から, シンボリック推論蒸留は, 軽量プログラム修復モデルにおける解釈可能性, 堅牢性を向上させるための実用的方法であることが示唆された。
- 参考スコア(独自算出の注目度): 0.1988145627448243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study whether lightweight symbolic reasoning supervision can improve fix type classification in compact automated program repair models. Small code models are attractive for resource-constrained settings, but they typically produce only a single prediction, making it unclear whether they learn meaningful program structure or rely on shallow correlations. We propose a reasoning distillation approach in which a large teacher model provides structured symbolic reasoning tags alongside fix-type labels. These tags capture high-level causal properties of bugs without relying on free-form explanations. We train a CodeT5-based student model under label-only and reasoning-distilled settings on the IntroClass benchmark. Reasoning supervision consistently improves macro averaged performance, particularly on less frequent bug categories, without increasing model size or complexity. We further analyze the relationship between reasoning accuracy and fix-type prediction, showing that correct reasoning traces strongly correlate with correct predictions, while not fully determining them. Our results suggest that symbolic reasoning distillation is a practical way to improve interpretability and robustness in lightweight program repair models.
- Abstract(参考訳): 本研究は,コンパクトなプログラム修復モデルにおいて,軽量なシンボリック推論監督が修正型分類を改善することができるかどうかを考察する。
小さなコードモデルはリソース制約のある設定には魅力的だが、通常は単一の予測しか生成しないため、意味のあるプログラム構造を学ぶか、浅い相関に依存するかは不明確である。
本研究では,大規模な教師モデルが固定型ラベルとともに構造化された記号推論タグを提供する推論蒸留手法を提案する。
これらのタグは、フリーフォームの説明に頼ることなく、バグの高レベルの因果特性をキャプチャする。
IntroClassベンチマークでは、ラベルのみおよび推論に精通した設定の下でCodeT5ベースの学生モデルをトレーニングする。
推論の監督は、モデルのサイズや複雑さを増大させることなく、マクロ平均のパフォーマンス、特に頻度の低いバグカテゴリを継続的に改善します。
さらに,正解率と正解率の関係を解析し,正解率と正解率との相関を強く示し,正解率と正解率との関係について検討した。
この結果から, シンボリック推論蒸留は, 軽量プログラム修復モデルにおける解釈可能性, 堅牢性を向上させるための実用的方法であることが示唆された。
関連論文リスト
- Reasoning Pattern Alignment Merging for Adaptive Reasoning [48.347817456299104]
Reasoning Pattern Alignment Merging (RPAM)
RPAMは、クエリ適応推論を容易にする機能アライメントに基づく階層的なモデルマージフレームワークである。
広く使用されている7つの推論ベンチマークの実験により、RPAMは強い性能を維持しながら推論コストを大幅に削減することが示された。
論文 参考訳(メタデータ) (2026-01-07T01:36:39Z) - Generative Classifiers Avoid Shortcut Solutions [84.23247217037134]
分類に対する差別的なアプローチは、しばしば、分配されるが、小さな分布シフトの下で失敗するショートカットを学習する。
生成型分類器は、主にスパイラルな特徴ではなく、コアとスパイラルの両方の全ての特徴をモデル化することでこの問題を回避することができることを示す。
拡散型および自己回帰型生成型分類器は,5つの標準画像およびテキスト分散シフトベンチマークにおいて最先端の性能を実現する。
論文 参考訳(メタデータ) (2025-12-31T18:31:46Z) - The Sweet Danger of Sugar: Debunking Representation Learning for Encrypted Traffic Classification [3.064166155269814]
本稿では、表現学習モデルを利用して交通表現を作成する提案を批判的に再評価する。
Pcap-Encoderは,プロトコルヘッダから特徴を抽出する,LMに基づく表現学習モデルである。
この結果から,データセット作成とモデルトレーニングの欠陥が明らかとなり,より優れた,より意識的なテスト設計が求められた。
論文 参考訳(メタデータ) (2025-07-22T10:32:50Z) - Atomic Reasoning for Scientific Table Claim Verification [83.14588611859826]
非専門家は、その高い情報密度と認識される信頼性のために、科学的表に基づく主張を誤解させるおそれがある。
既存のテーブルクレーム検証モデル、例えば最先端の大規模言語モデル(LLM)は、しばしば精密なきめ細かい推論に苦しむ。
認知負荷理論に触発されて、表に基づく主張を解釈するモデルの能力を高めるには、認知負荷を減らす必要がある。
論文 参考訳(メタデータ) (2025-06-08T02:46:22Z) - ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models [26.544938760265136]
ディープラーニングモデルは、必然的にターゲットと非本質的な特徴の間の急激な相関を学習する。
本稿では,グループラベルを必要とせず,新たなポストホックスプリアスバイアス緩和フレームワークを提案する。
我々のフレームワークであるShortcutProbeは、与えられたモデルの潜在空間における予測の非破壊性を反映した予測ショートカットを識別する。
論文 参考訳(メタデータ) (2025-05-20T04:21:17Z) - Single-weight Model Editing for Post-hoc Spurious Correlation Neutralization [54.8794775172033]
ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。
これらの特徴のいくつかは、ターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。
本稿では,一重の修正を行なえる独特な厳密なクラス除去手法を提案する。
論文 参考訳(メタデータ) (2025-01-24T02:22:42Z) - Using Early Readouts to Mediate Featural Bias in Distillation [30.5299408494168]
ディープネットワークは、現実世界の教師付き学習タスクにおいて、突発的な特徴ラベル相関を学習する傾向がある。
本稿では,従来のネットワーク層からの表現を用いてラベルを予測しようとする新しい早期読み出し機構を提案する。
論文 参考訳(メタデータ) (2023-10-28T04:58:15Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳(メタデータ) (2022-06-22T17:02:01Z) - Structured Prediction with Partial Labelling through the Infimum Loss [85.4940853372503]
弱い監督の目標は、収集コストの安いラベル付け形式のみを使用してモデルを学習できるようにすることである。
これは、各データポイントに対して、実際のものを含むラベルのセットとして、監督がキャストされる不完全なアノテーションの一種です。
本稿では、構造化された予測と、部分的なラベリングを扱うための無限損失の概念に基づく統一的なフレームワークを提供する。
論文 参考訳(メタデータ) (2020-03-02T13:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。