論文の概要: Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2510.02917v1
- Date: Fri, 03 Oct 2025 11:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.369437
- Title: Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダを用いたLCMにおける符号誤りの機械論的解釈可能性
- Authors: Kriz Tahimic, Charibeth Cheng,
- Abstract要約: スパースオートエンコーダを用いて大規模言語モデルを分解し,コード正当性に対応する方向を特定する。
LLMにおける符号の正当性方向は誤りを確実に予測するのに対して、補正能力は統計的に有意であるが、修正エラーと正しい符号の保存との間にはトレードオフがある。
戦略の推進は、詳細な問題記述よりもテスト例を優先すべきであり、予測器の指示は、開発者レビューのエラーアラームとして機能し、これらの予測器は選択的なステアリングをガイドできる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models become integral to software development, with substantial portions of AI-suggested code entering production, understanding their internal correctness mechanisms becomes critical for safe deployment. We apply sparse autoencoders to decompose LLM representations, identifying directions that correspond to code correctness. We select predictor directions using t-statistics and steering directions through separation scores from base model representations, then analyze their mechanistic properties through steering, attention analysis, and weight orthogonalization. We find that code correctness directions in LLMs reliably predict incorrect code, while correction capabilities, though statistically significant, involve tradeoffs between fixing errors and preserving correct code. Mechanistically, successful code generation depends on attending to test cases rather than problem descriptions. Moreover, directions identified in base models retain their effectiveness after instruction-tuning, suggesting code correctness mechanisms learned during pre-training are repurposed during fine-tuning. Our mechanistic insights suggest three practical applications: prompting strategies should prioritize test examples over elaborate problem descriptions, predictor directions can serve as error alarms for developer review, and these same predictors can guide selective steering, intervening only when errors are anticipated to prevent the code corruption from constant steering.
- Abstract（参考訳）: 大規模言語モデルはソフトウェア開発に不可欠なものとなり、AIが推奨するコードの大部分は本番環境に入る。
LLM表現を分解するためにスパースオートエンコーダを適用し、符号の正しさに対応する方向を特定する。
我々は,基本モデル表現からの分離スコアを用いて,T統計値とステアリング方向を用いて予測者方向を選択し,ステアリング,アテンション解析,ウェイト直交化によってそれらの力学特性を解析する。
LLMにおける符号の正当性方向は誤りを確実に予測するのに対して、補正能力は統計的に有意であるが、修正エラーと正しい符号の保存との間にはトレードオフがある。
機械的には、コード生成の成功は問題記述よりもテストケースへの参加に依存します。
さらに、ベースモデルで同定された方向は、インストラクショントレーニング後の有効性を保ち、プリトレーニング中に学習したコード正当性メカニズムを微調整中に再利用することを示唆している。
戦略の推進は、詳細な問題記述よりもテスト例を優先すべきであり、予測器の指示は、開発者レビューのエラーアラームとして機能し、これらの予測器は選択的なステアリングをガイドできる。
関連論文リスト
- Towards Automated Error Discovery: A Study in Conversational AI [48.735443116662026]
本稿では,会話型AIにおけるエラーの検出と定義のためのフレームワークであるAutomated Error Discoveryを紹介する。
また,その実装に対するエンコーダに基づくアプローチとして,SEEED(Soft Clustering Extended-Based Error Detection)を提案する。
論文 参考訳（メタデータ） (2025-09-13T14:53:22Z) - RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment [0.0]
本稿では,Large Language Models (LLM) を利用した新しい静的APCA手法であるRePaCAを紹介する。
提案手法は,83.1%の精度と84.8%のF1スコアで最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T11:21:09Z) - Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [79.74676890436174]
本稿では,障害の局所化と修復のためのオラクルとして形式仕様を用いたDafny用のAPRツールを提案する。
プログラム内の各ステートメントの状態を決定するために、Hoareロジックの使用を含む一連のステップを通じて、障害をローカライズします。
また, GPT-4o miniが74.18%と高い修理成功率を示した。
論文 参考訳（メタデータ） (2025-07-04T15:36:12Z) - Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。
AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。
AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
論文 参考訳（メタデータ） (2025-06-10T16:49:46Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Towards a Science of Causal Interpretability in Deep Learning for Software Engineering [0.32634122554914]
ソフトウエアエンジニアリングのための深層学習(DL4SE)における因果解釈性を達成するための論文演説
Dissertationがニューラルネットワークモデル(NCM)の新しいポストホック解釈方法であるDoCodeを導入
DoCodeは因果推論を使用して、モデル予測のプログラミング言語指向の説明を提供する。
論文 参考訳（メタデータ） (2025-05-21T02:13:11Z) - Teaching Your Models to Understand Code via Focal Preference Alignment [50.5876666815306]
既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。
このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。
我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
論文 参考訳（メタデータ） (2025-03-04T16:56:34Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - Understanding Defects in Generated Codes by Language Models [0.669087470775851]
本研究では,大規模言語モデルによって生成されたコードスニペットの367の欠陥を分類,解析する。
エラーカテゴリは、LLMが頻繁に失敗する重要な領域を示し、目標とする改善の必要性を強調している。
本稿では,スクラッチパッド・プロンプト・プログラム・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・ストラクテッド・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・オブ・ソート・プロンプト・プロンプト・アンド・ストラクテッド・オブ・フォーンティング(Structued Chain-of-Thought Prompting)の5つの迅速な技術技術
論文 参考訳（メタデータ） (2024-08-23T21:10:09Z) - Code Revert Prediction with Graph Neural Networks: A Case Study at J.P. Morgan Chase [10.961209762486684]
コードリバース予測は、コード変更がソフトウェア開発で逆転またはロールバックされる可能性を予測または予測することを目的としている。
コード欠陥検出の以前の方法は、独立した機能に依存していたが、コードスクリプト間の関係を無視していた。
本稿では,コードインポートグラフとコード特徴を統合した,コード逆転予測のための系統的研究について述べる。
論文 参考訳（メタデータ） (2024-03-14T15:54:29Z) - GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。
GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
論文 参考訳（メタデータ） (2023-05-24T09:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。