論文の概要: Mind the Gaps: From Failure Attribution to Closed-Form Repair of Code Language Models
- arxiv url: http://arxiv.org/abs/2610.05277v1
- Date: Sun, 04 Oct 2026 14:55:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:04:45.342485
- Title: Mind the Gaps: From Failure Attribution to Closed-Form Repair of Code Language Models
- Title（参考訳）: Mind the Gaps: 失敗の帰属からコード言語モデルの閉じた修復に至るまで
- Abstract要約: 既存の修復方法は、ニューロンに障害を起こし、最上位のニューロンを選択し、汎用的な更新を適用する。
ASTRAは、標的トークンと生成されたトークンの間のロジットコントラストへの寄与によってニューロンをスコアする属性であるコントラストセマンティクスによって神経細胞を標的とする。
ASTRAは平均66.7%のPass@1に達し、AlphaEdit、STAR、低ランク適応では48.4%、サンプルを2.7秒で修復する。
- 参考スコア（独自算出の注目度）: 22.84428628659889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code language models must be maintained like the software around them: when a library evolves, a model keeps writing the interface that it saw during training. Repairing the model itself lets one correction reach all downstream uses. Existing repair methods attribute a failure to neurons, select the highest-ranked ones, and apply a generic update. This pipeline assumes that the attributed neurons are the ones to patch and that a generic update fits every failure, and neither assumption has been examined. We examine both on executable API evolution tasks in Python and Rust with three code models and identify two gaps. The targeting gap separates the neurons that failure attribution targets from the neurons that can carry a patch: their top sets have a Jaccard overlap of only 0.15 to 0.20. The tailoring gap separates a generic update from a patch built for the failure: the patches that different carrier neurons need are nearly orthogonal. To address both gaps, we propose ASTRA. It targets neurons by contrastive semantics, an attribution that scores a neuron by its contribution to the logit contrast between the target token and the produced token. It then tailors the patch by solving one small linear system in closed form, which corrects all failing tokens of a sample jointly and needs neither an optimizer nor a backward pass. Contrastive semantics selects significantly better carrier neurons than gradient-based attributions in 3 of 6 settings and comparable ones in the others. On average, ASTRA reaches 66.7 percent Pass@1, against 48.4 percent for the best of AlphaEdit, STAR and low-rank adaptation, and repairs a sample in 2.7 seconds. It is the best method in all 6 settings and for every type of API change, and this advantage persists under an unseen phrasing of the test prompt. Its side effects on unrelated code are small on the large models and larger on the small one.
- Abstract（参考訳）: ライブラリが進化すると、モデルはトレーニング中に見たインターフェイスを書き続けます。
モデル自体を修復することで、1つの修正が下流のすべての使用に到達できます。
既存の修復法では、ニューロンに障害があり、最上位のニューロンを選択し、汎用的な更新を適用する。
このパイプラインは、属性されたニューロンがパッチするノードであり、一般的なアップデートがすべての障害に適合し、どちらの仮定も検討されていないと仮定する。
我々はPythonとRustの実行可能なAPI進化タスクを3つのコードモデルで検討し、2つのギャップを識別する。
ターゲティングギャップは、アトリビューションの失敗を目標とするニューロンとパッチを持てるニューロンを区別する:彼らのトップセットはジャカードのオーバーラップがわずか0.15から0.20である。
調整のギャップは、一般的なアップデートと障害のために構築されたパッチを分離する。
両ギャップに対処するため,ASTRAを提案する。
これは、標的トークンと生成されたトークンの間の対数コントラストへの寄与によってニューロンをスコアする属性であるコントラスト意味論によってニューロンを標的とする。
その後、1つの小さな線形系を閉じた形で解くことでパッチを調整し、サンプルの全ての失敗トークンを共同で修正し、オプティマイザも後方パスも必要としない。
コントラスト的セマンティクスは6つの設定のうち3つの設定で勾配に基づく属性よりもはるかに優れたキャリアニューロンを選択する。
ASTRAは平均66.7%のPass@1に達し、AlphaEdit、STAR、低ランク適応では48.4%、サンプルを2.7秒で修復する。
これは、すべての6つの設定とあらゆる種類のAPI変更において最良のメソッドであり、この利点はテストプロンプトの見当たらないフレーズの下で持続する。
関連のないコードに対する副作用は、大きなモデルでは小さく、小さなモデルでは大きい。
関連論文リスト
- One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models [46.83445434865936]
自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。
ベンチマーク固有の適応、言語固有のエンジニアリング知識、あるいは基礎となるモデルの制限に対する補償をエンコードしているかどうかは不明だ。
論文 参考訳（メタデータ） (2026-08-10T19:45:45Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - A Few Bad Neurons: Isolating and Surgically Correcting Sycophancy [7.405817106579332]
大規模言語モデルの振る舞いアライメントは、広範囲の微調整によって達成されることが多い。
本研究では,特定の行動に最も責任があるニューロンのみを特定し,更新するアライメント手法を提案する。
以上の結果から,スパークでニューロンレベルの更新は,フルモデルファインチューニングに代わる,スケーラブルで高精度な代替手段であることがわかった。
論文 参考訳（メタデータ） (2026-01-26T20:20:13Z) - Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。
我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。
10個のデータセットに対する実験結果から、ALLOの有効性が示された。
論文 参考訳（メタデータ） (2024-06-18T13:34:40Z) - Neuron Patching: Semantic-based Neuron-level Language Model Repair for Code Generation [32.178931149612644]
ulModel ulImprovement via ulNeuron ulTargeting (textscMINT)は、コード言語モデル(LM)を修復するための新しいアプローチである。
textscMINTは有効で効率的で信頼性が高く、最小数のニューロンにパッチを当てることで神経モデルを修正できる。
論文 参考訳（メタデータ） (2023-12-08T20:28:08Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Neuron Merging: Compensating for Pruned Neurons [3.441021278275805]
構造的ネットワークプルーニングは、ニューロン全体やフィルターを破棄し、精度を低下させる。
完全連結層と畳み込み層の両方に適用可能なニューロン融合の概念を提案する。
我々は93.16%の精度を達成し、微調整なしで総パラメータの64%を削減した。
論文 参考訳（メタデータ） (2020-10-25T16:50:26Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。