論文の概要: A Semantic-based Optimization Approach for Repairing LLMs: Case Study on Code Generation

• arxiv url: http://arxiv.org/abs/2503.12899v1
• Date: Mon, 17 Mar 2025 07:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:57.819978
• Title: A Semantic-based Optimization Approach for Repairing LLMs: Case Study on Code Generation
• Title（参考訳）: LLMの修復のための意味的最適化手法:コード生成のケーススタディ
• Authors: Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang,
• Abstract要約: ulAnalytical ulRepair(textscSTAR)に対するulSemantic ulTargetingを提案する。
• 参考スコア（独自算出の注目度）: 32.178931149612644
• License:
• Abstract: Language Models (LMs) are widely used in software engineering for code generation, but they may produce code with errors. Rather than repairing the generated code, an alternative way is to address the underlying failures of models. LM repair offers a lightweight solution to this challenge: it requires minimal data, reduces computational costs, and reduces the side effects. Unlike retraining, LM repair focuses on applying tailored updates to targeted neurons, making it ideal for scenarios with limited resources, high-performance demands, or strict safety requirements. In this paper, we propose \ul{S}emantic \ul{T}argeting for \ul{A}nalytical \ul{R}epair (\textsc{STAR}), a pioneering and novel semantic-based optimization approach for repairing LLMs. \textsc{STAR} realizes main operations in LM repair methods in an optimization process, including locating ``buggy neurons'', solving ``neuron patches'', and patching ``buggy neurons''. Correspondingly, it computes the deltas of weight matrix as the prior information to guide optimization; and attributes the targeted layers and neurons leveraging statistical insights. The neuron patches are computed with a solid semantic-based analytical formula, which directly bridges the changes to logits with the deltas of neurons, by steering latent representations. Compared to the prior work of LM repair (\textsc{MINT}) and optimization methods (\textsc{SGD}), \textsc{STAR} integrates their strengths while mitigating their limitations. \textsc{STAR} supports solving multiple failures together, significantly improving the usefulness. Evaluated on three code generation tasks using popular code LMs, \textsc{STAR} demonstrates superior effectiveness. Additionally, \textsc{STAR} exhibits better efficiency. In terms of side effects, namely the balance between generalization and specificity, \textsc{STAR} outperforms prior work by a significant margin.
• Abstract（参考訳）: 言語モデル(LM)は、コード生成のソフトウェア工学で広く使われているが、エラーのあるコードを生成することがある。 生成されたコードを修正する代わりに、モデルの基礎となる障害に対処する別の方法がある。 LM修復は、最小限のデータを必要とし、計算コストを削減し、副作用を減らすという、この課題に対する軽量な解決策を提供する。 再トレーニングとは異なり、LM修復は標的ニューロンに適切な更新を適用することに焦点を当てており、限られたリソース、高性能な要求、厳格な安全要件のシナリオに最適である。 本稿では, LLM を修復するための先駆的で新しい意味に基づく最適化手法である \ul{A}nalytical \ul{R}epair (\textsc{STAR}) に対して, \ul{S}emantic \ul{T}argetingを提案する。 \textsc{STAR} は、 ``buggy neurons'' の配置、 ``neuron patch'' の解決、 ``buggy neurons'' のパッチングを含む最適化プロセスにおいて、LM の修復方法における主要な操作を実現する。 それに対応して、最適化のための事前情報として重み行列のデルタを計算し、統計的洞察を利用して標的となる層やニューロンを特性付けする。 ニューロンのパッチはソリッドセマンティックベースの解析式で計算され、潜在表現を操ることで、ロジットへの変化を直接神経細胞のデルタにブリッジする。 LM補修 (\textsc{MINT}) と最適化 (\textsc{SGD}) の以前の作業と比較すると、 \textsc{STAR} は制限を緩和しながらその強度を統合する。 \textsc{STAR} は複数の障害を同時に解決し、有用性を大幅に改善する。 人気のあるコードLMを用いて3つのコード生成タスクを評価することで,より優れた効率性を示す。 さらに \textsc{STAR} の方が効率が良い。 副作用の観点で言えば、一般化と特異性の間のバランス、すなわち \textsc{STAR} は事前の作業よりもかなりの差で優れる。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
  ネットワークプルーニングのためのemphtop-upアルゴリズムであるtextscNeuroALを提案する。 これは、高密度モデルとスパースバージョンの両方から情報を利用するブロックワイドと行ワイドのスパース性を変更する。 パフォーマンスと実行時のトレードオフの観点から、最新の最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Revisiting Unnaturalness for Automated Program Repair in the Era of Large Language Models [9.454475517867817]
  本研究では,テンプレートベースの補修技術の効率化を目的としたパッチ自然度測定,エントロピーデルタを提案する。 提案手法は,最先端の機械学習ツールよりも効果的に正パッチをランク付けできる。
  論文  参考訳（メタデータ） (2024-04-23T17:12:45Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Neuron Patching: Semantic-based Neuron-level Language Model Repair for Code Generation [32.178931149612644]
  ulModel ulImprovement via ulNeuron ulTargeting (textscMINT)は、コード言語モデル(LM)を修復するための新しいアプローチである。 textscMINTは有効で効率的で信頼性が高く、最小数のニューロンにパッチを当てることで神経モデルを修正できる。
  論文  参考訳（メタデータ） (2023-12-08T20:28:08Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。