論文の概要: Understanding How CodeLLMs (Mis)Predict Types with Activation Steering
- arxiv url: http://arxiv.org/abs/2404.01903v3
- Date: Fri, 03 Oct 2025 17:11:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:51.851264
- Title: Understanding How CodeLLMs (Mis)Predict Types with Activation Steering
- Title（参考訳）: アクティベーションステアリングによるCodeLLMs(Mis)予測型の理解
- Authors: Francesca Lucchetti, Arjun Guha,
- Abstract要約: 研究によると、Large Language Models (LLM) はプログラムのセマンティクスを深く理解していないことが多い。
本研究では,タイプ予測の課題について検討する。
ステアリングがPythonとTypeScriptで共有される型予測メカニズムをうまく起動することを示す。
- 参考スコア（独自算出の注目度）: 6.975009142727399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are widely used by software engineers for programming tasks. However, research shows that LLMs often lack a deep understanding of program semantics. Even minor changes to syntax, such as renaming variables, can significantly degrade performance across various tasks. In this work, we examine the task of type prediction: given a partially typed program, can a model predict a missing type annotations such that the resulting program is more typed? We construct a dataset of adversarial examples where models initially predict the correct types, but begin to fail after semantically irrelevant edits. This is problematic, as models should ideally generalize across different syntactic forms of semantically equivalent code. This lack of robustness suggests that models may have a shallow understanding of code semantics. Despite this, we provide evidence that LLMs do, in fact, learn robust mechanisms for type prediction-though these mechanisms often fail to activate in adversarial scenarios. By using activation steering, a method that manipulates a model's internal activations to guide it toward using latent knowledge, we restore accurate predictions on adversarial inputs. We show that steering successfully activates a type prediction mechanism that is shared by both Python and TypeScript, and is more effective than prompting with in-context examples. Across five different models, our comprehensive evaluation demonstrates that LLMs can learn generalizable representations of code semantics that transfer across programming languages.
- Abstract（参考訳）: LLM(Large Language Models)は、ソフトウェア技術者がプログラミングタスクに広く使用している言語モデルである。
しかし、LLMにはプログラム意味論の深い理解が欠けていることが研究で示されている。
変数のリネームなど,構文の微妙な変更でさえ,さまざまなタスクのパフォーマンスを著しく低下させる可能性がある。
本研究では、型予測の課題について検討する:部分的に型付けされたプログラムが与えられた場合、モデルが型付けされていない型アノテーションを予測して、結果のプログラムがより型付けされているか?
モデルが最初に正しい型を予測するが、意味的に無関係な編集で失敗し始める逆例のデータセットを構築した。
モデルは、セマンティックに等価なコードの様々な構文形式を理想的に一般化する必要があるため、これは問題である。
この堅牢性の欠如は、モデルがコードセマンティクスの浅い理解を持っていることを示唆している。
それにもかかわらず、LLMが実際に、型予測のための堅牢なメカニズムを学習する証拠を提供する。
アクティベーション・ステアリング(アクティベーション・ステアリング)は、モデルの内部のアクティベーションを操作して潜在知識の活用に向けて誘導する手法であり、逆入力の正確な予測を復元する。
我々は、ステアリングがPythonとTypeScriptの両方で共有される型予測メカニズムをうまく起動し、コンテキスト内の例を推し進めるよりも効果的であることを示す。
5つの異なるモデルにまたがって,LLMがプログラミング言語間で伝達されるコードセマンティクスの一般化可能な表現を学習可能であることを示す。
関連論文リスト
- RightTyper: Effective and Efficient Type Annotation for Python [0.7673339435080445]
RightTyperは実際のプログラムの振る舞いに基づいて正確な型アノテーションを生成する。
RightTyperは高速で空間効率が良いため、平均的なパフォーマンスオーバーヘッドは30%に過ぎません。
論文 参考訳（メタデータ） (2025-07-21T20:37:35Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
大規模言語モデル(LLM)はコードの形式的な側面をモデル化しないため、コンパイル不可能な出力を生成する。
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
提案手法は,コンパイルエラーを半分以上削減し,コード合成,翻訳,修復作業における機能的正しさを向上する。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。
KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。
本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
論文 参考訳（メタデータ） (2024-06-21T01:37:39Z) - AdaTyper: Adaptive Semantic Column Type Detection [4.062265896931587]
私たちはAdaTyperを提案し、最も重要なデプロイメント課題の1つに対処します。
AdaTyperは弱いスーパービジョンを使用して、ハイブリッド型予測器を新しいセマンティックタイプに適応し、推論時にデータ分散をシフトする。
クラウドソーシングによる実世界のデータベーステーブル上でのAdaTyperの適応性能の評価を行った。
論文 参考訳（メタデータ） (2023-11-23T04:42:27Z) - Generative Type Inference for Python [62.01560866916557]
本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。
TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。
実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
論文 参考訳（メタデータ） (2023-07-18T11:40:31Z) - Type Prediction With Program Decomposition and Fill-in-the-Type Training [2.7998963147546143]
大規模な言語モデルを活用する型予測のための検索ベースのアプローチであるOpenTauを構築した。
TypeScriptの型予測のための新しいデータセットで作業を評価し、ファイルタイプチェックの47.4%(14.5%の絶対的改善)とファイル毎の3.3型のエラー率を示している。
論文 参考訳（メタデータ） (2023-05-25T21:16:09Z) - Enriching Source Code with Contextual Data for Code Completion Models:
An Empirical Study [4.438873396405334]
コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。
コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
論文 参考訳（メタデータ） (2023-04-24T17:09:14Z) - TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。
本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。
また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
論文 参考訳（メタデータ） (2023-03-16T23:48:00Z) - Do Machine Learning Models Produce TypeScript Types That Type Check? [2.1365083849371747]
任意の型予測モデルで使用可能なTypeScriptの型マイグレーションツールであるTypeWeaverを紹介します。
我々は、再帰型ニューラルネットワークのDeepTyper、グラフニューラルネットワークのLambdaNet、汎用多言語トランスフォーマーのInCoderの3つのモデルでこれを評価した。
最高の型予測モデルでは、パッケージの21%の型チェックしかありませんが、もっと励ましく言えば、ファイルの69%が型チェックを成功させています。
論文 参考訳（メタデータ） (2023-02-23T16:59:38Z) - Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。
GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
論文 参考訳（メタデータ） (2021-12-16T08:34:06Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z) - Contrastive Code Representation Learning [95.86686147053958]
一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。
コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
論文 参考訳（メタデータ） (2020-07-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。