論文の概要: Activation Steering for Robust Type Prediction in CodeLLMs

• arxiv url: http://arxiv.org/abs/2404.01903v1
• Date: Tue, 2 Apr 2024 12:44:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:28:46.618652
• Title: Activation Steering for Robust Type Prediction in CodeLLMs
• Title（参考訳）: CodeLLMにおけるロバスト型予測のためのアクティベーションステアリング
• Authors: Francesca Lucchetti, Arjun Guha,
• Abstract要約: CodeLLMsを構文的邪魔者に対してより堅牢にするために、推論時間技術に貢献する。 我々は、徐々に型付けされた言語であるPythonとTypeScriptの型予測タスクに、我々のアプローチを適用した。
• 参考スコア（独自算出の注目度）: 1.7252995245478464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary LLMs pretrained on code are capable of succeeding at a wide variety of programming tasks. However, their performance is very sensitive to syntactic features, such as the names of variables and types, the structure of code, and presence of type hints. We contribute an inference-time technique to make CodeLLMs more robust to syntactic distractors that are semantically irrelevant. Our methodology relies on activation steering, which involves editing internal model activations to steer the model towards the correct prediction. We contribute a novel way to construct steering vectors by taking inspiration from mutation testing, which constructs minimal semantics-breaking code edits. In contrast, we construct steering vectors from semantics-preserving code edits. We apply our approach to the task of type prediction for the gradually typed languages Python and TypeScript. This approach corrects up to 90% of type mispredictions. Finally, we show that steering vectors calculated from Python activations reliably correct type mispredictions in TypeScript, and vice versa. This result suggests that LLMs may be learning to transfer knowledge of types across programming languages.
• Abstract（参考訳）: コードで事前訓練された現代のLLMは、様々なプログラミングタスクで成功することができる。 しかし、それらのパフォーマンスは、変数や型の名前、コードの構造、型ヒントの存在など、構文的な特徴に非常に敏感である。 我々は,意味的に無関係な構文的障害に対して,CodeLLMsをより堅牢にするための推論時間技術に貢献している。 本手法は,内部モデルのアクティベーションを編集し,正しい予測に向けてモデルをステアリングする,アクティベーションステアリングに依存する。 我々は、最小限の意味論を破るコード編集を構成する突然変異テストからインスピレーションを得て、ステアリングベクターを構築する新しい方法に貢献する。 対照的に、セマンティクスを保存するコード編集からステアリングベクトルを構築する。 我々は、徐々に型付けされた言語であるPythonとTypeScriptの型予測タスクに、我々のアプローチを適用した。 このアプローチでは、最大90%の型誤予測が修正される。 最後に、Pythonアクティベーションから計算したステアリングベクターがTypeScriptの型誤予測を確実に正し、その逆であることを示す。 この結果は、LLMがプログラミング言語間で型に関する知識を伝達することを学んでいることを示唆している。

関連論文リスト

• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• AdaTyper: Adaptive Semantic Column Type Detection [4.062265896931587]
  私たちはAdaTyperを提案し、最も重要なデプロイメント課題の1つに対処します。 AdaTyperは弱いスーパービジョンを使用して、ハイブリッド型予測器を新しいセマンティックタイプに適応し、推論時にデータ分散をシフトする。 クラウドソーシングによる実世界のデータベーステーブル上でのAdaTyperの適応性能の評価を行った。
  論文  参考訳（メタデータ） (2023-11-23T04:42:27Z)
• Generative Type Inference for Python [62.01560866916557]
  本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。 TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。 実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
  論文  参考訳（メタデータ） (2023-07-18T11:40:31Z)
• Type Prediction With Program Decomposition and Fill-in-the-Type Training [2.7998963147546143]
  大規模な言語モデルを活用する型予測のための検索ベースのアプローチであるOpenTauを構築した。 TypeScriptの型予測のための新しいデータセットで作業を評価し、ファイルタイプチェックの47.4%(14.5%の絶対的改善)とファイル毎の3.3型のエラー率を示している。
  論文  参考訳（メタデータ） (2023-05-25T21:16:09Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
  本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。 本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。 また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
  論文  参考訳（メタデータ） (2023-03-16T23:48:00Z)
• Do Machine Learning Models Produce TypeScript Types That Type Check? [2.1365083849371747]
  任意の型予測モデルで使用可能なTypeScriptの型マイグレーションツールであるTypeWeaverを紹介します。 我々は、再帰型ニューラルネットワークのDeepTyper、グラフニューラルネットワークのLambdaNet、汎用多言語トランスフォーマーのInCoderの3つのモデルでこれを評価した。 最高の型予測モデルでは、パッケージの21%の型チェックしかありませんが、もっと励ましく言えば、ファイルの69%が型チェックを成功させています。
  論文  参考訳（メタデータ） (2023-02-23T16:59:38Z)
• Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
  Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
  論文  参考訳（メタデータ） (2021-12-16T08:34:06Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• Contrastive Code Representation Learning [95.86686147053958]
  一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。 コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
  論文  参考訳（メタデータ） (2020-07-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。