論文の概要: TypeProbe: Recovering Type Representations from Hidden States of Pre-trained Code Models
- arxiv url: http://arxiv.org/abs/2607.08339v1
- Date: Thu, 09 Jul 2026 10:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.502313
- Title: TypeProbe: Recovering Type Representations from Hidden States of Pre-trained Code Models
- Title（参考訳）: TypeProbe: 事前訓練されたコードモデルの隠れ状態から型表現を復元する
- Abstract要約: 最先端のコードモデルは優れたパフォーマンスを実現するが、型情報を内部的にエンコードする範囲はいまだによく分かっていない。
我々は、JavaとPythonのコード例の並列データセットを用いて、内部型表現のための事前訓練済みコードモデルの残留ストリームを探索する。
その結果,非型付きコードでも言語間型表現が現れることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art code models achieve impressive performance, yet the extent to which they internally encode type information remains poorly understood. We probe the residual streams of pretrained code models for internal type representations using a parallel dataset of Java and Python code examples. Our results show that cross-lingual type representations emerge even from untyped code. Moreover, we test whether hidden states linearly encode the result type implied by typed function application by training probes on one language to infer argument and result types in the other. Finally, we find that this structure is partly robust to lexical perturbations and cross-language syntactic variations. To the best of our knowledge, prior work on interpretability of code models has not directly targeted formal type semantics or cross-lingual type representations. We release our code and datasets.
- Abstract（参考訳）: 最先端のコードモデルは優れたパフォーマンスを実現するが、型情報を内部的にエンコードする範囲はいまだによく分かっていない。
我々は、JavaとPythonのコード例の並列データセットを用いて、内部型表現のための事前訓練済みコードモデルの残留ストリームを探索する。
その結果,非型付きコードでも言語間型表現が現れることがわかった。
さらに,隠れ状態が型付き関数で入力された結果型を線形にエンコードするかどうかを,ある言語でプローブを訓練して議論と結果型の推論を行う。
最後に,この構造は語彙摂動や言語間の構文変化に対して部分的に頑健であることがわかった。
私たちの知る限りでは、コードモデルの解釈可能性に関する先行研究は、形式的な型セマンティクスや言語間の型表現を直接ターゲットとはしていません。
コードとデータセットをリリースします。
関連論文リスト
- Language Models over Canonical Byte-Pair Encodings [56.09166157337198]
トークンレベルの言語モデルにおいて、正準性を強制する手法を提案する。
正則性ミスの修正は,いくつかのモデルやコーパスの保持データの可能性を向上させることを示す。
論文 参考訳（メタデータ） (2025-06-09T17:26:14Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - Code Representation Pre-training with Complements from Program
Executions [29.148208436656216]
テストケースで明らかになったプログラムの動的情報を調べ,それを補体としてコードの特徴表現に埋め込むために,FuzzPretrainを提案する。
FuzzyPretrainは、ソースコードやASTのみをトレーニングしたコード検索に対して、6%/9%のmAP改善を実現した。
論文 参考訳（メタデータ） (2023-09-04T01:57:22Z) - Generative Type Inference for Python [62.01560866916557]
本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。
TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。
実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
論文 参考訳（メタデータ） (2023-07-18T11:40:31Z) - TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。
本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。
また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
論文 参考訳（メタデータ） (2023-03-16T23:48:00Z) - AST-Probe: Recovering abstract syntax trees from hidden representations
of pre-trained language models [0.6719751155411076]
我々は、事前訓練された言語モデルの隠れ表現の中に、テクスチシンタクティックな部分空間が存在することを証明した。
このサブスペースは5つの最先端の事前訓練言語モデルに存在することを示す。
このことは、事前訓練された言語モデルがその表現空間のごく一部を使って、プログラミング言語の構文情報をエンコードしていることを示唆している。
論文 参考訳（メタデータ） (2022-06-23T14:09:05Z) - BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and
Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。
APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。
実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文 参考訳（メタデータ） (2022-06-21T18:34:11Z) - When Does Syntax Mediate Neural Language Model Performance? Evidence
from Dropout Probes [27.70448935595472]
モデルでは, 合成情報を冗長に符号化し, 埋め込みに存在するすべての構文情報を考えるために, プローブをガイドする新しいプローブ設計を導入する。
従来の手法ではそうでなかったモデルにおける構文の使用の証拠を見つけ,構文情報を表現に注入することでモデル性能を向上させることができる。
論文 参考訳（メタデータ） (2022-04-20T18:09:36Z) - Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。
意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。
言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文 参考訳（メタデータ） (2021-04-18T08:13:06Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳（メタデータ） (2020-04-30T23:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。