論文の概要: Program Bindings Inside Code Models

• arxiv url: http://arxiv.org/abs/2610.39489v1
• Date: Thu, 29 Oct 2026 06:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:42:11.180955
• Title: Program Bindings Inside Code Models
• Title（参考訳）: コードモデル内のプログラムバインディング
• Abstract要約: 我々は,コンパイラのフロントエンドが計算する情報を用いて,コードモデルの隠れ状態を記述することができるかどうかを検証した。 フリーズモデルのすべての隠された状態をトークン当たりの1項の和として表現する分解を用いる。 モデルがまだ正しく答えている場合、分解はそのモデルが使用する情報を保存する。
• 参考スコア（独自算出の注目度）: 11.544222747177791
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Code language models complete, review, and repair programs without exposing the program structure encoded in their hidden states. In this paper, we test whether the hidden states of a code model can be described and edited using the information a compiler front end computes. For each token of a Python program, standard analyzers provide its position in the abstract syntax tree, its scope, its definition-use links, and its syntactic category. We fit a decomposition that expresses every hidden state of a frozen model as a sum of one term per token, each combining the token with this structural label, and we replace the model's own states with the decomposition at every layer while it predicts the output of a small program. If the model still answers correctly, the decomposition preserves the information the model uses. We apply this test to 14 open models, seven of them trained for code, and compare against a baseline decomposition of the same size built from token positions. The static-analysis decomposition preserves the model's answers better than the positional one in 10 of the 14 models, including six of the seven code models, and deleting the definition-use links from it removes most of that advantage on the two models tested. Editing the decomposition, for instance rebinding the argument of a call, makes StarCoder2-15B produce the answer of the edited program in 90 of 100 cases, compared with 19 for the positional baseline. The Qwen2.5 family is the exception on several measures. For most of the models tested, standard static analysis therefore provides both a description of what the hidden states encode about a program and a way to change it without retraining.
• Abstract（参考訳）: コード言語モデルは、隠れた状態にエンコードされたプログラム構造を公開することなく、プログラムを完成させ、レビューし、修復する。 本稿では,コンパイラのフロントエンドが計算する情報を用いて,コードモデルの隠れ状態を記述することができるかどうかを検証する。 Pythonプログラムの各トークンに対して、標準アナライザは抽象構文木、そのスコープ、定義用リンク、構文カテゴリにその位置を提供する。 我々は、凍結したモデルのすべての隠蔽状態をトークン毎の一項の和として表現し、トークンとこの構造ラベルを組み合わせる分解に適合し、小さなプログラムの出力を予測しながら、モデル自身の状態を各層における分解に置き換える。 モデルがまだ正しく答えている場合、分解はそのモデルが使用する情報を保存する。 このテストは14のオープンモデルに適用し、そのうち7つはコードのために訓練され、トークン位置から構築された同じサイズのベースライン分解と比較する。 静的解析分解は、7つのコードモデルのうち6つのモデルを含む14モデルのうち10つのモデルのうちの1つの位置よりもモデルの回答を保存し、定義と使用のリンクを削除することで、テストされた2つのモデルにおいて、その利点の大部分を排除します。 例えば、分解を編集すると、例えば呼び出しの引数をリバインドすると、StarCoder2-15Bは100のケースのうち90のケースで編集されたプログラムの答えを生成する。 クウェン2.5家はいくつかの手段で例外となっている。 テストされたほとんどのモデルに対して、標準的な静的解析は、プログラムについて隠された状態が何をコードしているかを記述することと、プログラムを再トレーニングせずに変更する方法の両方を提供する。

関連論文リスト

• RepProbe: Can Video Language Models Count Repeated Actions? A Diagnostic Benchmark [4.891649865325986]
  繰り返しカウントするには、時間とともにアクションサイクルを特定し、列挙する必要がある。 RepProbeは,[1, 20] の完全繰り返しを正確に k に含めた,42K 実写および合成ビデオクリップのベンチマークである。 実際のカウント情報は、モデルが正しいカウントを報告できない場合でも、線形にデオード可能である。
  論文  参考訳（メタデータ） (2026-10-13T17:57:43Z)
• SGAnalog: An End-to-End Circuit Benchmark from Open-Source Silicon Tapeouts [4.264330502055373]
  我々は、Tiny Tapeout製造シャトルに関連する、人間設計のオープンソース回路から構築されたベンチマークを紹介する。 このコレクションには273の位相的に異なるトップレベルのデザインが含まれている。 このベンチマークは、スキーマからネットリストへの書き起こしとデバイスサイズを評価する。
  論文  参考訳（メタデータ） (2026-10-02T18:46:53Z)
• Single-Layer MeMo as a Randomized Hamming-Kernel Classifier [51.908606610432194]
  MeMoは最近の言語モデルアーキテクチャで、トークンコンテキストと次のトークンの関係を相関行列メモリに格納する。 理想的な検索規則は, 位置ハミングカーネルに基づくマルチクラス分類器であることを示す。 制限されたWikiText-2の次のタスクでは、単一層MeMoと古典的なベースラインを比較し、予測精度、メモリ、スループットのトレードオフとして有用なものであることを示す。
  論文  参考訳（メタデータ） (2026-09-28T08:16:06Z)
• Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
  5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。 単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。 名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
  論文  参考訳（メタデータ） (2026-09-24T16:11:21Z)
• A Closed-Loop Control Architecture for Reliable Constraint Satisfaction in LLM Text Generation [3.5421466056561304]
  ソフトウェアシステムは、数値出力制約を満たさなければならない機能に、大きな言語モデルを組み込んでいる。 単一のプロンプトは、ターゲットを確実に満たさず、ソース内容も保存しない。 本稿では,この問題に対するクローズドループ制御アーキテクチャの提案と評価を行う。
  論文  参考訳（メタデータ） (2026-09-17T05:03:05Z)
• Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks [0.0]
  開発者は2つの非常に異なるソースからコードを書きます。 コードスニペットの証明は、コード自身から回収できるだろうか? 2つのソースは同じタスクで採用するセキュリティパターンが異なるのでしょうか?
  論文  参考訳（メタデータ） (2026-07-14T08:59:42Z)
• Learning Program Behavioral Models from Synthesized Input-Output Pairs [70.9524884086882]
  本稿では,ニューラルマシン翻訳アルゴリズムを用いて,入力/出力動作からモデルを学習するフレームワークであるModelizerを紹介する。 Modelizerはオリジナルのプログラムをモックし、95.4%の精度でBLEUスコアは0.98で、現実世界のアプリケーションのモックには0.04の標準エラーがある。 プログラムの出力がプログラムの振舞いのあらゆる側面となるため、これらのモデルのいくつかの応用を予想する。
  論文  参考訳（メタデータ） (2024-07-11T15:25:02Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• InCoder: A Generative Model for Code Infilling and Synthesis [88.46061996766348]
  InCoderは、プログラム合成(左から右への生成)と編集(埋め込み)が可能な統合生成モデルである。 InCoderは、許可されたコードの大きなコーパスからコードファイルを生成するように訓練されている。 私たちのモデルは、ゼロショットコードの埋め込みを直接実行できる最初の生成モデルです。
  論文  参考訳（メタデータ） (2022-04-12T16:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。