論文の概要: What, Where, and How: Disentangling the Roles of Task, Language, and Model in Code Model Representations

• arxiv url: http://arxiv.org/abs/2607.21491v1
• Date: Thu, 23 Jul 2026 16:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.484976
• Title: What, Where, and How: Disentangling the Roles of Task, Language, and Model in Code Model Representations
• Title（参考訳）: コードモデル表現におけるタスク,言語,モデルの役割の解明
• Authors: Piotr Wilam,
• Abstract要約: 我々はコードに対して回答し、最近導入された概念回路抽出法を2x2の設計に拡張する。 全4細胞において、文法概念の完全な在庫を同一に測定する。 専用回路を稼ぐものはタスクによって設定されます。 層をまたいだ回路の成長もモデルによって設定される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Do independently trained language models come to represent the same thing in the same way? We answer for code, extending a recently introduced concept-circuit extraction method to a 2x2 design -- Python and Rust crossed with Qwen2.5-Coder-7B and DeepSeek-Coder-V1-6.7B -- and measuring a complete inventory of grammatical concepts (58 Python, 57 Rust) identically in all four cells: the smallest design that separates what depends on the task, the language, and the model. The answer splits into three parts. What earns dedicated circuitry is set by the task: the models agree on which concepts receive circuits (Spearman $ρ$ = 0.638 for Python, 0.673 for Rust, both p < $10^{-7}$). Where those circuits sit is set by the model: Qwen processes concepts in a late band (~L17-19), DeepSeek at L6-7, for both languages. How circuits grow across layers is also set by the model: Qwen gives its atomic concepts an early spike that DeepSeek does not. "Are circuits universal?" thus has no single answer: yes for What, no for Where and How -- universality is a property of representational content, not of computational organisation. None of this structure was fixed in advance. The agreement could have landed anywhere between independence and identity; it lands at $ρ\approx 0.65$. Rust constructs receive 2-3x more concept-specific circuitry than their Python equivalents, in both models. Both models share neurons between the languages (6/7 and 7/7 paired constructs), DeepSeek 1.94x more than Qwen -- a direction no prior result predicts. And Qwen binds nine keywords of Rust's type-and-trait machinery into one tight neuron cluster (Jaccard 0.535 vs null 0.112, p < 0.001), a semantic dimension invisible in surface syntax. Ablation and linear probes confirm the circuits are functional. All claims are scoped to this 2x2; whether the per-model profile predicts a third model is the designed next test.
• Abstract（参考訳）: 独立に訓練された言語モデルは、同じ方法で同じことを表現しますか? 我々はコードに対して答え、最近導入された概念回路抽出メソッドを2x2の設計に拡張する -- PythonとRustはQwen2.5-Coder-7BとDeepSeek-Coder-V1-6.7Bと交差し、すべての4つのセルで文法概念の完全な在庫(58 Python, 57 Rust)を計測する。 答えは3つの部分に分けられる。 スピアマン$ρ$ = 0.638 for Python, 0.673 for Rust, both p < 10^{-7}$)。 Qwenはレイトバンド(〜L17-19)で概念を処理し、DeepSeekはL6-7で両言語に対応している。 Qwenは原子のコンセプトをDeepSeekが持っていない初期のスパイクにします。 普遍性は、計算組織ではなく、表現的コンテンツの性質である。 この構造はいずれも事前に固定されていない。 この協定は独立からアイデンティティまでどこにでも到達可能であり、0.65ドル(約1万6000円)で成立する。 Rustのコンストラクトは、Python相当の2～3倍のコンセプト固有の回路を両方のモデルで受け取っている。 どちらのモデルも言語間でニューロン(6/7と7/7のペア構造)を共有しており、DeepSeek 1.94はQwenよりも高い。 また、QwenはRustのタイプ・アンド・トレイの9つのキーワードを1つのタイトなニューロンクラスタ(Jaccard 0.535 vs null 0.112, p < 0.001)に結合する。 アブレーションと線形プローブは回路が機能していることを確認する。 すべてのクレームは、この2x2にスコープされる。モデルごとのプロファイルが第3のモデルを予測しているかどうかが、次のテストである。

関連論文リスト

• Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures [0.0]
  Sutraは、コンパイルされた前方通過がPyTorchニューラルネットワークである型付き純粋関数型プログラミング言語である。 同じ成果物は、ロジックプログラムとトレーニング可能なニューラルネットワークの両方である。
  論文  参考訳（メタデータ） (2026-05-20T09:04:36Z)
• Syntax Without Semantics: Teaching Large Language Models to Code in an Unseen Language [9.529147118376464]
  Pythonはすべての構成でPyLangを最大19%上回っている。 モデルは言語に依存しない理解を持っているが、馴染みのない言語では表現できない。
  論文  参考訳（メタデータ） (2026-05-15T04:37:31Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• Automated Python Translation [27.835184325945164]
  我々は、Pythonの自然なモダリティを他の人間の言語に自動的に翻訳するタスクを紹介します。 これはこれらの形式の短縮性を考えると、ユニークな挑戦である。 我々は、Pythonを他のヒューマン言語に翻訳する自動パイプラインを作成します。
  論文  参考訳（メタデータ） (2025-04-15T15:30:22Z)
• Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
  本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。 我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。 結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2025-02-07T18:55:02Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。