論文の概要: Causal Syntax Circuits in CodeLMs: Budget and Probe Decide What Looks Localised

• arxiv url: http://arxiv.org/abs/2610.20683v1
• Date: Wed, 14 Oct 2026 16:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.980559
• Title: Causal Syntax Circuits in CodeLMs: Budget and Probe Decide What Looks Localised
• Title（参考訳）: CodeLMにおける因果シンタクス回路
• Abstract要約: コードモデルは、プロンプトがどの言語を使うべきかを言わないときにPythonを記述する。 モデル内の小さな、発見可能なコンポーネントのグループによって生成されるのか? 我々は1つのパイプライン--平均アブレーション、アクティベーションパッチ、グリード回路抽出、ランダム制御重要度テスト、アクティベーションステアリングを実行する。
• 参考スコア（独自算出の注目度）: 2.65107203875379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code models write Python when the prompt does not say which language to use. We ask a mechanistic question about that habit: is it produced by a small, findable group of components inside the model? We run one pipeline---mean ablation, activation patching, greedy circuit extraction, a random-control significance test, and activation steering---over 55 model-language settings spanning ten open code models (five base and five instruction-tuned), three target languages (Rust, C#, PHP), two prompt suites, and two component budgets. We report five findings. First, the preference is large, grows with model size, and survives instruction tuning: it is larger on every instruction-tuned checkpoint than on its base version, by 12% on average. Second, its measured size is mostly a property of the probe; replacing our aligned prompts with XLCoST parallel functions takes the same measurement on the same models from about 1.6 to about 0.01. Third, whether the preference looks localised depends on how many components the search may keep: with a budget of 12, 1 of 15 settings yields a circuit that beats size-matched random controls after multiple-comparison correction, and with a budget of 40, 6 of 15 do. Fourth, interventions that a smaller-budget study reports as uniformly failing do sometimes succeed: patching makes a Python prompt prefer target syntax in 2 of 45 settings, and steering changes the most likely next token in 9 of 45. Fifth, every circuit whose effect is significant but points away from the target language comes from a setting where circuit extraction failed, which makes such results a diagnostic rather than a phenomenon. The practical lesson is that a claim about whether a behaviour is localised can turn on analysis choices that papers rarely report. We release the full grid so those choices can be varied.
• Abstract（参考訳）: コードモデルは、プロンプトがどの言語を使うべきかを言わないときにPythonを記述する。 モデル内の小さな、発見可能なコンポーネントのグループによって生成されるのか? 5つのオープンコードモデル(5つのベースと5つの命令チューニング)、3つのターゲット言語(Rust, C#, PHP)、2つのプロンプトスイート、2つのコンポーネント予算にまたがる55以上のモデル言語設定を実行します。 5つの発見を報告する。 まず、好みは大きく、モデルサイズで成長し、命令チューニングを継続する: 命令チューニングされたすべてのチェックポイントにおいて、ベースバージョンよりも12%大きく、平均で12%大きい。 第2に、その測定サイズは、主にプローブの特性であり、一致したプロンプトをXLCoST並列関数に置き換えると、1.6から0.01までの同じモデルで同じ測定を行う。 第3に、選好がローカライズされているかは、検索が保持するコンポーネントの数によって異なる: 予算が12、予算が15、予算が15、予算が40、予算が15である。 パッチは、Pythonプロンプトを45設定中2でターゲット構文を優先させ、ステアリングは45設定中9で最も可能性が高い次のトークンを変更させる。 第5に、効果が大きいが対象言語から遠ざかっている全ての回路は、回路抽出が失敗した状態から来ている。 実践的な教訓は、ある振る舞いがローカライズされているかどうかに関する主張は、論文がほとんど報告しない分析選択をonにすることができるということである。 私たちは、それらの選択を変更できるように、完全なグリッドをリリースします。

関連論文リスト

• Cross-Stack Validation of Language-Model Training: A Clinical Fine-Tuning Case Study [0.0]
  独立に実装されたトレーニングスタックが、微調整パイプライン全体の微分オラクルとして機能するかを検討する。 168,574対のQwen3-0.6BのLoRA適応に適用した。
  論文  参考訳（メタデータ） (2026-08-25T08:55:45Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages [0.17188280334580197]
  言語モデルは、"if P(x) then A else B" のようなコンテキスト内条件規則に従う。 述語をテストする1つのモジュールと、回答をルーティングするもう1つのモジュールで、ランタイム回路を組み立てますか? 本研究では,2つの交換ルルドナーが条件と解答語が一致しない4つのドナー設計の下で,アクティベーションパッチを用いてこれを探索する。
  論文  参考訳（メタデータ） (2026-08-04T19:40:30Z)
• Cross-Lingual Prompt Steerability: Towards Accurate and Robust LLM Behavior across Languages [61.18573330164572]
  システムプロンプトは、推論時に大きな言語モデル(LLM)を条件付けするための軽量で強力なメカニズムを提供する。 本稿では, 異なるシステムが, 正確な, 頑健な言語間行動に対して, ステアモデルをどのように促すかを包括的に検討する。
  論文  参考訳（メタデータ） (2025-12-02T14:54:54Z)
• Model Editing with Canonical Examples [75.33218320106585]
  標準例を用いたモデル編集について紹介する。 例えば、モーリシャスの首都はポートルイである。 本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:08:12Z)
• DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
  DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。 エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
  論文  参考訳（メタデータ） (2023-11-10T20:09:08Z)
• Self-Consistency Improves Chain of Thought Reasoning in Language Models [53.45015291520658]
  我々は,大規模言語モデルの推論精度を大幅に向上させる,単純なアンサンブル戦略,自己整合性を探究する。 算術的および常識的推論ベンチマークでは、自己整合性は大幅な精度の向上をもたらす。
  論文  参考訳（メタデータ） (2022-03-21T17:48:52Z)
• How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
  構造設計選択に対する探索作業結果の感度について検討する。 我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。 私たちは英語の結果が他の言語に移行しないことに気付きます。
  論文  参考訳（メタデータ） (2020-06-16T12:37:50Z)
• Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers [59.345145623931636]
  我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。 本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
  論文  参考訳（メタデータ） (2020-04-16T13:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。