論文の概要: Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

• arxiv url: http://arxiv.org/abs/2606.05378v1
• Date: Wed, 03 Jun 2026 19:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.362763
• Title: Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models
• Title（参考訳）: パターン選択性はタスクカジュアル構造ではない:1Bクラス言語モデルにおける構成タスク回路のクロスアーキテクチャ力学的研究
• Authors: Yongzhong Xu,
• Abstract要約: 一致したランダムなヌルをセル毎に10個のシードでサンプリングした統一プロトコルを実行します。 結果として生じる12個の細胞(タスク、モデル)は、同じ一次因果スクリーンを同じ効果サイズで共有する2つの細胞を含まない。 パネル内のMoEモデルは、基礎となる先進的な位置決め基板の上に合成タスク回路を構築する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We test whether a single screen-and-ablate recipe -- identify attention-head circuits by task-pattern selectivity, then verify by causal ablation against a matched-random null -- produces consistent mechanistic claims across model families. The recipe ports across pipelines; the specific circuit it identifies does not. Across four composed tasks (indirect-object identification, greater-than, successor sequences, variable binding) and three 1B-class language models from distinct training pipelines (Pythia 1B / Pile / dense; OLMo 1B / DCLM / dense; OLMoE 1B-7B / DCLM / mixture-of-experts), we run a unified protocol with the matched-random null sampled across ten seeds per cell. The resulting 12 (task, model) cells contain no two that share the same primary causal screen at comparable effect size: the same task, with the same behavioral capability, is implemented through different attention-pattern types across models. We introduce a five-category screen-outcome taxonomy -- primary cause, secondary cause, correlate, interferer, null -- with quantitative thresholds, and show that all five outcomes appear in the panel. We propose a falsifiable hypothesis: the MoE model in our panel builds composed-task circuits on top of a foundational previous-token positional substrate (the prev-token-circuit ablation is the strongest causal screen on 3 of 4 tasks for OLMoE 1B-7B), with the IOI exception consistent with IOI being a final-position name-copying task whose structure directly probes a different pattern. The hypothesis comes with explicit predictions for other MoE language models. We frame the methodology honestly: the spectral participation-ratio signal from the companion methodology paper is a general indicator of specialized computation; what makes a finding task-specific is the task-pattern screen plus a per-model causal verification.
• Abstract（参考訳）: 一つのスクリーン・アンド・アブレーションのレシピ -- タスク・パターンの選択によってアテンション・ヘッドの回路を識別し、マッチしたランダムなヌルに対して因果的アブレーションによって検証する -- が、モデルファミリ間で一貫したメカニスティックなクレームを生成するかどうかをテストする。 レシピはパイプラインにまたがってポートされる。 異なる訓練パイプライン(Pythia 1B / Pile / dense; OLMo1B / DCLM / dense; OLMoE 1B-7B / DCLM / Mix-of-experts)から合成された4つのタスク(間接オブジェクト識別、大域的、後続配列、変数結合)と3つの1Bクラス言語モデル(Pythia 1B / Pile / dense; OLMo1B / DCLM / dense; OLMoE 1B-7B / DCLM / Mixed-of-experts)を用いて、一致したランダムをセル毎に10種にわたってサンプリングした統一プロトコルを実行する。 結果として得られた12個の(タスク、モデル)セルは、同じ一次因果画面を同等の効果サイズで共有する2つの画面を含まない:同じ振る舞い能力を持つ同じタスクは、モデル間で異なる注意パターンタイプによって実装される。 我々は,5つのカテゴリーのスクリーンアウトカム分類(主原因,二次原因,相関要因,干渉要因,無効)を定量的な閾値で導入し,すべての5つの結果がパネルに現れることを示す。 提案するフェーザビリティ仮説は,本パネルのMoEモデルが,基礎となる前兆位置基板上に構成タスク回路(OLMoE 1B-7Bの4つのタスクのうち3つのタスクのうち,プリブ・トケン回路のアブレーションは最強の因果スクリーン)を構築し,IOI例外は,構造が直接異なるパターンを探索する最終位置の名前コピータスクであるIOIと一致している。 この仮説は、他のMoE言語モデルに対する明確な予測を伴っている。 提案手法は,本論文のコンパニオン・コンパニオン・レポーション・レポーション・シグナルを特殊計算の一般的な指標とし,タスク・パターン・スクリーンとモデルごとの因果検証を行う。

関連論文リスト

• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Route-and-Execute: Auditable Model-Card Matching and Specialty-Level Deployment [6.7202991099968346]
  本稿では,視覚言語モデル(VLM)を2つの補完的役割に用いたフレームワークを提案する。 まず、VLMは、入力された画像を適切なスペシャリストモデルにルーティングする、意識的なモデルカードマッチングとして機能する。 第2に、単一のモデルが複数の下流タスクをカバーすることを保証する特別なデータセットについて、VLMを微調整する。
  論文  参考訳（メタデータ） (2025-08-22T23:34:37Z)
• PanMatch: Unleashing the Potential of Large Vision Models for Unified Matching Models [80.65273820998875]
  頑健な対応マッチングのための汎用基盤モデルであるPanMatchを提案する。 我々の重要な洞察は、任意の2フレーム対応タスクが2次元変位推定フレームワーク内で処理可能であることである。 PanMatchは、偏差推定アルゴリズムを前例のない一般化能力で実現し、マルチタスク統合を実現する。
  論文  参考訳（メタデータ） (2025-07-11T08:18:52Z)
• Mind the instructions: a holistic evaluation of consistency and interactions in prompt-based learning [14.569770617709073]
  本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。 本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。 統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
  論文  参考訳（メタデータ） (2023-10-20T13:25:24Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。