論文の概要: Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training

• arxiv url: http://arxiv.org/abs/2609.35890v1
• Date: Sun, 27 Sep 2026 07:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.881491
• Title: Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training
• Title（参考訳）: 閾値依存的な表現の単純さと回路サイズが解離する:―逆行訓練による制御されたテスト―
• Abstract要約: 本稿では,表現的あるいは帰属的単純さが回路レベルで因果的単純さに変換されるかどうかを検討する。 これは、表現的または帰属的単純さが回路レベルで因果的単純さに変換されるかどうかに関する最初の制御実験である。 本研究では,スパース・オートエンコーダの分解性,タスク帰属におけるSAE特徴エンゲージメント,生の計算グラフから回収した忠実回路の大きさの3つの相補的軸に沿ったモデルを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse-autoencoder decomposability and concentrated feature attribution are increasingly treated as evidence that a model's computation is easier to reverse-engineer. Whether this representational and attributional cleanliness actually predicts a smaller or more tractable causal circuit remains an open question. We test this directly using adversarial training as a controlled instrument: it reliably reshapes internal representations, but this alone does not constitute a test of circuit size. We investigate this question through reverse-engineering complexity: the causal structure required to recover a model's behavior at a fixed level of faithfulness. To our knowledge, this is the first controlled empirical test of whether representational or attributional simplicity translates into causal simplicity at the circuit level. Starting from the same pretrained GPT-2 Small checkpoint, we apply matched standard and adversarial continual training, requiring both conditions to retain competence on indirect object identification and pass independent robustness verification before comparing mechanisms. We then compare the models along three complementary axes: sparse-autoencoder decomposability, SAE feature engagement in task attribution, and the size of faithful circuits recovered from the raw computational graph. The robust model is more SAE-decomposable and engages fewer SAE features in task attribution. Circuit size is regime-dependent: on competence-matched IOI, standard leads or ties below 85% faithfulness, but robust needs substantially fewer edges at high faithfulness (90%, 95%), a pattern established on the primary pair while representational trends generalize across a seven-point sweep and a second corpus.
• Abstract（参考訳）: スパース・オートエンコーダの分解性と集中した特徴属性は、モデルの計算がリバースエンジニアリングが容易であることを示す証拠として扱われる。 この表現的および帰属的清浄さが、実際にはより小さいかより引き込みやすい因果回路を予測するかどうかは未解決の問題である。 制御機器として対向訓練を用いて直接これをテストし、内部表現を確実に再認識するが、回路サイズのテストは構成しない。 本稿では,モデルの振る舞いを一定レベルの忠実度で再現するために必要な因果構造について考察する。 我々の知る限り、これは表現的あるいは帰属的単純さが回路レベルで因果的単純さに変換されるかどうかに関する最初の制御実験である。 同じ事前訓練されたGPT-2小チェックポイントから、一致した標準および逆連続的なトレーニングを適用し、両者の条件は、間接的な物体識別能力を維持し、メカニズムを比較する前に独立した堅牢性検証をパスする必要がある。 次に、スパース・オートエンコーダの分解性、タスク属性におけるSAE特徴エンゲージメント、生の計算グラフから回収した忠実回路の大きさの3つの相補的軸に沿ったモデルを比較した。 堅牢なモデルはよりSAE分解可能であり、タスク属性におけるSAE機能が少ない。 回路サイズは、コンピテンス整合IOIでは、標準鉛またはネクタイが85%の忠実度以下であるが、ロバストな要求は、高い忠実度(90%、95%)で縁が著しく小さくなり、プライマリペア上に確立され、表現傾向は7ポイントスイープと第2コーパスにまたがって一般化される。

関連論文リスト

• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Explaining the Explainer: Understanding the Inner Workings of Transformer-based Symbolic Regression Models [3.7957452405531265]
  PATCHESは,シンボル回帰のためのコンパクトかつ正しい回路を識別する進化的回路探索アルゴリズムである。 PATCHESを用いて28個の回路を分離し,SRトランスの回路レベルの特性化を行う。
  論文  参考訳（メタデータ） (2026-02-03T13:27:10Z)
• Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
  大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
  論文  参考訳（メタデータ） (2025-10-20T07:53:51Z)
• A2R: An Asymmetric Two-Stage Reasoning Framework for Parallel Reasoning [57.727084580884075]
  モデルポテンシャルと実際の性能の間のギャップを埋めるために設計された非対称な2段階推論フレームワーク。 A2R-Efficientは、Qwen3-4BとQwen3-8Bシンセサイザーを組み合わせた「小型から大型」の派生型である。 その結果、A2Rはパフォーマンス・ブートスティングのフレームワークであるだけでなく、現実世界のアプリケーションに対して効率的かつ実用的なソリューションであることがわかった。
  論文  参考訳（メタデータ） (2025-09-26T08:27:03Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。