論文の概要: Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer

• arxiv url: http://arxiv.org/abs/2605.22488v1
• Date: Thu, 21 May 2026 13:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.280535
• Title: Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer
• Title（参考訳）: Represented is not Computed: a Causal Test of Candidate Algorithmic Intermediates in a Transformer
• Authors: Ishita Darade, Sushrut Thorat,
• Abstract要約: ベース桁抽出に基づいて訓練されたトランスフォーマーは、ホールドアウトされたナンバーベース交差点で99.83%の精度に達する。 スパースサーキットサーチは、プローブが提案するルートよりも遅くに結合するN$、B$、D$ルートを主に分離している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured prompts require integrating components according to task-relevant relations. How a network implements this integration is often hard to judge in language or vision, where those relations are rarely specified precisely enough to define a candidate internal algorithm. Arithmetic offers a cleaner setting. We study a Transformer trained on base-digit extraction: given $N$, $B$, and $D$, it must report the coefficient of $B^D$ in the base-$B$ expansion of $N$. The closed-form solution, $\lfloor N/B^D \rfloor \bmod B$, provides explicit candidate algorithmic intermediates. Across three seeds, the model reaches 99.83% exact-answer accuracy on held-out number-base intersections, establishing reliable task competence. Linear probes decode the intermediates, making staged arithmetic computation plausible. Causal tests then separate representation from use: within the localized route from the stream with $D$ as input to the output positions, behavior depends on early $D$-selective communication, independent of $N$ and $B$. Relatedly, a sparse circuit search finds mostly separate $N$, $B$, and $D$ routes that combine late rather than the staged route suggested by the probes. Thus, the model represents the intermediates that make the closed-form solution plausible, but the identified localized causal route does not transmit them to the output stream. This case shows that probe-based conclusions can diverge sharply from causal observations, even when explicit algorithmic hypotheses are available.
• Abstract（参考訳）: 構造化プロンプトは、タスク関連の関係に応じてコンポーネントを統合する必要がある。 この統合をネットワークがどのように実装するかは、言語や視覚において判断することが難しい場合が多いが、それらの関係は、候補となる内部アルゴリズムを定義するのに十分な正確さで特定されることは滅多にない。 算術はよりクリーンな設定を提供する。 ベース桁抽出に基づいて訓練された変換器について検討する:$N$,$B$,$D$に対して、ベース桁の$B^D$の係数を報告しなければならない。 閉形式解、$\lfloor N/B^D \rfloor \bmod B$ は明確な候補アルゴリズム中間体を提供する。 3つの種にまたがって、モデルの精度は99.83%に達し、信頼性の高いタスク能力を確立する。 線形プローブは中間体をデコードし、段階演算計算が可能である。 出力位置への入力として$D$でストリームからローカライズされたルート内では、振る舞いは早期の$D$選択通信に依存し、$N$と$B$とは独立している。 関連して、スパースサーキットサーチは、プローブが提案する段階的なルートではなく、遅くに結合する$N$、$B$、および$D$ルートをほとんど別々に見つける。 このように、モデルは閉形式解を可塑性にする中間体を表すが、同定された局所因果経路は出力ストリームにそれらを伝達しない。 このケースでは、明示的なアルゴリズム仮説が利用できる場合でも、プローブに基づく結論は因果的な観測から急激に発散する可能性がある。

関連論文リスト

• Inverse Design for Conditional Distribution Matching [0.0]
  条件分布マッチング(CDM)は、生成モデルにおける新しい逆設計問題クラスである。 MLGD-F (Matching-Loss Guided Diffusion with a Fast inner sampler) は,事前学習したスコアベース拡散モデルと事前学習した高速条件付きサンプルモデルを組み合わせたプラグアンドプレイ推論時アルゴリズムである。 MLGD-Fは1ステップの条件付きサンプリングを利用することで、引き込み可能な勾配計算を可能にし、$mathcalP(Y mid X)$$をメモリ効率と計算量の両方に軽量にする。
  論文  参考訳（メタデータ） (2026-05-10T09:27:55Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Testable Learning with Distribution Shift [9.036777309376697]
  分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。 テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。 ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
  論文  参考訳（メタデータ） (2023-11-25T23:57:45Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• FriendlyCore: Practical Differentially Private Aggregation [67.04951703461657]
  我々は、制約のない(擬似)計量空間から点の集合を$cal D$として取り出す、単純で実用的なツールである$mathsfFriendlyCore$を提案する。 $cal D$ が有効直径 $r$ を持つとき、$mathsfFriendlyCore$ はすべての点を含む "stable" サブセット $cal D_Gsubseteq cal D$ を返す。 $mathsfFriendlyCore$は、プライベートに集約する前に入力を前処理するために使用することができる。
  論文  参考訳（メタデータ） (2021-10-19T17:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。