論文の概要: Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

• arxiv url: http://arxiv.org/abs/2601.05770v1
• Date: Fri, 09 Jan 2026 12:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.969859
• Title: Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer
• Title（参考訳）: コードへの重み:離散変換器から解釈可能なアルゴリズムを抽出する
• Authors: Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin,
• Abstract要約: 本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。 実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
• 参考スコア（独自算出の注目度）: 65.38883376379812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Algorithm extraction aims to synthesize executable programs directly from models trained on specific algorithmic tasks, enabling de novo algorithm discovery without relying on human-written code. However, extending this paradigm to Transformer is hindered by superposition, where entangled features encoded in overlapping directions obstruct the extraction of symbolic expressions. In this work, we propose the Discrete Transformer, an architecture explicitly engineered to bridge the gap between continuous representations and discrete symbolic logic. By enforcing a strict functional disentanglement, which constrains Numerical Attention to information routing and Numerical MLP to element-wise arithmetic, and employing temperature-annealed sampling, our method effectively facilitates the extraction of human-readable programs. Empirically, the Discrete Transformer not only achieves performance comparable to RNN-based baselines but crucially extends interpretability to continuous variable domains. Moreover, our analysis of the annealing process shows that the efficient discrete search undergoes a clear phase transition from exploration to exploitation. We further demonstrate that our method enables fine-grained control over synthesized programs by imposing inductive biases. Collectively, these findings establish the Discrete Transformer as a robust framework for demonstration-free algorithm discovery, offering a rigorous pathway toward Transformer interpretability.
• Abstract（参考訳）: アルゴリズム抽出は、特定のアルゴリズムタスクで訓練されたモデルから直接実行可能なプログラムを合成することを目的としている。 しかし、このパラダイムをTransformerに拡張することは重ね合わせによって妨げられ、絡み合った特徴が重なり合う方向に符号化されると、記号表現の抽出が妨げられる。 本研究では,連続表現と離散記号論理のギャップを埋めるためのアーキテクチャである離散変換器を提案する。 情報ルーティングに数値的注意と要素演算に数値的MLPを制約する厳密な機能的ゆがみを強制し、温度アニールサンプリングを用いることで、人間の読みやすいプログラムの抽出を効果的に行うことができる。 実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。 さらに, 熱処理プロセスの解析により, 効率的な離散探索が探索から搾取までの明確な位相遷移を行うことを示した。 さらに,本手法は,帰納的バイアスを付与することにより,合成プログラムのきめ細かい制御を可能にすることを実証する。 これらの知見は、離散トランスフォーマーをデモ不要なアルゴリズム発見のための堅牢なフレームワークとして確立し、トランスフォーマーの解釈可能性への厳密な経路を提供する。

関連論文リスト

• From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
  本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。 その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
  論文  参考訳（メタデータ） (2025-12-21T08:10:26Z)
• Unitary Synthesis with AlphaZero via Dynamic Circuits [0.0]
  ユニタリ合成は、ターゲットのユニタリ変換を量子ゲートの列に分解する過程である。 我々は,AlphaZeroにインスパイアされた強化学習エージェントを用いて,ユニタリの正確なコンパイルを行う手法を提案する。 このアプローチは低い推論時間を実現し、異なるゲート集合、およびキュービット接続性に対して多元性を証明する。
  論文  参考訳（メタデータ） (2025-08-28T21:15:28Z)
• On the Existence of Universal Simulators of Attention [17.01811978811789]
  注意出力と基礎となる基本行列を同一に再現し、RASPを介してアクティベーション操作を行う方法を提案する。 我々の証明は、これまで学習によってのみ近似することが知られていたアルゴリズムによって達成可能なデータ非依存の解の存在を初めて示すものである。
  論文  参考訳（メタデータ） (2025-06-23T15:15:25Z)
• A Smooth Transition Between Induction and Deduction: Fast Abductive Learning Based on Probabilistic Symbol Perception [81.30687085692576]
  確率的シンボル知覚(PSP)と呼ばれる最適化アルゴリズムを導入し,誘導と推論のスムーズな遷移を実現する。 実験は有望な結果を実証する。
  論文  参考訳（メタデータ） (2025-02-18T14:59:54Z)
• Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models [9.56229382432426]
  本研究の目的は、トランスフォーマーモデルをアルゴリズム機能を実装する人間可読表現にリバースエンジニアリングすることである。 GPT-2 SmallとLlama-2-7Bの両方のキーサブ回路を回路解釈可能性解析により同定する。 このサブ回路は、インターバル回路、スペイン語の数字と月数継続、自然言語の単語問題など、様々な数学的なプロンプトに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-11-07T16:58:51Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL [154.13105285663656]
  置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。 残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。 モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
  論文  参考訳（メタデータ） (2022-09-20T16:42:59Z)
• Rethinking Reinforcement Learning based Logic Synthesis [13.18408482571087]
  我々は,重要な演算子を自動的に認識し,未知の回路に一般化可能な共通演算子列を生成するRLベースの新しい手法を開発した。 本アルゴリズムは,EPFLベンチマーク,プライベートデータセット,産業規模での回路で検証する。
  論文  参考訳（メタデータ） (2022-05-16T12:15:32Z)
• Gradient-Based Learning of Discrete Structured Measurement Operators for Signal Recovery [16.740247586153085]
  本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。 GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化 いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
  論文  参考訳（メタデータ） (2022-02-07T18:27:08Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。