論文の概要: Executing Causal Structure Learning with Linear-Attention Transformers
- arxiv url: http://arxiv.org/abs/2610.10395v1
- Date: Wed, 07 Oct 2026 16:48:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.059004
- Title: Executing Causal Structure Learning with Linear-Attention Transformers
- Title（参考訳）: リニアアテンション変換器を用いた因果構造学習
- Abstract要約: 本稿では,非周期性を適用しながら因果グラフを繰り返し更新する標準連続法について検討する。
我々は、フォワードパスが正確に1つの更新を再現する固定重変圧器を明示的に構築する。
正確な実行には乗算器の保持が不可欠であることを示す。
- 参考スコア（独自算出の注目度）: 0.3580891736370874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers can execute algorithms on data given in their input. We ask whether they can do the same for causal discovery. We study a standard continuous method that repeatedly updates a candidate causal graph while enforcing acyclicity. We explicitly construct a fixed-weight transformer whose forward pass exactly reproduces one update of this method, so repeated blocks reproduce its optimization trajectory. The transformer carries the current graph and the algorithm's multiplier between updates. We show that retaining the multiplier is essential for exact execution, since different multiplier values can lead to different next updates. We also give conditions under which, within a fixed stage, the number of updates needed to reach a target accuracy can be computed in advance and rounding errors stay bounded as depth grows. Experiments show that the constructed block agrees with a reference update to floating-point precision, while arithmetic replay on synthetic data and seven published benchmark network topologies inherits the reference solver's successes and failures. This separates accurate algorithm execution from accurate causal recovery. In contrast, the ordinary attention models tested under our training budgets do not reliably execute the update or transfer to larger graphs. Whether gradient training can learn an executor in the architecture class of the construction remains open.
- Abstract（参考訳）: トランスフォーマーは、入力されたデータに対してアルゴリズムを実行することができる。
因果発見のためにも同じことができるかどうかを問う。
本稿では,非周期性を適用しながら因果グラフを繰り返し更新する標準連続法について検討する。
フォワードパスが1つの更新を正確に再現する固定重変圧器を明示的に構築し、繰り返しブロックはその最適化軌道を再現する。
変換器は、現在のグラフと更新間のアルゴリズムの乗算器を運ぶ。
乗算器の値が異なることが次の更新に繋がる可能性があるため、正確な実行には乗算器の保持が不可欠であることを示す。
また, 一定段階内において, 目標精度に達するために必要な更新回数を事前に計算し, 深さが大きくなるにつれて丸め誤差が拘束される条件も提示する。
実験により、構築されたブロックは浮動小数点精度への参照更新に一致し、合成データと7つのベンチマークネットワークトポロジが参照解法の成功と失敗を継承することを示した。
これにより、正確なアルゴリズム実行と正確な因果回復を分離する。
対照的に、トレーニング予算の下でテストされる通常の注意モデルは、更新や大きなグラフへの転送を確実に実行しません。
グラデーショントレーニングが建設のアーキテクチャクラスで実行者を学ぶことができるかどうかはまだ未定である。
関連論文リスト
- Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does [40.71142599085565]
ループトランスフォーマーは繰り返し同じトランスフォーマー層を適用し、遅延計算の繰り返しアーキテクチャを提供する。
それぞれのループが実際に同じことを繰り返すのか、そうでなければ、どの共有パラメータを異なる操作にルーティングするのか?
凍結したループは、その入射した隠れ状態を変更することで、異なる遷移に向けて操れることを示す。
論文 参考訳（メタデータ） (2026-09-30T14:59:21Z) - Looped Transformers as Optimizers [39.57587942081881]
Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。
最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。
ループした隠された状態は、深さを通して更新される高速な重みと見なす。
ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
論文 参考訳（メタデータ） (2026-09-29T12:31:51Z) - Scheduling Recursive Reasoning in Looped Transformers [21.17643456743291]
Trajectory Adaptive Progress-Fluctuation Schedulerは、リトレーニングなしで構造化推論タスクの終端精度を向上させる。
TAPSは、一致したベースライン精度で最大1.56倍のウォールクロックスピードアップで、さらなる精度向上をもたらす。
これらの結果は、アーキテクチャと深さと共に繰り返し推論の相補的な制御軸として更新スケールを確立する。
論文 参考訳（メタデータ） (2026-09-29T03:54:50Z) - Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers [40.43356191604634]
Looped Transformerは、反復的な遅延推論のために共有レイヤを再利用することで、テスト時間のスケーリングにパラメータ効率のよいルートを提供する。
追加のイテレーションは、参照応答のサポートを減らし、更新の方向が局所的に非ヘルペスであるか、その完全な変位が過度に動きすぎるかがはっきりしないままにすることができる。
我々は、モデル自身の更新方向に沿って、このサポートを測定する参照ユーティリティを分析して、この区別について検討する。
論文 参考訳（メタデータ） (2026-09-15T05:42:02Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。
多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2025-10-04T01:38:48Z) - How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。
我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。
我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
論文 参考訳（メタデータ） (2024-02-22T17:47:03Z) - Adapting to Change: Robust Counterfactual Explanations in Dynamic Data
Landscapes [9.943459106509687]
我々は、新しい半教師付きグラフカウンターファクトExplainer(GCE)方法論、ダイナミックGRAphカウンタファクトExplainer(DyGRACE)を紹介する。
これは、データ配布に関する初期知識を活用して、有効な偽物を探すと同時に、後続の時間ステップにおいて、潜在的に時代遅れな決定関数からの情報を使用することを避けます。
DyGRACEは非常に効果的でドリフト検出器として機能し、反復間の再構成誤差の違いに基づいて分布ドリフトを識別する。
論文 参考訳（メタデータ） (2023-08-04T14:41:03Z) - Benchmarking Neural Network Training Algorithms [52.890134877995195]
トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。
コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。
固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
論文 参考訳（メタデータ） (2023-06-12T15:21:02Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳（メタデータ） (2021-03-24T10:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。