論文の概要: Learning When to Abort in Transformer Planning: A Mechanistic Study
- arxiv url: http://arxiv.org/abs/2610.25300v1
- Date: Sun, 18 Oct 2026 14:33:08 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:02:50.45108
- Title: Learning When to Abort in Transformer Planning: A Mechanistic Study
- Title（参考訳）: 変圧器計画における中止時期の学習 : 機械的考察
- Abstract要約: 我々は、無効な遷移のエラーを検出するためにモデルを訓練する。
実験により、エラー検出と再試行を組み合わせることで、モデルの計画信頼性が向上することが示された。
- 参考スコア（独自算出の注目度）: 30.404822931444812
- License:
- Abstract: Planning does not by itself imply the ability to recognise errors, but recognising errors can improve planning capacity. In this paper, we study this phenomenon in Transformer planning. To analyze the inner mechanism, we follow the approach of Wang et al. (2024) and abstract planning as path-finding in graphs. In this setting, we train the model to detect the error of invalid transitions, i.e., after the model generates a next node that is not adjacent with the current node, the model should then generate a special abort token x. For expressiveness, we construct a Transformer with feed-forward width $O(|V|)$ for any fixed graph with node set $V$. It can detect all possible invalid transitions, and select a valid next node if the prefix is valid. We then propose a worst-case lower bound on feed-forward width, which makes the detector's linear width near-optimal up to logarithmic factors. In trained models, we demonstrate that invalid-transition detection increases previous-node attention, and most of the valid--invalid separation locates in the feed-forward network's output. This accords with our theoretical insights. Finally, we use this error detection to improve the model's performance: at inference, generating the abort token x will directly cause an external procedure to discard the attempt and restart from the original prompt. Experiments show that error detection combined with retry improves model's planning reliability on graphs, Countdown, and mazes.
- Abstract（参考訳）: 計画自体がエラーを認識する能力を意味するのではなく、エラーを認識することは計画能力を改善する可能性がある。
本稿では,トランスフォーマー計画におけるこの現象について考察する。
内部メカニズムを解析するために、Wang et al (2024) のアプローチとグラフのパスフィニングとしての抽象的計画に従う。
この設定では、モデルをトレーニングして、無効な遷移のエラーを検出する。すなわち、モデルが現在のノードに隣接していない次のノードを生成した後、モデルは特別な中止トークンxを生成する。
表現性のために、ノードセットが$V$の任意の固定グラフに対してフィードフォワード幅$O(|V|)$の変換器を構築する。
可能なすべての無効な遷移を検出し、プレフィックスが有効であれば有効な次のノードを選択することができる。
次に、フィードフォワード幅の最悪の下限を提案し、これにより検出器の線形幅を対数的要因に近づける。
トレーニングされたモデルでは、無効遷移検出は前ノードの注意を増し、有効非有意な分離のほとんどはフィードフォワードネットワークの出力に配置される。
これは我々の理論的な洞察と一致している。
最後に、このエラー検出をモデルの性能を改善するために使用します。推論時に、abortトークンxを生成すると、直接外部プロシージャを発生させ、試行を破棄し、元のプロンプトから再起動します。
実験により、エラー検出と再試行を組み合わせることで、グラフ、カウントダウン、迷路におけるモデルの計画信頼性が向上することが示された。
関連論文リスト
- CyberGFM: Graph Foundation Models for Lateral Movement Detection in Enterprise Networks [6.820252809996371]
ランダムウォークにおけるトークンの欠落をコンピュータネットワークで予測するために,グラフ基礎モデルをトレーニングする方法を示す。
グラフ基盤モデルはリンク予測のために微調整され、ネットワーク異常検出器として使用される。
この新しいアプローチにより、ランダムウォークベースの手法の効率性と、深層学習手法の豊かな意味表現を組み合わせることができる。
論文 参考訳（メタデータ） (2026-01-09T18:08:47Z) - Toward a Theory of Tokenization in LLMs [26.516041872337887]
本稿では, 簡単なデータ生成プロセスにおいて, 変圧器の挙動を研究することによって, 理論的観点からトークン化について検討する。
変換器によって学習された最も単純なユニグラムモデルでさえ、$ktextth$-order Markovソースから引き出されたシーケンスの確率を最適にモデル化できることを示す。
論文 参考訳（メタデータ） (2024-04-12T09:01:14Z) - ADA-GAD: Anomaly-Denoised Autoencoders for Graph Anomaly Detection [84.0718034981805]
我々はAnomaly-Denoized Autoencoders for Graph Anomaly Detection (ADA-GAD)という新しいフレームワークを導入する。
第1段階では,異常レベルを低減したグラフを生成する学習自由な異常化拡張法を設計する。
次の段階では、デコーダは元のグラフで検出するために再訓練される。
論文 参考訳（メタデータ） (2023-12-22T09:02:01Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳（メタデータ） (2022-10-27T15:30:52Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2022-06-23T14:16:30Z) - Invertible Neural Networks for Graph Prediction [22.140275054568985]
本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。
私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
論文 参考訳（メタデータ） (2022-06-02T17:28:33Z) - Gransformer: Transformer-based Graph Generation [14.161975556325796]
Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。
我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。
また、ノードペア間のグラフベースの親しみ度尺度も導入する。
論文 参考訳（メタデータ） (2022-03-25T14:05:12Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。