論文の概要: Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts

• arxiv url: http://arxiv.org/abs/2607.20519v1
• Date: Wed, 08 Jul 2026 02:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.208195
• Title: Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts
• Title（参考訳）: ループ変換器の適応深さ:学習Haltingゲートと軌道読み出しの診断
• Abstract要約: ループ変換器の適応深度をトラジェクトリ・リードアウトレンズを用いて検討する。 固定最優先深度監視は,その中間状態が有用な停止信号を示す難易度対応トラジェクトリを生成する。 ループ変換器の適応深さを軌跡形成と出口読み出しの連成問題として再検討した。
• 参考スコア（独自算出の注目度）: 16.36140240070991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers increase test-time computation by repeatedly applying a shared recurrent block. Learned halting objectives in looped Transformers typically use a single exit distribution both as the inference-time stopping rule and as the training-time weighting of per-depth losses. This entangles exit selection with trajectory formation: the gate not only chooses which recurrent state to use, but also determines how strongly each intermediate state is supervised. Consequently, poor adaptive-compute performance can arise from the readout, the induced trajectory, or their interaction. We study adaptive depth in looped Transformers through this trajectory--readout lens, across controlled synthetic tasks (modular arithmetic and binary parity) and large-scale Ouro-1.4B and 2.6B checkpoints. We find that fixed-prior depth supervision, which shapes the trajectory without an input-dependent halting policy, produces difficulty-aware trajectories whose intermediate states expose useful stopping signals, and that simple post-hoc confidence readouts often match or outperform learned linear and MLP gates. Fitting gates on frozen trajectories localizes the failure: it appears to stem mainly from the trajectory induced by joint gate training rather than from limited gate expressivity. The same pattern is present in Ouro evaluations, where pretrained ponder gates are competitive but not uniformly Pareto-optimal, and measured latency confirms that the resulting reductions in average exit depth translate into practical inference-time savings. Our systematic diagnostic evaluation reframes adaptive depth in looped Transformers as a joint problem of trajectory formation and exit readout, rather than gate learning alone, highlighting a distinction that prior learned-halting work has often left implicit.
• Abstract（参考訳）: Looped Transformerは、共有リカレントブロックを繰り返し適用することで、テスト時間計算を増加させる。 ループ変換器の学習された停止目標は通常、推論時間停止規則と深度当たりの損失のトレーニング時間重み付けの両方に単一の出口分布を使用する。 ゲートはどの繰り返し状態を使うかを選択するだけでなく、それぞれの中間状態がどれだけ強く管理されているかを決定する。 その結果、読み出し、誘導軌道、またはそれらの相互作用によって適応計算性能が低下する可能性がある。 制御された合成タスク(モジュラ算術とバイナリパリティ)と大規模Ouro-1.4Bおよび2.6Bチェックポイントにまたがるループ変換器の適応深さについて検討した。 入力依存の停止ポリシーを使わずに軌道を形作る固定主深度監視は、中間状態が有用な停止信号を示す難易度対応トラジェクトリを生成し、学習された線形ゲートとMPPゲートとの整合あるいは整合性によく適合する。 凍結した軌跡にゲートを配置することは、その障害を局所化する:それは主に、限られたゲート表現性からではなく、ジョイントゲートトレーニングによって誘導される軌跡に由来するように見える。 また, 平均出口深度を減少させることで, 平均降水量の削減が現実的な予測時間節約に繋がることを確認した。 我々の系統的診断評価は、ゲート学習のみでなく、軌道形成と出口読み出しの連関問題としてループ変換器の適応深さを再設定し、事前の学習半減作業がしばしば暗黙に残されているという特徴を強調した。

関連論文リスト

• UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow [14.60117153247222]
  双方向不対画像変換は, 両方向のコヒーレントな変換をペアの監督なしに学習しながら, ソース固有の構造を保たなければならない。 単時間条件の速度場の前方逆積分として双方向翻訳を表現した整流フローフレームワークUniCycleFlowを提案する。
  論文  参考訳（メタデータ） (2026-08-07T04:05:04Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Same Signal, Opposite Meaning: Direction-Informed Adaptive Learning for LLM Agents [24.71914991820339]
  LLMエージェントは、性能改善時にのみ余分な計算を実行することを目標としている。 既存の手法では、計算の計算に必要なゲーティング信号から計算の値への一定の方向を仮定して、信頼性、不確実性、難易度に基づくゲートを用いるのが一般的である。 このアライメントは不安定であり、タスクが修正された場合でも環境やバックボーンをまたいで逆転する。 DIAL(Direction-Informed Adaptive Learning)は、信号に依存しない対実探索から訓練されたスパースゲートであり、各状態特徴の実用方向を学習する。
  論文  参考訳（メタデータ） (2026-05-07T20:15:51Z)
• Temporal Attention for Adaptive Control of Euler-Lagrange Systems with Unobservable Memory [1.2891210250935148]
  本稿では,自己注意ブロックによって演算トルク制御器の利得が生成されるメタ制御アーキテクチャを提案する。 注意頭数は、記憶状態勾配の代理解析によりポリシートレーニングの前に選択される。 この手法は非線形摩擦と可変ペイロードを持つ2-DOFマニピュレータで試験される。
  論文  参考訳（メタデータ） (2026-05-07T19:25:18Z)
• Meta-Adaptive Beam Search Planning for Transformer-Based Reinforcement Learning Control of UAVs with Overhead Manipulators under Flight Disturbances [8.618483849755604]
  オーバーヘッドマニピュレータを備えたドローンは、検査、メンテナンス、コンタクトベースのインタラクションにユニークな機能を提供する。 ドローンとそのマニピュレータの動作は強く結びついており、風や制御の欠陥による小さな姿勢の変化でさえ、エンドエフェクターを意図した経路から遠ざける。 変換器をベースとしたDouble Deep Q Learning (DDQN) を用いた強化学習フレームワークを開発した。 これにより、コントローラは実際のモデル上でこれらのアクションを直接実行するのではなく、シミュレーションされたロールアウトを通じてエンドエフェクタの動きを予測できる。
  論文  参考訳（メタデータ） (2026-03-27T17:08:40Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Directional Optimization Asymmetry in Transformers: A Synthetic Stress Test [0.15229257192293197]
  変換子は理論的には逆不変であり、その関数クラスは右から左への写像よりも左から右への写像を好まない。 LLMの時間的非対称性に関する最近の研究は、実世界のコーパスが独自の時間的矢印を持っていることを示唆している。 方向性の障害は、言語統計学によるものなのか、あるいはアーキテクチャ自体によるものなのか?
  論文  参考訳（メタデータ） (2025-11-25T07:03:20Z)
• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Accurate methods for the analysis of strong-drive effects in parametric gates [94.70553167084388]
  正確な数値と摂動解析手法を用いて効率的にゲートパラメータを抽出する方法を示す。 我々は,$i$SWAP, Control-Z, CNOT など,異なる種類のゲートに対する最適操作条件を同定する。
  論文  参考訳（メタデータ） (2021-07-06T02:02:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。