論文の概要: Best-of-Depth: Learning Exploratory Dynamics in Looped Transformers

• arxiv url: http://arxiv.org/abs/2611.04663v1
• Date: Tue, 03 Nov 2026 10:50:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:28:36.710783
• Title: Best-of-Depth: Learning Exploratory Dynamics in Looped Transformers
• Title（参考訳）: 最深度:ループ変換器における探索ダイナミクスの学習
• Abstract要約: Looped Transformerは、遅延状態更新を繰り返し行う推論時間計算を拡張する。 提案するBest-of-Depth (BoD) は,再帰軌道を候補集合として訓練する。 N-Queensは91.03%、ファイナルディープストレーニングは45.75%である。
• 参考スコア（独自算出の注目度）: 23.393723996550985
• License:
• Abstract: Looped Transformers extend inference-time computation through repeated latent-state updates, but final-depth training does not directly encourage useful intermediate alternatives. We introduce Best-of-Depth (BoD), which trains a recurrent trajectory as a candidate set by minimizing prediction loss across depths. Different valid targets can be matched at different depths without architectural changes or depth-specific labels. An exact-match analysis connects this objective to solution coverage. On N-Queens completion and graph coloring, BoD improves coverage over final-depth and intermediate-supervision objectives. N-Queens coverage reaches 91.03%, versus 45.75% for final-depth training. Further experiments show discovery beyond the training depth and recovery of solutions withheld from teacher pools on familiar inputs. Fine-tuning a pretrained looped language model with BoD yields higher pooled code-generation success than final-depth training when programs are generated separately at evaluated fixed depths. These results support training recurrent computation for solution discovery along its trajectory.
• Abstract（参考訳）: Looped Transformerは遅延状態更新を繰り返して推論時間計算を拡張するが、最終深度トレーニングは有効な中間代替手段を直接促進しない。 そこで,Best-of-Depth(Best-of-Depth,BOD)を提案する。 異なる有効なターゲットは、アーキテクチャの変更やディープ固有のラベルなしで、異なる深さでマッチングすることができる。 正確なマッチング分析は、この目的をソリューションカバレッジに結びつける。 N-Queens の完備化とグラフカラー化において、BoD は最終深度および中間超視的目標に対するカバレッジを改善している。 N-Queensは91.03%、ファイナルディープストレーニングは45.75%である。 さらなる実験では、教師プールから持ちこたえられたソリューションの学習深度と回復以上の発見が親しみやすいインプットで示される。 BoDを用いた事前学習ループ言語モデルの微調整は、プログラムが評価された固定深度で別々に生成される場合、最終深度トレーニングよりも、プールドコード生成の成功率が高い。 これらの結果は、その軌道に沿った解発見のためのリカレント計算のトレーニングを支援する。

関連論文リスト

• Learning to Extrapolate in Depth with Looped Transformers [46.17633452082173]
  ループ変換器は繰り返しにまたがってひとつのブロックを再利用し、自然な疑問を提起する。 本研究では、より難しいグラフがより長い範囲の情報伝達を必要とする全ペアグラフ接続について検討する。 このウィンドウに対して明確なエンドポイントを導出し、トレーニングの深さと硬さの関数としてトレーニングを超えて解けるグラフ硬度を束縛する。
  論文  参考訳（メタデータ） (2026-10-10T01:30:59Z)
• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Addressing Gradient Misalignment in Data-Augmented Training for Robust Speech Deepfake Detection [60.515439134387755]
  音声ディープフェイク検出(SDD)のための勾配アライメントを用いたデュアルパスデータ拡張(DPDA)トレーニングフレームワークを提案する。 本フレームワークでは,各学習発話を2つの入力経路で処理する。 In-the-Wildデータセットの誤差率は,ベースラインと比較して最大18.69%減少する。
  論文  参考訳（メタデータ） (2025-09-25T02:31:54Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Is Integer Arithmetic Enough for Deep Learning Training? [2.9136421025415205]
  浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。 本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。 提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T22:36:57Z)
• DOGE-Train: Discrete Optimization on GPU with End-to-end Training [28.795080637690095]
  0-1整数線形プログラムの緩和を解くために,高速でスケーラブルなデータ駆動型手法を提案する。 グラフニューラルネットワーク(GNN)とラグランジュ分解に基づくアルゴリズムであるFastDOGを用いる。
  論文  参考訳（メタデータ） (2022-05-23T21:09:41Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Direct Depth Learning Network for Stereo Matching [79.3665881702387]
  ステレオマッチングのための新しいダイレクトディープス学習ネットワーク(DDL-Net)が設計されている。 DDL-Netは、粗度推定段階と適応勾配深度補正段階の2段階からなる。 我々は,DDL-NetがSceneFlowデータセットで25%,DrivingStereoデータセットで12%の平均的な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2020-12-10T10:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。