論文の概要: Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping

• arxiv url: http://arxiv.org/abs/2402.14083v1
• Date: Wed, 21 Feb 2024 19:17:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 17:22:47.888031
• Title: Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping
• Title（参考訳）: Beyond A*: Search Dynamics Bootstrappingによるトランスフォーマーによるプランニングの改善
• Authors: Lucas Lehnert, Sainbayar Sukhbaatar, Paul Mcvay, Michael Rabbat, Yuandong Tian
• Abstract要約: 本稿では,ソコバンパズルの93.7%を最適に解くトランスフォーマーモデルであるサーチフォーマーを提案する。 Searchformerは、$A*$の検索ダイナミクスを予測するために訓練されたエンコーダデコーダトランスフォーマーモデルである。 また、Skobanのような大規模で複雑な意思決定タスクに対して、検索フォーマーがどのようにスケールするかを示す。
• 参考スコア（独自算出の注目度）: 37.70810713923497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Transformers have enabled tremendous progress in various application settings, such architectures still lag behind traditional symbolic planners for solving complex decision making tasks. In this work, we demonstrate how to train Transformers to solve complex planning tasks and present Searchformer, a Transformer model that optimally solves previously unseen Sokoban puzzles 93.7% of the time, while using up to 26.8% fewer search steps than standard $A^*$ search. Searchformer is an encoder-decoder Transformer model trained to predict the search dynamics of $A^*$. This model is then fine-tuned via expert iterations to perform fewer search steps than $A^*$ search while still generating an optimal plan. In our training method, $A^*$'s search dynamics are expressed as a token sequence outlining when task states are added and removed into the search tree during symbolic planning. In our ablation studies on maze navigation, we find that Searchformer significantly outperforms baselines that predict the optimal plan directly with a 5-10$\times$ smaller model size and a 10$\times$ smaller training dataset. We also demonstrate how Searchformer scales to larger and more complex decision making tasks like Sokoban with improved percentage of solved tasks and shortened search dynamics.
• Abstract（参考訳）: Transformerは様々なアプリケーション設定で大幅な進歩を実現していますが、そのようなアーキテクチャは複雑な意思決定タスクを解決するための従来の象徴的なプランナーより遅れています。 本研究では,複雑な計画課題を解決するために変圧器を訓練する方法を実証し,これまで見つからなかったソルコバンパズルの93.7%を最適に解く変圧器モデルであるsearchformerを,標準の$a^*$検索よりも26.8%少ない検索ステップで提供する。 Searchformerは、$A^*$の検索ダイナミクスを予測するために訓練されたエンコーダデコーダトランスフォーマーモデルである。 このモデルはエキスパートイテレーションによって微調整され、$a^*$の検索よりも少ない検索ステップを実行し、最適な計画を生成する。 トレーニング手法では,A^*$の探索ダイナミクスをトークンシーケンスとして表現し,シンボルプランニング中にタスク状態の追加や検索ツリーへの削除を行う。 迷路ナビゲーションに関するアブレーション研究では、Searchformerが5-10$\times$小さなモデルサイズと10$\times$小さなトレーニングデータセットで、最適な計画を直接予測するベースラインを大幅に上回っていることが分かりました。 また,解決タスクのパーセンテージを向上し,検索ダイナミクスを短縮した,sokobanのような大規模で複雑な意思決定タスクに対して,searchformerがいかにスケールするかを実証する。

関連論文リスト

• ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
  テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。 木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。 本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:30:38Z)
• Transformers Struggle to Learn to Search [32.231381064112085]
  基礎的なグラフ接続問題をテストベッドとして使用し、最小限の高被覆データを効果的に生成し、小型変圧器を訓練する。 適切なトレーニング分布が与えられると、トランスフォーマーは検索を学ぶことができる。 また、文脈内で検索を行うこと(すなわち、チェーン・オブ・シント)は、より大きなグラフで検索することを学ぶことができないことを解決しない。
  論文  参考訳（メタデータ） (2024-12-06T01:29:24Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Distilling Transformers for Neural Cross-Domain Search [9.865125804658991]
  我々はシーケンス・ツー・シーケンス・モデルが概念的には理想であると主張する。 我々は,データ拡張スキームとして,新しい蒸留目標を導出する。 自然言語ソースコード検索をクロスドメイン検索のケーススタディとして用い,近年の自然言語コード検索ベンチマークであるCodeSearchNetチャレンジの現在のリーダを大きく改善することで,このアイデアの有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-06T22:30:19Z)
• Memory-Efficient Differentiable Transformer Architecture Search [59.47253706925725]
  マルチ分割可逆ネットワークを提案し,それをDARTSと組み合わせる。 具体的には、最後のレイヤの出力だけを保存するために、バックプロパゲーション・ウィズ・リコンストラクション・アルゴリズムを考案する。 本稿では,WMT'14,WMT'14,WMT'14,WMT'14,WMT'14,WMT'14の3つのシーケンス・ツー・シーケンス・データセットを用いて検索アーキテクチャを評価する。
  論文  参考訳（メタデータ） (2021-05-31T01:52:36Z)
• AutoTrans: Automating Transformer Design via Reinforced Architecture Search [52.48985245743108]
  本稿では,手作業に適したトランスフォーマーアーキテクチャを実現するために,レイヤノルムの設定方法,スケール,レイヤ数,ヘッド数,アクティベーション関数などを実証的に検討する。 CoNLL03、Multi-30k、IWSLT14、WMT-14の実験は、探索されたトランスモデルが標準トランスモデルより優れていることを示している。
  論文  参考訳（メタデータ） (2020-09-04T08:46:22Z)
• Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning [3.479254848034425]
  私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。 私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
  論文  参考訳（メタデータ） (2020-03-27T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。