論文の概要: Symmetry-Aware Transformer Training for Automated Planning

• arxiv url: http://arxiv.org/abs/2508.07743v1
• Date: Mon, 11 Aug 2025 08:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.005794
• Title: Symmetry-Aware Transformer Training for Automated Planning
• Title（参考訳）: 自動計画のための対称性を考慮した変圧器訓練
• Authors: Markus Fritzsche, Elliot Gestrin, Jendrik Seipp,
• Abstract要約: 変圧器は多くの設定で優れていますが、自動計画分野の応用は限られています。 最先端のデコーダ専用トランスであるPlanGPTは、簡単な計画問題から難しい計画問題への外挿に苦労している。 本研究では, トランスフォーマーの対称性を意識し, 帰納バイアスの欠如を補うために, 新たなコントラスト学習目標を提案する。
• 参考スコア（独自算出の注目度）: 6.206127662604578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While transformers excel in many settings, their application in the field of automated planning is limited. Prior work like PlanGPT, a state-of-the-art decoder-only transformer, struggles with extrapolation from easy to hard planning problems. This in turn stems from problem symmetries: planning tasks can be represented with arbitrary variable names that carry no meaning beyond being identifiers. This causes a combinatorial explosion of equivalent representations that pure transformers cannot efficiently learn from. We propose a novel contrastive learning objective to make transformers symmetry-aware and thereby compensate for their lack of inductive bias. Combining this with architectural improvements, we show that transformers can be efficiently trained for either plan-generation or heuristic-prediction. Our results across multiple planning domains demonstrate that our symmetry-aware training effectively and efficiently addresses the limitations of PlanGPT.
• Abstract（参考訳）: トランスフォーマーは多くの設定で優れていますが、自動計画分野のアプリケーションには制限があります。 PlanGPTのような最先端のデコーダのみのトランスフォーマーは、簡単な計画問題から難しい計画問題への外挿に苦労している。 計画タスクは任意の変数名で表され、識別子以上の意味を持たない。 これは、純粋なトランスフォーマーが効率的に学習できない等価表現の組合せ爆発を引き起こす。 本研究では, トランスフォーマーの対称性を意識し, 帰納バイアスの欠如を補うために, 新たなコントラスト学習目標を提案する。 これとアーキテクチャの改善を組み合わせることで、トランスフォーマーはプランジェネレーションやヒューリスティックな予測のために効率的に訓練できることを示す。 複数の計画領域にまたがる結果から,PlanGPTの限界に対して,対称性を考慮した学習が効果的かつ効果的に対処できることが示唆された。

関連論文リスト

• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens [23.737606860443705]
  本研究では, ハイジャック攻撃に対する変換器における文脈内学習の対角的堅牢性について検討する。 GPT-2アーキテクチャを持つ線形変圧器と変圧器の両方がこのようなハイジャック攻撃に対して脆弱であることを示す。 このような攻撃に対する敵の堅牢性は、敵の訓練によって著しく改善される。
  論文  参考訳（メタデータ） (2024-11-07T21:25:58Z)
• Transformers to Predict the Applicability of Symbolic Integration Routines [0.0]
  我々は、このタスクをコンピュータシステムで最適化するために機械学習がどのように使われるかを検討する。 我々は、特定の統合手法が成功するかどうかを予測するトランスフォーマーを訓練し、既存の人造アルジェブラと比較する。 変換器はこれらのガードより優れており、最大30%の精度と70%の精度が得られる。
  論文  参考訳（メタデータ） (2024-10-31T14:03:37Z)
• Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference [53.419249906014194]
  オフライン強化学習から得られたデータセットを用いた計画のための生成モデルについて検討する。 本稿では,Transformerベースのトラジェクトリジェネレータと最終戻り値との接続に潜時変数を利用する新しいモデルであるLatent Plan Transformerを紹介する。
  論文  参考訳（メタデータ） (2024-02-07T08:18:09Z)
• When can transformers reason with abstract symbols? [25.63285482210457]
  大規模なタスク群における関係推論タスクに対して、変換器は抽象的関係を学習し、テストセットに一般化する。 これは、古典的な完全接続ネットワークとは対照的に、我々は推論を学ぶのに失敗している。
  論文  参考訳（メタデータ） (2023-10-15T06:45:38Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Motion Planning Transformers: One Model to Plan Them All [15.82728888674882]
  本稿では,複雑な動き計画問題を効率的に解くためのトランスフォーマーに基づく手法を提案する。 提案手法では,まずトランスフォーマーを用いて地図上の領域を同定し,最適経路を含む可能性のある地図領域に注意を向けるとともに,最終衝突のない経路を生成するためにローカルプランナーを適用する。
  論文  参考訳（メタデータ） (2021-06-05T04:29:16Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。