論文の概要: Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking
- arxiv url: http://arxiv.org/abs/2608.07077v1
- Date: Fri, 07 Aug 2026 10:29:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.465621
- Title: Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking
- Title（参考訳）: ハノイの塔の再考と思考のイライラ
- Abstract要約: ハノイの塔は単純な計画パズルです。
現在のモデルはパズルの標準的な定式化を解くが、フラット・ツー・フラットな変種にはまだ苦戦している。
本稿では,小型の社内変圧器と大規模サードパーティのLEMの両方が,この課題をいかに解決するかを詳細に検討する。
- 参考スコア（独自算出の注目度）: 0.12277343096128711
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Tower of Hanoi is a simple planning puzzle that in prior work has proven challenging for large reasoning models (LRMs). Current models solve the standard formulation of the puzzle, but still struggle with the flat-to-flat variant (where initial and goal states are not restricted to have all rings on a single peg). This paper presents an in-depth study of how both small, in-house Transformers and large, third-party LRMs solve this task. To understand the failures mechanistically, we first train small Transformers from scratch on precomputed solution traces. Using a variety of interpretability techniques, we show that these Transformers develop an emergent world model: a linearly decodable, geometrically faithful representation of the puzzle's state space (the Sierpinski triangle), that is causally involved in solving the puzzles. Second, we return to the large LLMs and apply our techniques to two frontier reasoning models, Qwen3.6-27B and DeepSeek-R1-Distill-Qwen-32B, that attempt to solve the task through extended chain-of-thought. Surprisingly, we find that both models encode the Sierpinski world model near-perfectly at the end of the prompt, and yet fail at the majority of tasks when there are more than 3 rings. We locate the source of this failure in the decaying representation of the world model. We probe for the representation at different stages during planning, and establish causality by showing that performance can be improved by injecting the prompt-time representation at inference. The failure of the models is thus one of maintenance of the required representations, not their absence, and performance is at least partially recoverable. These results thus reframe the reported collapse in performance from prior work: current Large Reasoning Models build a world model, and then lose it.
- Abstract（参考訳）: ハノイの塔は単純な計画パズルであり、以前の研究で大きな推論モデル(LRM)に挑戦することが証明された。
現在のモデルはパズルの標準的な定式化を解くが、フラット・ツー・フラットな変種(初期状態とゴール状態は1ペグにすべての環を持つように制限されない)に苦慮している。
本稿では,小型の社内変圧器と大規模サードパーティのLEMの両方が,この課題をいかに解決するかを詳細に検討する。
故障を機械的に理解するために、我々はまず、あらかじめ計算された解トレースに基づいて小さなトランスフォーマーをスクラッチから訓練する。
様々な解釈可能性技術を用いて、これらのトランスフォーマーが創発的世界モデル、すなわちパズルの状態空間(シエルピンスキー三角形)を線形に復調可能かつ幾何学的に忠実に表現し、パズルの解法に因果的に関わっていることを示す。
第2に、我々は大きなLLMに戻り、我々の技術を2つのフロンティア推論モデル、Qwen3.6-27BとDeepSeek-R1-Distill-Qwen-32Bに適用する。
驚くべきことに、どちらのモデルもプロンプトの終わりにほぼ完璧にSierpinski世界モデルを符号化しているが、3つ以上のリングが存在する場合、ほとんどのタスクで失敗する。
この失敗の原因は、世界モデルの崩壊する表現にある。
我々は,計画中の異なる段階の表現を探索し,推論時に即時表現を注入することにより,性能を向上できることを示し,因果性を確立する。
したがって、モデルの失敗は必要な表現のメンテナンスの1つであり、その欠如ではなく、少なくとも部分的には回復可能である。
現在の大規模推論モデルは世界モデルを構築し、それを失う。
関連論文リスト
- DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する
我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。
本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
論文 参考訳（メタデータ） (2026-07-01T02:32:02Z) - Transformers Linearly Represent Highly Structured World Models [2.4732707667151286]
本研究では,Sudokuのトレースを解く8層トランスをトレーニングし,内部計算の力学解析を行う。
最終層に専用ニューロンの小さなセットを配置し、それぞれが特定のセルに対して正確に1桁の値が残っていることを個別に検出する。
論文 参考訳（メタデータ） (2026-05-13T07:59:05Z) - MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。
ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
論文 参考訳（メタデータ） (2026-01-15T15:15:53Z) - Architecture Decoupling Is Not All You Need For Unified Multimodal Model [64.19284951218098]
本稿では,トレーニング中のタスク-特定マルチモーダルインタラクションパターンを明示的に学習する,意図的インタラクションアライメント(AIA)の損失を提案する。
AIAは、横断的な注意パターンを洗練するだけでなく、生成と理解の両方のパフォーマンスも向上させる。
論文 参考訳（メタデータ） (2025-11-27T17:55:25Z) - Twist and Compute: The Cost of Pose in 3D Generative Diffusion [8.258483344117492]
我々は,画像条件付き3次元生成モデルにおいて,強い標準的視点バイアスという重要な限界を同定する。
本稿では,現在最先端のHunyuan3D 2.0モデルが,回転入力下での性能劣化を伴って,視点の一般化に苦慮していることを示す。
生成したバックボーンを変更することなく、入力方向を検出し、修正する軽量CNNにより、この障害を軽減できることを示す。
論文 参考訳（メタデータ） (2025-11-11T13:08:28Z) - PHANTOM RECALL: When Familiar Puzzles Fool Smart Models [29.172155264798466]
GPT、Gemini、Claudeといった大規模言語モデル(LLM)は古典論理パズルの解法に長けていることが多い。
最近の証拠は、これらのモデルは第一原理から推論するのではなく、記憶されたテンプレートにしばしば依存していることを示している。
パズルの精度がほぼ完璧であるにもかかわらず、モデルは修正されていないものに対して人間を著しく過小評価している。
論文 参考訳（メタデータ） (2025-10-13T18:09:50Z) - Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。
直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
論文 参考訳（メタデータ） (2025-09-30T19:03:26Z) - OracleGS: Grounding Generative Priors for Sparse-View Gaussian Splatting [78.70702961852119]
OracleGSは、Gaussian Splattingのスパースビューのために、生成的完全性と回帰的忠実性を調整している。
提案手法は,多視点幾何学的証拠に先立って強力な生成条件を定め,幻覚的アーティファクトをフィルタリングし,非拘束領域における可塑性完備を保存している。
論文 参考訳（メタデータ） (2025-09-27T11:19:32Z) - Reasoning Large Language Model Errors Arise from Hallucinating Critical Problem Features [1.0742675209112622]
可変複素制約満足論理問題として,o1-mini,o3-mini,DeepSeek-R1,Claude 3.7 Sonnet,Gemini 2.5 Pro Preview,Grok 3 Mini Betaをグラフカラー化でテストする。
誤り率比較とCoT/説明テキスト解析の両方から、RLLMはプロンプトに指定されていないグラフエッジを幻覚させる傾向にあることを示す。
論文 参考訳（メタデータ） (2025-05-17T21:55:12Z) - FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。
状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。
状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
論文 参考訳（メタデータ） (2025-02-27T16:23:25Z) - The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles [29.214813685163218]
OpenAIのo-[n]シリーズ(o1、o3、o4-mini)のリリースは、大規模言語モデルにおける重要なパラダイムシフトである。
GPT-[n] および o-[n] 級数モデルの進化を、挑戦的なマルチモーダルパズル上で追跡する。
以上の結果から, o-[n] 級数,特に o3 や o4-mini のような後続の反復は GPT-[n] 級数を著しく上回り,マルチモーダル推論において高いスケーラビリティを示すことが明らかとなった。
論文 参考訳（メタデータ） (2025-02-03T05:47:04Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳（メタデータ） (2023-05-29T23:24:14Z) - P-WAE: Generalized Patch-Wasserstein Autoencoder for Anomaly Screening [17.24628770042803]
Patch-wise Wasserstein AutoEncoder (P-WAE) アーキテクチャを提案する。
特に、ジグソーパズルの解法と結合したパッチワイド変分推論モデルを設計する。
MVTec ADデータセットを用いた総合的な実験は、我々のプロポの優れた性能を実証する。
論文 参考訳（メタデータ） (2021-08-09T05:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。