論文の概要: Ceiling of a Task: When Can a Transformer Succeed Without Its Chain of Thought?

• arxiv url: http://arxiv.org/abs/2609.33134v1
• Date: Sun, 27 Sep 2026 03:02:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:08:36.329598
• Title: Ceiling of a Task: When Can a Transformer Succeed Without Its Chain of Thought?
• Title（参考訳）: タスクのシーリング: トランスフォーマーが思考の連鎖を伴わずに成功するのはいつか?
• Abstract要約: 推論モデルは、答える前に長いチェーンの思考を生成する。 これらの鎖の内容が実際の計算作業を行うか、大半が装飾的であるかが議論されている。 各変圧器に保持されるシリアルタスクについて3つの結果を示す。
• 参考スコア（独自算出の注目度）: 83.98403694325687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning models generate long chains of thought before they answer, yet it is debated whether the content of these chains does real computational work or is largely decorative. We study this question by viewing a transformer as a shallow circuit. One forward pass through a fixed number of layers has constant depth, so any procedure that runs the model a constant number of times is a shallow circuit. We call the best accuracy that a shallow circuit can reach on a task the ceiling of the task, and a task is serial if its ceiling lies below one. We prove three results on serial tasks that hold for every transformer, no matter how it was trained. Necessity: replacing the chain by anything that does not depend on its content, such as filler tokens or a restatement of the question, drives the accuracy down to the ceiling, and on a maximally serial task down to chance. Depth: no shallow computation can write the chain of a model whose accuracy exceeds the ceiling, not even approximately. Locality: the answer is one shallow pass away from the finished chain, so all of the serial reasoning happens in the chain. On word problems of finite groups, whose ceilings are known, small transformers trained from scratch, with or without reinforcement learning, attain the predicted numbers: chain-trained models solve every input length and fall to chance when the chain is erased, chainless models collapse to the ceiling as the input length grows, and open-weight reasoning models given the same problem in words return to the baseline without their chain. On MATH-500 and AIME, erasing the chain costs open reasoning models 0.52 to 0.82 accuracy, a sentence shuffle is harmless, and a token shuffle is as harmful as erasing; the same holds for checkpoints trained by GRPO with a correct or a random reward. The ceiling of a task therefore answers when a transformer can succeed without its chain of thought.
• Abstract（参考訳）: 推論モデルは答える前に長い思考の連鎖を生成するが、これらの連鎖の内容が実際の計算処理を行うか、ほとんど装飾的であるかは議論されている。 本稿では,変圧器を浅部回路として見ることにより,この問題を考察する。 1つのフォワードが一定の数の層を通過すると、一定の深さを持つので、モデルを一定回数実行するプロシージャは浅い回路である。 我々は、浅い回路がタスクの天井に到達できる最良の精度を、タスクの天井がそれより下にある場合、タスクがシリアルであることを示す。 各変圧器に保持されるシリアルタスクについて、どのように訓練されたかに関わらず、3つの結果が証明される。 必要: チェーンを、その内容に依存しないもの(例えば、フィラートークンや質問の修正など)に置き換え、精度を天井まで押し下げ、最大限のシリアルタスクを偶然にダウンさせる。 深さ: 浅い計算では、精度が天井を超えるようなモデルのチェーンを記述することはできない。 局所性: 答えは、完了したチェーンから1つの浅いパスであるので、すべてのシリアル推論はチェーン内で発生します。 連鎖訓練されたモデルは、チェーンが消去されたときに全ての入力長を解決し、チャンスに落ちる、チェーンレスモデルは、入力長が大きくなるにつれて天井に崩壊する、オープンウェイト推論モデルは、チェーンなしでベースラインに戻る。 MATH−500及びAIMEでは、チェーンの消去はオープン推論モデル 0.52〜0.82 の精度で行われ、文シャッフルは無害であり、トークンシャッフルは消去と同じくらい有害である。 したがって、タスクの天井は、トランスフォーマーが思考の連鎖なしに成功すると答える。

関連論文リスト

• Supervising the Chain Ladder [0.0]
  本稿では,チェーンはしごのパターン選択を教師付き学習問題として扱う。 パターン調整の判断は、定義された罰則の枠組みとなる。
  論文  参考訳（メタデータ） (2026-09-15T02:48:51Z)
• Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models [21.049419375153914]
  一般的な修正は、生成元に金の答えを示し、その答えに達する連鎖を書くように要求する。 この2番目のステップでは、トレーニングデータを正確性フィルタリングがキャッチできない方法で分解する。
  論文  参考訳（メタデータ） (2026-07-16T04:28:19Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning [0.0]
  Chain-of-Thoughtの説明は、言語モデルが複雑な問題を解決する方法を理解するために広く使われている。 モデルの意思決定プロセスに個別の推論ステップが忠実かどうかを測定する指標である正規化論理差判定(NLDD)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T21:55:57Z)
• Lower Bounds for Chain-of-Thought Reasoning in Hard-Attention Transformers [5.4649464326326]
  整合推論とスクラッチパッドは、変換器の計算能力を高める重要なツールとして登場した。 本研究では,異なるアルゴリズム問題におけるチェーン・オブ・シント・ステップの数に対する体系的下界の研究を開始する。
  論文  参考訳（メタデータ） (2025-02-04T15:14:01Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs [66.70431182736787]
  大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。 本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
  論文  参考訳（メタデータ） (2023-09-29T22:55:06Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。