論文の概要: Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens

• arxiv url: http://arxiv.org/abs/2505.13775v1
• Date: Mon, 19 May 2025 23:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.571758
• Title: Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens
• Title（参考訳）: セマンティックスを超えて:不合理な中間トークンの有効性
• Authors: Kaya Stechly, Karthik Valmeekam, Atharva Gundawar, Vardhan Palod, Subbarao Kambhampati,
• Abstract要約: 中間トークンのセマンティクスが「思考」や「推論トレース」として人間化され、実際にモデル性能にどのように影響するかを考察する。 解のみのベースラインが大幅に改善されているにもかかわらず、完全に正しいトレースで訓練されたモデルは、正しい解に到達すると、いまだに不正な推論トレースを生成する。
• 参考スコア（独自算出の注目度）: 14.78605805191225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent impressive results from large reasoning models have been interpreted as a triumph of Chain of Thought (CoT), and especially of the process of training on CoTs sampled from base LLMs in order to help find new reasoning patterns. In this paper, we critically examine that interpretation by investigating how the semantics of intermediate tokens-often anthropomorphized as "thoughts" or reasoning traces and which are claimed to display behaviors like backtracking, self-verification etc.-actually influence model performance. We train transformer models on formally verifiable reasoning traces and solutions, constraining both intermediate steps and final outputs to align with those of a formal solver (in our case, A* search). By constructing a formal interpreter of the semantics of our problems and intended algorithm, we systematically evaluate not only solution accuracy but also the correctness of intermediate traces, thus allowing us to evaluate whether the latter causally influences the former. We notice that, despite significant improvements on the solution-only baseline, models trained on entirely correct traces still produce invalid reasoning traces when arriving at correct solutions. To further show that trace accuracy is only loosely connected to solution accuracy, we then train models on noisy, corrupted traces which have no relation to the specific problem each is paired with, and find that not only does performance remain largely consistent with models trained on correct data, but in some cases can improve upon it and generalize more robustly on out-of-distribution tasks. These results challenge the assumption that intermediate tokens or "Chains of Thought" induce predictable reasoning behaviors and caution against anthropomorphizing such outputs or over-interpreting them (despite their mostly correct forms) as evidence of human-like or algorithmic behaviors in language models.
• Abstract（参考訳）: 大規模な推論モデルによる最近の印象的な成果は、思考の連鎖(CoT)の勝利と解釈され、特に新しい推論パターンを見つけるためにベースLLMから採取されたCoTのトレーニングプロセスが注目されている。 本稿では,中間トークンのセマンティクスが「思考」や「推論トレース」として人類化され,バックトラックや自己検証などの動作がモデル性能に実際にどのような影響を与えるかを明らかにすることによって,その解釈を批判的に検証する。 我々は、形式的解法(A*サーチ)と整合する中間ステップと最終出力の両方を制約し、形式的検証可能な推論トレースと解に対してトランスフォーマーモデルを訓練する。 問題の意味論と意図するアルゴリズムの形式的インタプリタを構築することにより、解の精度だけでなく中間トレースの正確性も体系的に評価し、後者が前者に因果的影響を与えるかどうかを評価することができる。 ソリューションのみのベースラインが大幅に改善されているにも関わらず、完全に正しいトレースでトレーニングされたモデルが、正しいソリューションに到達すると、いまだに不正な推論トレースを生成することに気付きました。 さらに、トレース精度が解の正確性にのみゆるやかに結びついていることを示すために、ノイズに富んだ、それぞれがペアになっている特定の問題とは無関係な、破損したトレースのモデルをトレーニングし、パフォーマンスが正しいデータで訓練されたモデルと大きく一致しているだけでなく、それに基づいて改善し、配布外タスクでより堅牢に一般化することができることを発見した。 これらの結果は、中間のトークンや「思考のパターン」が予測可能な推論行動を引き起こし、そのようなアウトプットを人為的に形作ることや、言語モデルにおける人間的な行動やアルゴリズム的な行動の証拠として(ほとんど正しい形式にもかかわらず)過度に解釈することに対して注意を喚起する、という仮定に挑戦する。

関連論文リスト

• Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation [14.489157453882767]
  この研究は、推論トレースと最終的なパフォーマンスとの相関を評価することの課題に対処することを目的としている。 規則に基づく問題分解を利用して解釈可能なトレースを生成する。 具体的には、この問題を分類ステップと情報検索ステップに分解して、オープンブックQAにおけるこのアプローチを実証する。
  論文  参考訳（メタデータ） (2025-05-20T00:49:19Z)
• Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs [28.565225092457897]
  強化学習は、検証可能なタスクにおける言語モデルにおける自己改善を促進することができる。 また,Qwen-2.5-3BがLlama-3.2-3Bを超えることが確認された。 我々の研究は、Qwenが自然にこれらの推論行動を示すのに対して、Llamaはこれらを欠いていることを明らかにしている。
  論文  参考訳（メタデータ） (2025-03-03T08:46:22Z)
• Examining False Positives under Inference Scaling for Mathematical Reasoning [59.19191774050967]
  本稿では,言語モデルにおける数学的問題解決における偽陽性解の有効性を体系的に検討する。 擬陽性が言語モデルの推論時間スケーリング行動にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:49:35Z)
• Self-supervised Analogical Learning using Language Models [59.64260218737556]
  自己教師型アナログ学習フレームワークであるSALを提案する。 SALは人間の類推過程を模倣し、高品質な記号解を明示的に伝達するようモデルを訓練する。 得られたモデルは、幅広い推論ベンチマークでベース言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T02:31:26Z)
• Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models [56.32800938317095]
  既存の検証器はテスト時の木探索技術に準最適である。 トークン制御値モデル(TVM)を提案する。 TVMは各トークンに、正しい最終回答に達する確率を反映した確率を割り当てる。
  論文  参考訳（メタデータ） (2024-07-12T13:16:50Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。