論文の概要: Chain-of-Thought Tokens are Computer Program Variables

• arxiv url: http://arxiv.org/abs/2505.04955v1
• Date: Thu, 08 May 2025 05:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.75176
• Title: Chain-of-Thought Tokens are Computer Program Variables
• Title（参考訳）: Chain-of-Thought トークンはコンピュータプログラム変数である
• Authors: Fangwei Zhu, Peiyi Wang, Zhifang Sui,
• Abstract要約: CoT(Chain-of- Thoughts)は、最終回答に到達する前に中間ステップを生成するために大きな言語モデルを必要とする。 2つの構成課題における大規模言語モデルにおけるCoTトークンの役割について検討する。 中間結果を保持するトークンのみを保存することで、同等のパフォーマンスが得られることが分かりました。
• 参考スコア（独自算出の注目度）: 24.55270838267279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thoughts (CoT) requires large language models (LLMs) to generate intermediate steps before reaching the final answer, and has been proven effective to help LLMs solve complex reasoning tasks. However, the inner mechanism of CoT still remains largely unclear. In this paper, we empirically study the role of CoT tokens in LLMs on two compositional tasks: multi-digit multiplication and dynamic programming. While CoT is essential for solving these problems, we find that preserving only tokens that store intermediate results would achieve comparable performance. Furthermore, we observe that storing intermediate results in an alternative latent form will not affect model performance. We also randomly intervene some values in CoT, and notice that subsequent CoT tokens and the final answer would change correspondingly. These findings suggest that CoT tokens may function like variables in computer programs but with potential drawbacks like unintended shortcuts and computational complexity limits between tokens. The code and data are available at https://github.com/solitaryzero/CoTs_are_Variables.
• Abstract（参考訳）: CoT(Chain-of-Thoughts)は、最終回答に到達する前に中間ステップを生成するために大きな言語モデル(LLM)を必要としており、LLMが複雑な推論タスクを解決するのに有効であることが証明されている。 しかし、CoTの内部機構はほとんど不明である。 本稿では,LLMにおけるCoTトークンの役割を,多桁乗算と動的プログラミングという2つの構成課題で実証的に研究する。 CoTはこれらの問題を解決するのに不可欠ですが、中間結果を格納するトークンのみを保存することで、同等のパフォーマンスが得られることが分かりました。 さらに、中間結果を別の潜在形式に保存することは、モデルの性能に影響を与えない。 また、CoT内のいくつかの値をランダムに介入し、その後のCoTトークンと最終回答が対応することに気付く。 これらの結果は、CoTトークンがコンピュータプログラムの変数のように機能するが、意図しないショートカットやトークン間の計算複雑性制限のような潜在的な欠点があることを示している。 コードとデータはhttps://github.com/solitaryzero/CoTs_are_Variablesで公開されている。

関連論文リスト

• How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding [3.8914132324834045]
  CoT(Chain-of- Thought)は、多段階タスクにおけるLarge Language Modelsの精度を高める。 しかし、生成された「考え」が真の内部推論過程を反映しているかどうかは未解決である。 本研究は,CoT忠実度に関する最初の特徴レベル因果研究である。
  論文  参考訳（メタデータ） (2025-07-24T10:25:46Z)
• How Well do LLMs Compress Their Own Chain-of-Thought? A Token Complexity Approach [4.055489363682199]
  推論長とモデル性能の関係について,最初の系統的研究を行った。 このトレードオフは、非常に明確な推論チェーンにまたがって持続することを示す。 提案手法は, 理論的な限界から遠く離れていることを示す。
  論文  参考訳（メタデータ） (2025-03-03T03:48:20Z)
• TokenSkip: Controllable Chain-of-Thought Compression in LLMs [11.583847083770035]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上に有効であることが証明されている。 TokenSkipは、LLMが重要でないトークンを選択的にスキップし、制御可能なCoT圧縮を可能にする、シンプルで効果的なアプローチである。
  論文  参考訳（メタデータ） (2025-02-17T17:37:26Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Let's Think Dot by Dot: Hidden Computation in Transformer Language Models [30.972412126012884]
  言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。 変換器は、2つの難解なアルゴリズムタスクを解くための思考の連鎖の代わりに無意味なフィラートークンを使用できることを示す。 フィラートークンを使用する学習は困難であり、収束するためには、具体的で密集した監督が必要である。
  論文  参考訳（メタデータ） (2024-04-24T09:30:00Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)
• Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
  CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である 人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
  論文  参考訳（メタデータ） (2024-02-16T12:46:16Z)
• Tree Cross Attention [59.8891512435847]
  Tree Cross Attention (TCA) は、Cross Attentionに基づくモジュールで、パラメータ $mathcalO(log(N))$ のトークン数からのみ情報を取得する。 さまざまな分類や不確実性回帰タスクに対して,TCAはクロスアテンションに匹敵する性能を示し,トークン効率は著しく向上した。
  論文  参考訳（メタデータ） (2023-09-29T16:50:23Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)
• Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks [108.4568236569645]
  CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。 本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。 PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
  論文  参考訳（メタデータ） (2022-11-22T21:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。