論文の概要: The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner

• arxiv url: http://arxiv.org/abs/2507.13332v1
• Date: Thu, 17 Jul 2025 17:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.607225
• Title: The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner
• Title（参考訳）: The Imitation Game: Turing Machine ImitatorはLongth Generalizable Reasoner
• Authors: Zhouqi Hua, Wenwei Zhang, Chengqi Lyu, Yuzhe Gu, Songyang Gao, Kuikun Liu, Kai Chen,
• Abstract要約: 本稿では,大規模言語モデルの長さ一般化能力を向上させるため,Turing Machine Imitation Learning (TAIL)を提案する。 TAILはコンピュータプログラムによってチューリングマシンの実行プロセスを模倣するチェーン・オブ・思想(CoT)データを合成する。 ベルとホイッスルがなければ、TAILは様々なタスクにおけるQwen2.5-7Bの性能と同様に、長さの一般化能力を大幅に改善する。
• 参考スコア（独自算出の注目度）: 16.32735852049866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Length generalization, the ability to solve problems of longer sequences than those observed during training, poses a core challenge of Transformer-based large language models (LLM). Although existing studies have predominantly focused on data-driven approaches for arithmetic operations and symbolic manipulation tasks, these approaches tend to be task-specific with limited overall performance. To pursue a more general solution, this paper focuses on a broader case of reasoning problems that are computable, i.e., problems that algorithms can solve, thus can be solved by the Turing Machine. From this perspective, this paper proposes Turing MAchine Imitation Learning (TAIL) to improve the length generalization ability of LLMs. TAIL synthesizes chain-of-thoughts (CoT) data that imitate the execution process of a Turing Machine by computer programs, which linearly expands the reasoning steps into atomic states to alleviate shortcut learning and explicit memory fetch mechanism to reduce the difficulties of dynamic and long-range data access in elementary operations. To validate the reliability and universality of TAIL, we construct a challenging synthetic dataset covering 8 classes of algorithms and 18 tasks. Without bells and whistles, TAIL significantly improves the length generalization ability as well as the performance of Qwen2.5-7B on various tasks using only synthetic data, surpassing previous methods and DeepSeek-R1. The experimental results reveal that the key concepts in the Turing Machine, instead of the thinking styles, are indispensable for TAIL for length generalization, through which the model exhibits read-and-write behaviors consistent with the properties of the Turing Machine in their attention layers. This work provides a promising direction for future research in the learning of LLM reasoning from synthetic data.
• Abstract（参考訳）: 長さの一般化は、トレーニング中に観察されるものよりも長いシーケンスの問題を解く能力であり、トランスフォーマーベースの大規模言語モデル(LLM)の中核的な課題である。 既存の研究は、算術演算や記号操作タスクのためのデータ駆動型アプローチに主に焦点を合わせてきたが、これらのアプローチはタスク固有であり、全体的な性能は限られている。 より一般的な解を求めるために,アルゴリズムが解ける問題,すなわちチューリングマシンによって解ける問題など,計算可能な推論問題の幅広い事例に焦点を当てる。 そこで本研究では,LLMの長さ一般化能力を向上させるため,Turing Machine Imitation Learning (TAIL)を提案する。 TAILはコンピュータプログラムによってチューリングマシンの実行プロセスを模倣するチェーン・オブ・思想(CoT)データを合成し、推論ステップを原子状態に線形に拡張し、ショートカット学習と明示的なメモリフェッチ機構を緩和し、初等演算における動的および長距離データアクセスの困難を軽減する。 TAILの信頼性と普遍性を検証するため,8種類のアルゴリズムと18のタスクを含む,挑戦的な合成データセットを構築した。 ベルとホイッスルがなければ、TAILは様々なタスクにおけるQwen2.5-7Bの性能だけでなく、従来の手法やDeepSeek-R1よりもはるかに向上する。 実験結果から,思考スタイルの代わりにチューリングマシンの鍵となる概念がTAILに欠かせないことが判明した。 この研究は、合成データからLLM推論を学習する上で、将来的な方向性を提供する。

関連論文リスト

• FOL-Pretrain: A complexity annotated corpus of first-order logic [16.061040115094592]
  トランスフォーマーベースの大規模言語モデル(LLM)は、顕著な推論能力を示している。 LLMの振る舞いをリバースエンジニアリングしようとする最近の試みにもかかわらず、これらのモデルがどのように複雑なアルゴリズムの内部化と実行を行うかについての理解は依然として限られている。 本稿では,大規模かつ完全にオープンな,一階述語論理推論トレースの複雑性アノテーション付きデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-20T21:38:28Z)
• RV-Syn: Rational and Verifiable Mathematical Reasoning Data Synthesis based on Structured Function Library [58.404895570822184]
  RV-Synは、新しい数学的合成手法である。 このライブラリからPython形式の関数を組み合わせることで、グラフをソリューションとして生成する。 構築したグラフに基づいて,解誘導論理認識問題生成を実現する。
  論文  参考訳（メタデータ） (2025-04-29T04:42:02Z)
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
  o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-30T18:55:12Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Discovering physical laws with parallel combinatorial tree search [57.05912962368898]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは10年以上にわたって精度と効率の重大なボトルネックに直面してきた。 制約データから汎用数学的表現を効率的に抽出する並列木探索(PCTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• MARIO: MAth Reasoning with code Interpreter Output -- A Reproducible Pipeline [12.186691561822256]
  我々は,大規模言語モデル(LLM)の本質的な性質が,数学的推論のモデル化における課題を提起していると仮定する。 本稿では,Pythonコードインタプリタを利用した新しい数学データセットを提案する。 本稿では,数学固有のLLMの微調整のための仮的かつ容易に複製可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-01-16T08:08:01Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Auto-Regressive Next-Token Predictors are Universal Learners [17.416520406390415]
  線形次トーケン予測器のような単純なモデルでさえ、チューリングマシンによって効率的に計算される任意の関数を近似することができることを示す。 また、線形ネットワークや浅層多層パーセプトロン(MLP)のような単純な次世代予測器が、テキスト生成や算術タスクにおいて非自明な性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-13T14:15:03Z)
• Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective [39.47116013338394]
  CoT(Chain-of-Thought prompting)は,大規模言語モデル(LLM)の性能を劇的に向上させる 我々は、CoTが動的プログラミング(Dynamic Programming)として知られる一般的な意思決定問題に対処できることを示します。
  論文  参考訳（メタデータ） (2023-05-24T17:59:21Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
  私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。 我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。 回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
  論文  参考訳（メタデータ） (2021-03-23T17:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。