Fugu-MT 論文翻訳(概要): Teaching Language Models to Think in Code

論文の概要: Teaching Language Models to Think in Code

arxiv url: http://arxiv.org/abs/2605.07237v1
Date: Fri, 08 May 2026 04:42:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 19:43:38.803827
Title: Teaching Language Models to Think in Code
Title（参考訳）: コードで考えるための言語モデルを教える
Abstract要約: 我々は、コード自体がNLによって起動されるツールとしてではなく、推論として機能するフレームワークであるThinking in Code(Thinking in Code)を提案する。教師モデルから12.2kのコード中心軌跡を抽出し、教師による微調整と強化学習によりThinC-1.7BとThinC-4Bを訓練する。
参考スコア（独自算出の注目度）: 18.87981500987763
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Tool-integrated reasoning (TIR) has emerged as a dominant paradigm for mathematical problem solving in language models, combining natural language (NL) reasoning with code execution. However, this interleaved setup has three key limitations: code often acts as a post-hoc verifier, intermediate NL computations are error-prone, and NL and code play overlapping rather than clearly distinct roles. We propose ThinC (Thinking in Code), a framework in which code itself serves as the reasoner rather than as a tool invoked by NL. A ThinC trajectory begins with a brief NL planning step, after which all reasoning unfolds through code blocks connected only by their execution outputs. We distill 12.2k code-centric trajectories from a teacher model and train ThinC-1.7B and ThinC-4B with supervised fine-tuning followed by reinforcement learning. ThinC-4B consistently outperforms every TIR baseline on five competition-level math benchmarks and even surpasses the much larger Qwen3-235B-A22B-Thinking. Further analysis shows that ThinC reasons through code: 99.2% of its final answers are grounded in interpreter output, and the model recovers reliably from code execution failures without intermediate NL reasoning. Our code and models will be released soon.
Abstract（参考訳）: ツール統合推論(TIR)は、自然言語推論(NL)とコード実行を組み合わせた言語モデルにおける数学的問題解決の主流パラダイムとして登場した。コードはしばしばポストホック検証として機能し、中間的なNL計算はエラーを起こし、NLとコードは明らかに異なる役割ではなく重なり合う。我々は、コード自体がNLによって起動されるツールとしてではなく、推論として機能するフレームワークであるThinking in Code(Thinking in Code)を提案する。 ThinCトラジェクトリは、簡単なNL計画ステップから始まり、その後、すべての推論が実行出力によってのみ接続されるコードブロックを通して展開される。教師モデルから12.2kのコード中心軌跡を抽出し、教師による微調整と強化学習によりThinC-1.7BとThinC-4Bを訓練する。 ThinC-4Bは5つの競合レベルのベンチマークでTIRベースラインを一貫して上回り、さらに大きなQwen3-235B-A22B-Thinkingを上回っている。 99.2%はインタプリタの出力に基づいており、そのモデルは中間的なNL推論なしでコード実行失敗から確実に回復する。コードとモデルも間もなくリリースされる予定です。

関連論文リスト

What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
論文参考訳（メタデータ） (2026-05-19T12:37:01Z)
Generating Verifiable CoT from Execution-Traces [6.634229408414094]
チェーン・オブ・ソート(Chain-of-Thought)のプロンプトは有望だが、現在の総合的なトレーニングデータは重大な弱点に悩まされている。プログラム実行トレースにCoT生成を直接接地することで、この問題に対処する。この実行基盤のアプローチは、プログラムが真に計算したものを反映するすべての推論ステップを保証する。
論文参考訳（メタデータ） (2025-11-28T07:43:43Z)
Code-enabled language models can outperform reasoning models on diverse tasks [86.29363856881399]
標準命令LMは, 微調整をせずに, 強力な推論器となりうることを示す。これはCodeAdaptによって実現され、LMは多段階的なコード実行と自然言語推論をインターリーブする。 CodeAdaptは、平均8タスクで、3つのLMが対応するRMを上回ります。
論文参考訳（メタデータ） (2025-10-23T18:04:03Z)
PLSemanticsBench: Large Language Models As Programming Language Interpreters [31.611330217819713]
大規模言語モデル(LLMs)がコード推論に長けているため、自然な疑問が生じる: LLMはプログラム(つまり、インタプリタとして振舞う)を純粋にプログラミング言語の形式的意味論に基づいて実行できるか? 本稿では, 命令型言語IMPを用いて, 小ステップ操作意味論 (SOS) と書き直しに基づく操作意味論 (K-semantics) によって定式化されている問題について検討する。本稿では,Human-Written,LLM-Translated,Fuzzer-Generatedの3つの評価セットを提案する。
論文参考訳（メタデータ） (2025-10-03T18:23:26Z)
Executable Counterfactuals: Improving LLMs' Causal Reasoning Through Code [29.382261465478248]
コードや数学の問題を通した因果推論を運用するフレームワークである実行可能逆ファクトアルを導入する。その結果,o4-mini や Claude-4-Sonnet などの SOTA モデルでは,介入による精度 (25-40%) の低下が認められた。また、コードで訓練されたモデルが、反実数ワード問題に一般化するかどうかを検証した。
論文参考訳（メタデータ） (2025-10-02T00:26:35Z)
Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
論文参考訳（メタデータ） (2025-07-10T07:34:05Z)
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文参考訳（メタデータ） (2025-03-07T06:57:17Z)
NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。 NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
論文参考訳（メタデータ） (2024-04-23T01:46:32Z)
CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
論文参考訳（メタデータ） (2024-02-15T02:24:46Z)
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文参考訳（メタデータ） (2023-10-23T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。