論文の概要: Code-Driven Inductive Synthesis: Enhancing Reasoning Abilities of Large Language Models with Sequences

• arxiv url: http://arxiv.org/abs/2503.13109v1
• Date: Mon, 17 Mar 2025 12:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:59.235893
• Title: Code-Driven Inductive Synthesis: Enhancing Reasoning Abilities of Large Language Models with Sequences
• Title（参考訳）: コード駆動インダクティブ合成:シーケンス付き大規模言語モデルの推論能力を高める
• Authors: Kedi Chen, Zhikai Lei, Fan Zhang, Yinqi Zhang, Qin Chen, Jie Zhou, Liang He, Qipeng Guo, Kai Chen, Wei Zhang,
• Abstract要約: 大規模言語モデルにおける帰納的推論について検討する。 帰納的推論データのソースとして数列を用いる。 シーケンス合成データパイプラインを構築し、トレーニングデータセットCodeSeqを作成します。
• 参考スコア（独自算出の注目度）: 38.76458756232632
• License:
• Abstract: Large language models make remarkable progress in reasoning capabilities. Existing works focus mainly on deductive reasoning tasks (e.g., code and math), while another type of reasoning mode that better aligns with human learning, inductive reasoning, is not well studied. We attribute the reason to the fact that obtaining high-quality process supervision data is challenging for inductive reasoning. Towards this end, we novelly employ number sequences as the source of inductive reasoning data. We package sequences into algorithmic problems to find the general term of each sequence through a code solution. In this way, we can verify whether the code solution holds for any term in the current sequence, and inject case-based supervision signals by using code unit tests. We build a sequence synthetic data pipeline and form a training dataset CodeSeq. Experimental results show that the models tuned with CodeSeq improve on both code and comprehensive reasoning benchmarks.
• Abstract（参考訳）: 大規模言語モデルは推論能力において顕著に進歩する。 既存の研究は、典型的推論タスク(例えば、コードや数学)に重点を置いているが、他のタイプの推論モードは、帰納的推論(inductive reasoning)という人間の学習によく適合する。 我々は,高品質なプロセス監視データを取得することは帰納的推論において困難であるという事実に起因している。 この目的に向けて、帰納的推論データのソースとして数値列を新規に採用する。 シーケンスをアルゴリズム的な問題にパッケージ化して、コードソリューションを通じて各シーケンスの一般用語を見つける。 このようにして、コードソリューションが現在のシーケンスの任意の項に保持されているかどうかを検証し、コード単体テストを用いてケースベースの監視信号を注入する。 シーケンス合成データパイプラインを構築し、トレーニングデータセットCodeSeqを作成します。 実験の結果、CodeSeqで調整されたモデルは、コードと包括的な推論ベンチマークの両方を改善した。

関連論文リスト

• CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction [47.17755403213469]
  我々は,文脈的に構築されたコードに埋め込まれた多様な推論パターンを凝縮する新しい手法であるCodeI/Oを提案する。 与えられたコードとテストケースを完全に自然言語で予測するためにモデルをトレーニングすることで、それらを普遍的な推論プリミティブに公開します。 実験の結果、CodeI/Oは記号、科学、論理学、数学と数値、常識推論タスクに一貫した改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-02-11T07:26:50Z)
• Benchmarking Large Language Models with Integer Sequence Generation Tasks [1.3108652488669736]
  本稿では,大規模言語モデル(LLM)がオンラインシーケンス百科事典(OEIS)から整数列を計算するコードを書かなければならない,新たなベンチマークを提案する。 ベンチマークの結果、OpenAI、Anthropic、Meta、Googleの他のフロンティアモデルよりも、簡単かつハードな整数シーケンス間の精度と不正なレートで、o1シリーズのモデルの方が優れていることが判明した。
  論文  参考訳（メタデータ） (2024-11-07T02:05:43Z)
• Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models [17.76252625790628]
  本稿では,言語モデルの推論過程を2段階に分解するフレームワークであるThink-and-Executeについて述べる。 7つのアルゴリズム的推論タスクについて広範な実験を行い、思考と実行の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-03T08:49:11Z)
• CodeMind: A Framework to Challenge Large Language Models for Code Reasoning [1.4027589547318842]
  大規模言語モデル(LLM)のコード推論能力を評価するために設計されたフレームワークであるCodeMindを紹介する。 CodeMindは、Independent Execution Reasoning (IER)、Dependent Execution Reasoning (DER)、Specification Reasoning (SR)の3つのコード推論タスクをサポートしている。
  論文  参考訳（メタデータ） (2024-02-15T02:24:46Z)
• Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models [74.95486528482327]
  コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。 我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-29T15:14:09Z)
• Code Execution with Pre-trained Language Models [88.04688617516827]
  コードインテリジェンスのトレーニング済みモデルのほとんどは実行トレースを無視しており、ソースコードと構文構造のみに依存している。 我々は,大規模かつ現実的なPythonデータセットとコード実行タスクを作成するために,突然変異に基づくデータ拡張手法を開発した。 次に、コード実行事前学習とカリキュラム学習を活用して意味理解を強化するトランスフォーマーモデルであるCodeExecutorを提案する。
  論文  参考訳（メタデータ） (2023-05-08T10:00:05Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。