Fugu-MT 論文翻訳(概要): On Code-Induced Reasoning in LLMs

論文の概要: On Code-Induced Reasoning in LLMs

arxiv url: http://arxiv.org/abs/2509.21499v2
Date: Thu, 02 Oct 2025 16:45:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-03 14:32:17.120773
Title: On Code-Induced Reasoning in LLMs
Title（参考訳）: LLMにおけるコード誘起推論について
Authors: Abdul Waheed, Zhen Wu, Carolyn Rosé, Daphne Ippolito,
Abstract要約: 並列命令データセットを10のプログラミング言語で構築する。コードの構造的・意味的特性を選択的に破壊する制御摂動を適用する。以上の結果から,LLMは意味論的よりも構造的摂動に弱いことが示唆された。
参考スコア（独自算出の注目度）: 21.875805779552564
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Code data has been shown to enhance the reasoning capabilities of large language models (LLMs), but it remains unclear which aspects of code are most responsible. We investigate this question with a systematic, data-centric framework. We construct parallel instruction datasets in ten programming languages and apply controlled perturbations that selectively disrupt structural or semantic properties of code. We then finetune LLMs from five model families and eight scales on each variant and evaluate their performance on natural language, math, and code tasks. Across 3,331 experiments, our results show that LLMs are more vulnerable to structural perturbations than semantic ones, particularly on math and code tasks. Appropriate abstractions like pseudocode and flowcharts can be as effective as code, while encoding the same information with fewer tokens without adhering to original syntax can often retain or even improve performance. Remarkably, even corrupted code with misleading signals remains competitive when surface-level regularities persist. Finally, syntactic styles also shape task-specific gains with Python favoring natural language reasoning and lower-level languages such as Java and Rust favoring math. Through our systematic framework, we aim to provide insight into how different properties of code influence reasoning and inform the design of training data for enhancing LLM reasoning capabilities.
Abstract（参考訳）: コードデータは、大きな言語モデル(LLM)の推論能力を高めることが示されているが、コードのどの側面が最も責任を負っているのかは不明だ。我々はこの問題を、体系的なデータ中心のフレームワークで調査する。並列命令データセットを10のプログラミング言語で構築し,コードの構造的・意味的特性を選択的に破壊する制御摂動を適用した。次に,5つのモデルファミリーと8つのスケールからLLMを抽出し,自然言語,数学,コードタスクの性能を評価する。 3,331件の実験結果から,LLMは意味論よりも構造的摂動に弱いことが示唆された。擬似コードやフローチャートのような適切な抽象化は、コードと同じくらい効果的であるが、オリジナルの構文に固執することなく、トークンが少ない同じ情報をエンコードすることは、しばしばパフォーマンスを維持または改善する。注目すべきは、表面レベルの規則性が持続するときに、誤解を招くシグナルを持つ破損したコードでさえ、競争力を維持することだ。最後に、構文スタイルは、Pythonが自然言語の推論を好んだり、JavaやRustが数学を好んだりするなど、タスク固有のゲインを形作る。体系的なフレームワークを通じて、コードの異なる特性が推論にどのように影響するかを洞察し、LLM推論能力を高めるためのトレーニングデータの設計を通知することを目的としている。

関連論文リスト

Operational Robustness of LLMs on Code Generation [2.9232837969697965]
現在、大規模言語モデル(LLM)のためのソフトウェア開発において、プログラムコードを生成するために使われるのが一般的である。本稿では,LLMがコーディングタスクの記述の変化にどれほど敏感であるかを考察する。このロバスト性を評価するための既存の技術は、自然言語記述の入力データ空間が離散的であるため、コード生成には適さない。
論文参考訳（メタデータ） (2026-02-21T11:21:13Z)
CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
論文参考訳（メタデータ） (2025-12-22T14:27:17Z)
Evaluating Programming Language Confusion [6.462594894731934]
コードのための大規模言語モデル(Code LLM)は、ソフトウェア工学において大きな注目を集めている。これらのモデルは、プログラミング概念の理解、アルゴリズムの実装、さらには異なるプログラミング言語のブリッジ化において、顕著な能力を示してきた。これらの進歩にもかかわらず、コードLLMは、意図しない言語でコードを生成するために、しばしばプログラミング言語の混乱に苦しむ。
論文参考訳（メタデータ） (2025-03-17T18:14:15Z)
Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文参考訳（メタデータ） (2024-11-06T10:28:46Z)
Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
論文参考訳（メタデータ） (2024-02-20T13:56:38Z)
CodeMind: Evaluating Large Language Models for Code Reasoning [6.819757372634151]
大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
論文参考訳（メタデータ） (2024-02-15T02:24:46Z)
Mutation-based Consistency Testing for Evaluating the Code Understanding Capability of LLMs [5.549095839198671]
大きな言語モデル(LLM)は、自然言語とプログラミング言語の両方を処理する際、顕著な能力を示している。本稿では,LLMのコード理解性能を評価する新しい手法を提案し,特にコードと記述の微妙な差異に着目した。演算子置換やステートメント削除など,さまざまなタイプのコード突然変異を適用して,一貫性のないコード記述ペアを生成する。我々は,現在最先端のコード生成ベンチマークであるHumanEval-Xを用いて,GPT-3.5とGPT-4の2つのLLMのケーススタディを行う。
論文参考訳（メタデータ） (2024-01-11T14:27:43Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文参考訳（メタデータ） (2023-08-29T17:22:39Z)
LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。 GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
論文参考訳（メタデータ） (2023-05-20T08:43:49Z)
Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文参考訳（メタデータ） (2022-10-13T16:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。