論文の概要: Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

• arxiv url: http://arxiv.org/abs/2603.11103v1
• Date: Wed, 11 Mar 2026 09:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.515809
• Title: Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining
• Title（参考訳）: 再構築による理解 - LLM事前学習のソフトウェア開発プロセスの逆転
• Authors: Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 66.89012795621349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Models (LLMs) have achieved remarkable success in code generation, they often struggle with the deep, long-horizon reasoning required for complex software engineering. We attribute this limitation to the nature of standard pre-training data: static software repositories represent only the terminal state of an intricate intellectual process, abstracting away the intermediate planning, debugging, and iterative refinement. To bridge this gap, we propose a novel paradigm: understanding via reconstruction. We hypothesize that reverse-engineering the latent agentic trajectories -- the planning, reasoning, and debugging steps -- behind static repositories provides a far richer supervision signal than raw code alone. To operationalize this, we introduce a framework that synthesizes these trajectories using a multi-agent simulation. This process is grounded in the structural realities of the source repositories (e.g., dependency graphs and file hierarchies) to ensure fidelity. Furthermore, to guarantee the logical rigor of the synthetic data, we employ a search-based optimization technique that iteratively refines the Chain-of-Thought (CoT) reasoning to maximize the likelihood of the ground-truth code. Empirical results demonstrate that continuous pre-training on these reconstructed trajectories significantly enhances Llama-3-8B's performance across diverse benchmarks, including long-context understanding, coding proficiency, and agentic capabilities.
• Abstract（参考訳）: LLM(Large Language Models)はコード生成において顕著な成功を収めていますが、複雑なソフトウェアエンジニアリングに必要な、深い、長い水平推論に悩まされることが少なくありません。 静的ソフトウェアリポジトリは複雑な知的プロセスの終端状態を表現し、中間的な計画、デバッグ、反復的な改善を抽象化します。 このギャップを埋めるために、再構築による理解という新しいパラダイムを提案する。 静的リポジトリの背後にある、遅延エージェントの軌道 -- 計画、推論、デバッグステップ -- のリバースエンジニアリングは、生コード単独よりもはるかにリッチな監視信号を提供する、という仮説を立てています。 これを運用するために,マルチエージェントシミュレーションを用いてこれらの軌道を合成するフレームワークを提案する。 このプロセスは、ソースリポジトリ(例えば、依存グラフやファイル階層)の構造的現実に基礎を置いている。 さらに, 合成データの論理的厳密性を保証するため, 探索に基づく最適化手法を用いて, 基幹符号の確率を最大化するために, 繰り返し改良を行う。 実験により、再構成された軌道上での連続事前学習がLlama-3-8Bの性能を大幅に向上させることが実証された。

関連論文リスト

• DeepCode: Open Agentic Coding [11.7906174865581]
  DeepCodeは、ドキュメントからコードへの合成のための完全に自律的なフレームワークである。 有限のコンテキスト予算の下でタスク関連信号を最大化する4つの情報操作を編成する。 PaperBenchベンチマークの大規模な評価は、DeepCodeが最先端のパフォーマンスを達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-08T16:07:13Z)
• Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches [6.740646039135986]
  Retrieval-Augmented Generation (RAG) は、LLMと外部検索機構を統合する強力なパラダイムとして登場した。 リポジトリレベルのアプローチを重視したRACG(Retrieval-Augmented Code Generation)の研究を包括的にレビューする。 私たちのゴールは、この急速に進化する分野を理解するための統合分析フレームワークを確立し、AIによるソフトウェア工学の継続的な進歩を刺激することです。
  論文  参考訳（メタデータ） (2025-10-06T15:20:03Z)
• RationAnomaly: Log Anomaly Detection with Rationality via Chain-of-Thought and Reinforcement Learning [27.235259453535537]
  RationAnomalyは、Chain-of-Thoughtファインチューニングと強化学習を相乗化することにより、ログの異常検出を強化する新しいフレームワークである。 コードとデータセットを含む、対応するリソースをリリースしました。
  論文  参考訳（メタデータ） (2025-09-18T07:35:58Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。