論文の概要: From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs
- arxiv url: http://arxiv.org/abs/2606.17648v1
- Date: Tue, 16 Jun 2026 08:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.345855
- Title: From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs
- Title（参考訳）: 醸造から分解へ:LLMにおけるコード推論の内部ライフサイクルの追跡
- Authors: Siyue Chen, Yifu Guo, Yuquan Lu, Zishan Xu, Jiaye Lin, Jianbo Lin, Siyu Zhang, Cheng Yang, Junxin Li, Yujia Li, Yu Huo, Ruixuan Wang,
- Abstract要約: モデルが解答を最初に作り出すコード推論の内部ライフサイクルについて検討し、自己記述可能になる前に多くのレイヤを線形に回復できるようにする。
本稿では,CSD(Context-Stripped Decoding)を用いた双方向診断フレームワークの線形探索手法を提案し,Qwen,Llama,DeepSeekにまたがる16モデルを対象とした6つのコード推論タスクファミリに適用する。
- 参考スコア（独自算出の注目度）: 15.027568869464737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard accuracy metrics cannot explain why LLMs handle variable tracking but fail on semantically equivalent loops. We study an internal lifecycle of code reasoning in which models first brew the answer, making it linearly recoverable many layers before it becomes self-decodable, and then diverge into one of four resolution outcomes: Resolved, Overprocessed, Misresolved, or Unresolved. Understanding this lifecycle matters because similar task accuracies can mask fundamentally different failure modes that surface-level evaluation cannot detect. We introduce a dual diagnostic framework pairing layer-wise linear probing with Context-Stripped Decoding (CSD) and apply it to six code-reasoning task families across 16 models spanning Qwen, Llama, and DeepSeek architectures. All four outcomes carry substantial mass in every task family: overall Resolved is only 41.5%, with multiple tasks below 30%. Controlled sweeps over structure, depth, and operators expose task-specific failure bottlenecks: Function Call Resolved plunges from 61.1% to 2.5% as call depth increases from one to three. Across architectures and scales, the brewing scaffold remains stable, with normalized brewing duration 24-42% across all 16 models, while resolution success varies with capability. This indicates that the scaffold is a stable empirical regularity across the tested decoder-only Transformer families, whereas resolution success covaries with capability, scale, and training. Code: https://github.com/euyis1019/llm-brewing
- Abstract（参考訳）: LLMがなぜ変数追跡を扱うのか説明できないが、意味論的に等価なループでは失敗する。
我々は、まずモデルが解答を醸造し、自己決定可能になる前に多くのレイヤを線形に回復可能にし、次に4つの解決結果のうちの1つに分割する、という、コード推論の内部ライフサイクルを研究します。
このライフサイクルを理解することは、同様のタスクの精度が、表面レベルの評価が検出できない、根本的に異なる障害モードを隠蔽する可能性があるため重要である。
本稿では,CSD(Context-Stripped Decoding)を用いた双方向診断フレームワークの階層的線形探索を導入し,Qwen,Llama,DeepSeekアーキテクチャにまたがる16モデルにわたる6つのコード推論タスクファミリに適用する。
全体の解決率は41.5%であり、複数のタスクは30%以下である。
関数コール 解決されたクラッシュは61.1%から2.5%に増加し、呼び出し深度は1から3に増加する。
建築や規模を問わず、醸造用足場は安定しており、通常の醸造期間は全16モデルで24-42%、分解能は能力によって異なる。
これは、足場がテストされたデコーダのみのトランスフォーマーファミリーで安定した経験則であることを示し、一方、解像度は能力、スケール、トレーニングで成功していることを示している。
コード:https://github.com/euyis1019/llm-brewing
関連論文リスト
- Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory [1.081571058570587]
AlltoAllのディスパッチは、MoEの専門家並列性の主要なボトルネックである。
ワークロードに関する2つの仮定をテストするために、DODOCOを導入します。
EPのスケーリングは、各アーキテクチャの計測可能な範囲内で、専門家ごとの最大/平均トークン比を5%以上変更する。
論文 参考訳（メタデータ） (2026-05-20T10:14:00Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳（メタデータ） (2026-05-15T03:31:51Z) - Formal Architecture Descriptors as Navigation Primitives for AI Coding Agents [0.0]
正式なアーキテクチャ記述子をエージェントに提供することで,このナビゲーションオーバーヘッドを低減できるかどうかを検討する。
本稿では,S-expression アーキテクチャ記述子である intent.lisp を提案し,Forge ツールキットをオープンソース化する。
論文 参考訳（メタデータ） (2026-04-11T00:26:31Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳（メタデータ） (2026-03-31T00:24:56Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳（メタデータ） (2025-09-12T16:51:15Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳（メタデータ） (2025-05-21T15:06:59Z) - Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory [52.44029486173232]
Dynamic Cheatsheet(DC)は、永続的で進化するメモリを備えたブラックボックス言語モデルを提供する軽量フレームワークである。
DCは、蓄積した戦略、コードスニペット、および推論時に一般的な問題解決の洞察をモデルが保存し再利用することを可能にする。
このテストタイム学習は、明確な地味なラベルや人間のフィードバックを必要とせずに、幅広いタスクのパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2025-04-10T17:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。