論文の概要: Revisiting Complete Reasoning Traces for Post-Training

• arxiv url: http://arxiv.org/abs/2609.07103v1
• Date: Mon, 07 Sep 2026 06:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 01:32:29.46779
• Title: Revisiting Complete Reasoning Traces for Post-Training
• Title（参考訳）: ポストトライニングにおける完全推論トレースの再検討
• Abstract要約: 大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 フルトラジェクトリは限られた利益しか得られないが, 部分トラジェクトリは重いトラジェクトリの下でも有効である。
• 参考スコア（独自算出の注目度）: 61.76889440384448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are often post-trained on pre-collected reasoning trajectories to improve their reasoning capability. Such trajectories tend to be long due to complex, interwoven paths, which often include detours on the path toward the answer. However, it has been underexplored whether LLMs indeed benefit from learning complete trajectories in post-training, such as supervised fine-tuning (SFT). Starting from our pilot study, we find that full trajectories provide only limited benefit, while partial trajectories are effective even under heavy truncation. We analyze redundancy in reasoning trajectories through attention-based analyses and controlled token-removal studies, both of which show that intermediate tokens contribute minimally to final reasoning quality. This suggests that avoiding redundant information may allow LLMs to internally infer coherent alternatives by inferring missing steps from their internal knowledge, given known trajectory endpoints. Furthermore, we show that training LLMs using endpoints leads to consistent changes in reasoning behavior, and that it also benefits post-training methods based on reinforcement learning or on-policy distillation, highlighting the need to revisit complete reasoning traces. Code is available at https://github.com/naver-ai/revisiting-trace.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 このような軌道は、複雑で織り交わされた経路のために長いものになりがちであり、しばしば解答への道の曲がり角を含んでいる。 しかし、LLMが教師付き微調整(SFT)のようなポストトレーニングにおける完全な軌跡の学習の恩恵を受けるかどうかは、まだ解明されていない。 パイロット実験から、全軌道は限られた利益しか得られず、部分軌道は重いトランケーションの下でも有効であることがわかった。 我々は,注目に基づく分析と制御されたトークン除去研究を通じて,推論軌道の冗長性を解析し,中間トークンが最終的な推論品質に最小限に寄与することを示す。 このことは、冗長な情報を避けることで、LLMが既知の軌道終端が与えられた場合、内部知識から欠落したステップを推測することで、コヒーレントな代替品を内部的に推論することができることを示唆している。 さらに, 終端を用いたLCMの訓練は推論行動に一貫した変化をもたらし, また, 強化学習やオンライン蒸留にもとづいて, 完全な推論トレースを再考する必要性を浮き彫りにした。 コードはhttps://github.com/naver-ai/revisiting-trace.comで公開されている。

関連論文リスト

• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• TRACE: Trajectory Reasoning through Adaptive Cross-Step Evidence Aggregation for LLM Agents [62.969415789328025]
  LLMエージェントは、個々の良性行動のシーケンスを通じて、隠れた悪意のある目的を追求することができる。 既存のアプローチでは、1つのパスで完全な軌跡を評価するか、独立して評価されたウィンドウに分割する。 本研究では,長期LLMエージェントトラジェクトリのモニタリングフレームワークであるTRACEを提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:54:38Z)
• ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning [69.64972562984882]
  提案するThoughtFoldは,よりきめ細かい選好学習を,効率的な推論のための冗長探索に活用するフレームワークである。 ThoughtFoldは効率を大幅に向上させる。 最先端の精度を維持しつつ、DeepSeek-R1-Distill-Qwen-7Bのトークン使用量を約56%削減する。
  論文  参考訳（メタデータ） (2026-06-02T11:21:27Z)
• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning [18.215893951726166]
  スパースや遅延した報酬のある環境では、強化学習は高いサンプル複雑さを引き起こす。 この制限は、大規模言語モデル(LLM)をサブゴール発見や軌道誘導に使う動機となった。 LLMガイダンスとエージェント自身のロールアウトの成功の両方から,サブゴールとトラジェクトリを符号化したメモリグラフを構築することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2026-02-20T01:44:35Z)
• Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory? [13.980638430366625]
  推論 LLM は推論プロセスの言語化のために訓練され、複雑なタスクに対して強い利益をもたらす。 重要な前提条件は、他のモデルの部分的思考に基づいて有用性を評価し、構築する能力である。 本稿では,標準の単調訓練パイプラインが望ましい軌道外行動を提供できるか,という課題を考察する。
  論文  参考訳（メタデータ） (2025-10-07T19:42:50Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Temporal Sampling for Forgotten Reasoning in LLMs [14.895026967556088]
  トレーニング中に、以前正解した問題を解決する方法を、モデルが忘れることがよくあります。 トレーニング軌道に沿って複数のチェックポイントから出力を引き出すシンプルなデコード戦略であるテンポラルサンプリングを導入する。 このアプローチは、リトレーニングやアンサンブルなしに、忘れられたソリューションを回復し、推論性能を大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-26T16:39:52Z)
• PLMTrajRec: A Scalable and Generalizable Trajectory Recovery Method with Pre-trained Language Models [31.98187852227127]
  PLMTrajRecと呼ばれる新しい軌道回復モデルを提案する。 事前訓練された言語モデル(PLM)のスケーラビリティを活用し、限られた密度のトラジェクトリでのみ微調整できる。 スパース軌道における異なるサンプリング間隔を扱うために,まず,各軌道のサンプリング間隔と移動特徴を自然言語表現に変換する。
  論文  参考訳（メタデータ） (2024-10-18T08:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。