Fugu-MT 論文翻訳(概要): Structured Thoughts For Improved Reasoning And Context Pruning

論文の概要: Structured Thoughts For Improved Reasoning And Context Pruning

arxiv url: http://arxiv.org/abs/2607.10386v1
Date: Sat, 11 Jul 2026 16:29:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.408575
Title: Structured Thoughts For Improved Reasoning And Context Pruning
Title（参考訳）: ReasoningとContext Pruningの改善のための構造化思想
Abstract要約: 我々は、推論を交互に試行錯誤するブロックに整理するフレームワークであるStructured Thoughtsを紹介した。明示的な構造はコンテキストプルーニングを可能にし、完全なスクラッチ処理をコンテキスト内に保持することなく、モデルが結論を維持することができる。概念実証プルーニングの実装は、平均85%のメモリ/コンテキストの節約を実現し、数学的なタスク全体で8.67%のパフォーマンス低下を達成している。
参考スコア（独自算出の注目度）: 8.207681349362266
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) excel at generating long chains of thought, but long reasoning traces are often verbose and memory-inefficient. In this work, we introduce Structured Thoughts, a framework that organizes reasoning into alternating <try> and <outcome> blocks: <try> captures exploratory scratch work, while <outcome> contains the distilled conclusion of that step. We construct a dataset of structured thoughts by segmenting reasoning traces into <try> blocks and prompting an LLM to summarize each step into its corresponding <outcome>. Fine-tuning pretrained foundation models on this reformatted data produces models that adopt the structured reasoning style, leading to performance gains of up to 8.08\% on reasoning benchmarks compared to standard SFT. The explicit structure also enables context pruning: after each <try>/<outcome> pair, the <try> can be pruned, allowing the model to retain conclusions without keeping the full scratch work in the context. A proof-of-concept pruning implementation achieves an average of 85\% memory / context savings with an 8.67\% performance drop across mathematical tasks.
Abstract（参考訳）: 大きな言語モデル(LLM)は長い思考の連鎖を生成するのに優れているが、長い推論の痕跡はしばしば冗長でメモリ非効率である。本稿では,<try>ブロックと<outcome>ブロックを交互に配置するフレームワークであるStructured Thoughtsを紹介した。そこで我々は,<try>ブロックにトレースを分割し,それぞれのステップを対応する<outcome>にまとめることにより,構造化された思考のデータセットを構築した。この改良されたデータに基づく微調整済み基礎モデルは、構造化推論スタイルを採用するモデルを生成し、標準的なSFTと比較して、推論ベンチマークで最大8.08倍の性能向上をもたらす。それぞれの<try>/<outcome>ペアの後に、<try>をプルーニングすることで、完全なスクラッチ処理をコンテキスト内に保持することなく、結論を維持することができる。概念実証プルーニングの実装は、平均85 %のメモリ/コンテキストの節約を実現し、数学的なタスクで8.67 %のパフォーマンス低下を達成している。

関連論文リスト

RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文参考訳（メタデータ） (2026-07-28T17:12:41Z)
Playing Psychic: Using Thought Trees to Predict Reasoning Models Accuracy on Coding Tasks [7.675768582345005]
実世界のコーディングベンチマークにおいて,フロンティア推論モデルを用いてそれらの性能について考察する。そこで我々は,論理的トレースを表現する手段として,構造化思考木を提案する。抽出した特徴に基づく構造的異常トレースのフラグ付けと再試行により,より低い複雑性レベルで一貫した利得が得られることを示す。
論文参考訳（メタデータ） (2026-04-18T09:30:36Z)
Hierarchical Chain-of-Thought Prompting: Enhancing LLM Reasoning Performance and Efficiency [4.139013391483979]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が大幅に向上した。本稿では階層的連鎖(Hi-CoT)プロンプトを導入する。 Hi-CoTは、推論プロセスを命令計画とステップバイステップ実行の交互に階層的なサブステップに分解する。
論文参考訳（メタデータ） (2026-03-31T18:35:22Z)
Can an LLM Induce a Graph? Investigating Memory Drift and Context Length [11.214847796972705]
最近提案された評価ベンチマークは、大規模言語モデル(LLM)の有効文脈長と忘れ傾向を特徴付けることを目的としている。我々は、これらのモデルをより複雑な推論タスクで評価し、テキストから構造化された関係知識を誘導する必要があると主張している。以上の結果から,LLMは記憶のドリフトや文脈記憶を,このような関係推論を行う場合よりもはるかに短い有効長で表現し始めることが明らかとなった。
論文参考訳（メタデータ） (2025-10-04T01:56:07Z)
CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文参考訳（メタデータ） (2025-10-03T08:50:21Z)
Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
論文参考訳（メタデータ） (2025-09-02T14:16:02Z)
SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought [37.53215651690168]
思考の連鎖(CoT)は、ステップ思考を奨励することで、大きな言語モデル(LLM)の推論性能を向上させる。有望ではあるが、CoTベースのアプローチは、しばしばコストのかかる事前トレーニングを必要とし、推論の進化に関する原則的なフレームワークを欠いている。プリトレーニングを必要とせずにFlow CoTスタイルの推論を可能にする軽量な微調整フレームワークSCOUTを提案する。
論文参考訳（メタデータ） (2025-05-30T03:43:24Z)
PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文参考訳（メタデータ） (2025-05-29T17:55:49Z)
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文参考訳（メタデータ） (2025-03-07T06:57:17Z)
The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文参考訳（メタデータ） (2025-03-04T18:56:03Z)
StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
論文参考訳（メタデータ） (2024-12-23T22:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。