論文の概要: Internalized Reasoning for Long-Context Visual Document Understanding
- arxiv url: http://arxiv.org/abs/2604.02371v1
- Date: Tue, 31 Mar 2026 04:41:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.123368
- Title: Internalized Reasoning for Long-Context Visual Document Understanding
- Title（参考訳）: 長期視覚文書理解のための内部推論
- Authors: Austin Veselka,
- Abstract要約: 長期文書理解における推論のための合成データパイプラインを導入する。
我々は各ページの質問関連性を評価することで思考トレースを生成する。
合成推論は,Thinking版の痕跡から抽出された蒸留よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual long-document understanding is critical for enterprise, legal, and scientific applications, yet the best performing open recipes have not explored reasoning, a capability which has driven leaps in math and code performance. We introduce a synthetic data pipeline for reasoning in long-document understanding that generates thinking traces by scoring each page for question relevance, extracting textual evidence and ordering it from most to least relevant. We apply SFT to the resulting traces within \texttt{<think>} tags, gated by a \texttt{<cot>} control token, and the resulting reasoning capability is internalized via low-strength model merging. We study Qwen3 VL 32B and Mistral Small 3.1 24B. With Qwen3 VL, we achieve 58.3 on MMLongBenchDoc, surpassing the 7$\times$ larger Qwen3 VL 235B A22B (57.0). With Mistral, we show that synthetic reasoning outperforms distillation from the Thinking version's traces by 3.8 points on MMLBD-C, and internalized reasoning exhibits 12.4$\times$ fewer mean output tokens compared to explicit reasoning. We release our pipeline for reproducibility and further exploration.
- Abstract（参考訳）: 企業、法律、科学的アプリケーションには、視覚的な長期ドキュメント理解が不可欠だが、もっとも優れたオープンレシピは推論を探求していない。
本稿では,質問関連性について各ページをスコアリングし,テキスト証拠を抽出し,最も関係の少ないものから順に並べることで,思考トレースを生成する,長期文書理解における推論のための合成データパイプラインを提案する。
SFT を \texttt{<cot>} コントロールトークンでゲートした \texttt{<think>} タグのトレース結果に適用し,その結果の推論能力を低強度モデルマージにより内部化する。
我々はQwen3 VL 32BとMistral Small 3.1 24Bについて検討した。
Qwen3 VLでは、MMLongBenchDocで58.3を獲得し、7$\times$より大きなQwen3 VL 235B A22B (57.0)を上回った。
Mistral では,MMLBD-C においてシンキング版のトレースから抽出した蒸留値の3.8ポイントを上回り,内部推論では明示的推論に比べて平均出力トークンが 12.4$\times$ より少ないことを示す。
私たちは再現性とさらなる探索のためにパイプラインをリリースします。
関連論文リスト
- Broken Chains: The Cost of Incomplete Reasoning in LLMs [2.8220022980767054]
OpenAIの5.1やDeepSeek-V3.2のような推論特化モデルでは、重要な推論計算をチェーンオブソートトレースの拡張に割り当てている。
コードやコメント、両方、あるいは両方を通じてのみ推論するようにモデルを制約するフレームワークを導入し、それから体系的にトークンの予算を10%、30%、50%、最適の70%に削減します。
論文 参考訳（メタデータ） (2026-02-16T03:57:51Z) - LETToT: Label-Free Evaluation of Large Language Models On Tourism Using Expert Tree-of-Thought [18.539462131974215]
我々はエキスパート由来の推論構造を利用するフレームワークであるExpert $textbfT$ree-$textbfo$f-$textbfT$hought (LETToT)を提案する。
その結果,4.99-14.15%の相対的品質向上率をベースラインに最適化したToTの有効性が示された。
論文 参考訳（メタデータ） (2025-08-15T07:37:12Z) - LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む
また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。
たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2025-02-11T08:48:48Z) - ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates [51.633266497799745]
思考テンプレートのスケーリングによる階層的LLM推論は、推論検索空間を効果的に最適化することができる。
i)類似または関連する推論問題に一般化可能な500ほどの高レベルな思考テンプレートを含む構造化・汎用的な思考テンプレートライブラリ,(ii)長いCoTではなく一連の思考テンプレート上で階層的な強化学習を行う,(iii)全く新しい推論スケーリングシステム,の3つの革新を紹介した。
論文 参考訳（メタデータ） (2025-02-10T18:51:47Z) - Markov Chain of Thought for Efficient Mathematical Reasoning [10.678633785012691]
多段階の思考の連鎖(CoT)は、推論ステップとタスク固有のアクションの論理構造から恩恵を受ける。
我々は、標準多段階CoTを思考のマルコフ連鎖(MCoT)として概念化する。
我々のMCoTは、従来の推論ステップを単純化した質問に圧縮し、効率的な次ステップ推論を可能にすることを目的としている。
論文 参考訳（メタデータ） (2024-10-23T07:53:29Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳（メタデータ） (2023-10-23T17:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。