論文の概要: Internalized Reasoning for Long-Context Visual Document Understanding

• arxiv url: http://arxiv.org/abs/2604.02371v1
• Date: Tue, 31 Mar 2026 04:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.123368
• Title: Internalized Reasoning for Long-Context Visual Document Understanding
• Title（参考訳）: 長期視覚文書理解のための内部推論
• Abstract要約: 長期文書理解における推論のための合成データパイプラインを導入する。 我々は各ページの質問関連性を評価することで思考トレースを生成する。 合成推論は,Thinking版の痕跡から抽出された蒸留よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual long-document understanding is critical for enterprise, legal, and scientific applications, yet the best performing open recipes have not explored reasoning, a capability which has driven leaps in math and code performance. We introduce a synthetic data pipeline for reasoning in long-document understanding that generates thinking traces by scoring each page for question relevance, extracting textual evidence and ordering it from most to least relevant. We apply SFT to the resulting traces within \texttt{<think>} tags, gated by a \texttt{<cot>} control token, and the resulting reasoning capability is internalized via low-strength model merging. We study Qwen3 VL 32B and Mistral Small 3.1 24B. With Qwen3 VL, we achieve 58.3 on MMLongBenchDoc, surpassing the 7$\times$ larger Qwen3 VL 235B A22B (57.0). With Mistral, we show that synthetic reasoning outperforms distillation from the Thinking version's traces by 3.8 points on MMLBD-C, and internalized reasoning exhibits 12.4$\times$ fewer mean output tokens compared to explicit reasoning. We release our pipeline for reproducibility and further exploration.
• Abstract（参考訳）: 企業、法律、科学的アプリケーションには、視覚的な長期ドキュメント理解が不可欠だが、もっとも優れたオープンレシピは推論を探求していない。 本稿では,質問関連性について各ページをスコアリングし,テキスト証拠を抽出し,最も関係の少ないものから順に並べることで,思考トレースを生成する,長期文書理解における推論のための合成データパイプラインを提案する。 SFT を \texttt{<cot>} コントロールトークンでゲートした \texttt{<think>} タグのトレース結果に適用し,その結果の推論能力を低強度モデルマージにより内部化する。 我々はQwen3 VL 32BとMistral Small 3.1 24Bについて検討した。 Qwen3 VLでは、MMLongBenchDocで58.3を獲得し、7$\times$より大きなQwen3 VL 235B A22B (57.0)を上回った。 Mistral では,MMLBD-C においてシンキング版のトレースから抽出した蒸留値の3.8ポイントを上回り,内部推論では明示的推論に比べて平均出力トークンが 12.4$\times$ より少ないことを示す。 私たちは再現性とさらなる探索のためにパイプラインをリリースします。

関連論文リスト

• DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning [14.841209914774778]
  Long Document Visual Question Answering (LongDocVQA)は、複数のページにまたがる異種文書要素を探索し、統合し、推論するために、MLLM(Multimodal Large Language Models)を必要とする。 エンド・ツー・エンドのMLLMを含む既存のアプローチは、しばしば推論中に、根拠となる証拠がどのように徐々に構成されているかを表現し、検証するための明確なメカニズムを欠いている。 本稿では,エビデンスローカライゼーション,構造化文書解析,エビデンスグラフ推論を行う階層的なフレームワークであるDocTraceを提案する。
  論文  参考訳（メタデータ） (2026-08-04T08:04:59Z)
• Think Through a Bottleneck: Hourglass Reasoning for Rigorous Induction [0.0]
  textbfHourglass 推論を導入し,推論段階間のコンテキスト分離を厳格に行う。 Hourglassはメタコンストラクタとして機能し、各タスクをシンボルエンコーダ-デコーダとして構築する。 視覚的抽象化,ハードウェア合成,テキストルール誘導を対象とする3つのベンチマークにおけるHourglassの評価を行った。
  論文  参考訳（メタデータ） (2026-07-13T15:29:24Z)
• ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces [13.927941324541356]
  ReasoningFlowは、LRM推論の談話構造を微粒な非巡回グラフにトレースするフレームワークである。 ReasoningFlowグラフを解析することにより、異なるベースモデルからトレーニングされているにもかかわらず、LRMは構造的に類似したトレースを示すことがわかった。 ReasoningFlowは、トレース監視性を改善するために使用できる、さまざまなきめ細かい推論動作を明らかにする。
  論文  参考訳（メタデータ） (2026-06-03T20:12:26Z)
• Stateful Reasoning via Insight Replay [51.85629502016196]
  CoT(Chain-of-Thought)推論は,大規模言語モデルにおける多段階推論の基盤となっている。 この現象の主な原因は、CoTが成長するにつれて、トレースの早期に生成された重要な洞察に対するモデルの注意が徐々に弱まることである。 提案手法は、モデルがその推論トレースから定期的に重要な洞察を抽出し、アクティブな世代フロンティア付近で再生するステートフル推論手法である。
  論文  参考訳（メタデータ） (2026-05-14T06:52:59Z)
• Broken Chains: The Cost of Incomplete Reasoning in LLMs [2.8220022980767054]
  OpenAIの5.1やDeepSeek-V3.2のような推論特化モデルでは、重要な推論計算をチェーンオブソートトレースの拡張に割り当てている。 コードやコメント、両方、あるいは両方を通じてのみ推論するようにモデルを制約するフレームワークを導入し、それから体系的にトークンの予算を10%、30%、50%、最適の70%に削減します。
  論文  参考訳（メタデータ） (2026-02-16T03:57:51Z)
• Demystifying Errors in LLM Reasoning Traces: An Empirical Study of Code Execution Simulation [7.377446354867118]
  大規模言語モデル(LLM)を用いた実行時の振る舞い推定に関する最初の実証的研究を行う。 我々は4つの最先端推論LCMを評価し,9つの推論誤差の分類法を開発した。 計算カテゴリの障害をケーススタディとして,本手法が58%の誤差を補正することを示す。
  論文  参考訳（メタデータ） (2025-11-28T21:29:09Z)
• LETToT: Label-Free Evaluation of Large Language Models On Tourism Using Expert Tree-of-Thought [18.539462131974215]
  我々はエキスパート由来の推論構造を利用するフレームワークであるExpert $textbfT$ree-$textbfo$f-$textbfT$hought (LETToT)を提案する。 その結果,4.99-14.15%の相対的品質向上率をベースラインに最適化したToTの有効性が示された。
  論文  参考訳（メタデータ） (2025-08-15T07:37:12Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• Unveiling the Magic of Code Reasoning through Hypothesis Decomposition and Amendment [54.62926010621013]
  我々は,大規模言語モデルの推論能力に対する新たな視点を提供するために,新しいタスクであるコード推論を導入する。 論理的推論の確立した形式に基づいて3つのメタベンチマークを要約し、8つの特定のベンチマークタスクにインスタンス化する。 本稿では,人間の複雑な問題解決手法に触発された新たな経路探索パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:58Z)
• LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
  大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。 たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-11T08:48:48Z)
• ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates [51.633266497799745]
  思考テンプレートのスケーリングによる階層的LLM推論は、推論検索空間を効果的に最適化することができる。 i)類似または関連する推論問題に一般化可能な500ほどの高レベルな思考テンプレートを含む構造化・汎用的な思考テンプレートライブラリ,(ii)長いCoTではなく一連の思考テンプレート上で階層的な強化学習を行う,(iii)全く新しい推論スケーリングシステム,の3つの革新を紹介した。
  論文  参考訳（メタデータ） (2025-02-10T18:51:47Z)
• Markov Chain of Thought for Efficient Mathematical Reasoning [10.678633785012691]
  多段階の思考の連鎖(CoT)は、推論ステップとタスク固有のアクションの論理構造から恩恵を受ける。 我々は、標準多段階CoTを思考のマルコフ連鎖(MCoT)として概念化する。 我々のMCoTは、従来の推論ステップを単純化した質問に圧縮し、効率的な次ステップ推論を可能にすることを目的としている。
  論文  参考訳（メタデータ） (2024-10-23T07:53:29Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。