論文の概要: When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

• arxiv url: http://arxiv.org/abs/2510.07499v1
• Date: Wed, 08 Oct 2025 19:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.705636
• Title: When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs
• Title（参考訳）: 長文LMのリユース可能な推論
• Authors: Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang,
• Abstract要約: 最近のLong-Context Language Modelsは、1つのプロンプトで数十万のトークンを処理することができる。 我々は、従来の問題解決トレースから導かれた再利用可能な思考キャッシュとして、推論をリキャストする。 本稿では,自然言語フィードバックによって学習データから得られるテンプレートを反復的に洗練する更新戦略を提案する。
• 参考スコア（独自算出の注目度）: 64.27273946787344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Long-Context Language Models (LCLMs) can process hundreds of thousands of tokens in a single prompt, enabling new opportunities for knowledge-intensive multi-hop reasoning by integrating large sets of retrieved documents or, in some cases, directly all necessary information. However, simply feeding more documents into the context window fails to capture how evidence should be connected. We address this gap with thought templates, which recast reasoning as reusable thought caches, derived from prior problem solving traces, structuring how evidence is combined and guiding multi-hop inference with factual documents. To keep these templates effective, we propose an update strategy that iteratively refines templates derived from training data through natural-language feedback. Across diverse benchmarks and LCLM families, our approach delivers consistent gains over strong baselines in both retrieval-based and retrieval-free settings. Furthermore, we show that optimized templates can be distilled into smaller open-source models, demonstrating its broad applicability and transparent reasoning reuse. We refer to our framework as Thought Template Augmented LCLMs (ToTAL).
• Abstract（参考訳）: 近年のLong-Context Language Models (LCLM) は、数十万のトークンを単一のプロンプトで処理でき、検索された大量の文書を統合することで、知識集約型マルチホップ推論の新しい機会を可能にする。 しかし、単により多くのドキュメントをコンテキストウィンドウに入力するだけで、どのようにエビデンスを接続すべきかをキャプチャできない。 このギャップに対処するために、従来の問題解決トレースから導かれた、再利用可能な思考キャッシュとして推論をリキャストする思考テンプレート、エビデンスをどのように組み合わせるかの構造化、事実文書によるマルチホップ推論の導出を行う。 これらのテンプレートを効果的に維持するために、自然言語フィードバックを通じてトレーニングデータから得られたテンプレートを反復的に洗練する更新戦略を提案する。 多様なベンチマークやLCLMファミリにまたがって,検索ベースと検索フリー設定の両方において,強力なベースラインよりも一貫したゲインを提供する。 さらに、最適化されたテンプレートをより小さなオープンソースモデルに蒸留し、その適用可能性と透過的な推論再利用を示す。 我々はこのフレームワークをThought Template Augmented LCLM (ToTAL)と呼ぶ。

関連論文リスト

• MoLoRAG: Bootstrapping Document Understanding via Multi-modal Logic-aware Retrieval [17.50612953979537]
  MoLoRAGはマルチモーダル・マルチページ文書理解のための論理認識検索フレームワークである。 意味論と論理的関連性を組み合わせて、より正確な検索を提供する。 4つのDocQAデータセットの実験では、平均的な9.68%の精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-09-06T00:59:28Z)
• Resource-Friendly Dynamic Enhancement Chain for Multi-Hop Question Answering [21.077964610022313]
  この研究はDEC(Dynamic Enhancement Chain)と呼ばれる新しいフレームワークを提案する。 DECはまず複雑な質問を論理的に一貫性のあるサブクエストに分解し、幻覚のない推論連鎖を形成する。 その後、コンテキスト対応の書き換えによってこれらのサブクエストを反復的に洗練し、効率的なクエリの定式化を生成する。
  論文  参考訳（メタデータ） (2025-06-21T11:55:27Z)
• Doc-CoB: Enhancing Multi-Modal Document Understanding with Visual Chain-of-Boxes Reasoning [12.17399365931]
  既存の1パスのMLLMは、クエリの関連性を考慮せずに、ドキュメントイメージ全体を処理します。 そこで我々は,ヒトの視覚的推論をMLLMに組み込むシンプルな効果メカニズムであるDoc-CoBを紹介した。 提案手法では,クエリに最も関連性の高い領域群を自律的に選択し,さらに理解するためにそれらに注意を集中することができる。
  論文  参考訳（メタデータ） (2025-05-24T08:53:05Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [46.713307974729844]
  大規模言語モデル(LLM)は、ユーザクエリが与えられた場合、非常に長いコンテキストからコヒーレントな要約を生成することができる。 既存のシステムがどのようにして、そのコンテキストから構造化されていない証拠を生成し、適切に引用するのに苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context [31.091013417498825]
  文脈反復(CoRe)という,シンプルで効果的な手法を提案する。 これにより、サポートドキュメント内の連続した推論セグメントが最適な順序で提示されることが保証される。 CoReを用いて,マルチホップQAタスクのF1スコアを最大30%改善し,合成タスクの精度を最大70%向上する。
  論文  参考訳（メタデータ） (2024-10-09T17:41:53Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。