論文の概要: Beyond Isolated Capabilities: Bridging Long CoT Reasoning and Long-Context Understanding

• arxiv url: http://arxiv.org/abs/2507.14849v1
• Date: Sun, 20 Jul 2025 07:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.089289
• Title: Beyond Isolated Capabilities: Bridging Long CoT Reasoning and Long-Context Understanding
• Title（参考訳）: 分離された機能を超えて:長いCoT推論と長いコンテキスト理解をブリッジする
• Authors: Yifei Wang,
• Abstract要約: より小さな言語モデルの推論能力を高めるための効果的な手法として、推論蒸留が出現している。 大規模推論蒸留が他の臨界能力、特に文脈内検索と推論に与える影響は未解明のままである。
• 参考スコア（独自算出の注目度）: 16.50502775216771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning distillation has emerged as an effective approach to enhance the reasoning capabilities of smaller language models. However, the impact of large-scale reasoning distillation on other critical abilities, particularly in-context retrieval and reasoning, remains unexplored. This gap in understanding is particularly significant given the increasing importance of Retrieval-Augmented Generation (RAG) systems, where efficient acquisition and utilization of contextual information are paramount for generating reliable responses. Motivated by the need to understand how the extended long-CoT process influences long-context comprehension, we conduct a comprehensive investigation using a series of open-source models distilled from Deepseek-R1, renowned for its exceptional reasoning capabilities. Our study focuses on evaluating these models' performance in extracting and integrating relevant information from extended contexts through multi-document question and answering tasks. Through rigorous experimentation, we demonstrate that distilled reasoning patterns significantly improve long-context understanding. Our analysis reveals that distillation fosters greater long-context awareness by promoting more detailed and explicit reasoning processes during context analysis and information parsing. This advancement effectively mitigates the persistent "lost in the middle" issue that has hindered long-context models.
• Abstract（参考訳）: より小さな言語モデルの推論能力を高めるための効果的な手法として、推論蒸留が出現している。 しかし、大規模な推論蒸留が他の臨界能力、特に文脈内検索と推論に与える影響は未解明のままである。 このような理解のギャップは、信頼性の高い応答を生成する上で、文脈情報の効率的な取得と利用が最重要となる、検索・拡張生成(RAG)システムの重要性が増大していることを考えると、特に重要である。 長期CoTプロセスが長期コンテキスト理解にどのように影響するかを理解する必要性から,Deepseek-R1から抽出した一連のオープンソースモデルを用いて包括的調査を行う。 本研究は,多文書質問や回答タスクを通じて,拡張コンテキストから関連情報を抽出・統合する際のモデルの性能評価に焦点をあてる。 厳密な実験を通じて、蒸留された推論パターンが長文理解を著しく改善することを示した。 分析の結果, 蒸留は文脈分析や情報解析において, より詳細で明示的な推論プロセスを促進することによって, より長いコンテキスト認識を促進することが明らかとなった。 この進歩は、長期コンテキストモデルを妨げる永続的な「中間の失われた」問題を効果的に緩和する。

関連論文リスト

• Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models [21.579319926212296]
  大規模言語モデル(LLM)は、一貫性のあるテキストを生成し、コンテキストを理解し、推論タスクを実行するための強力なツールとして登場した。 彼らは時間的推論に苦しむが、それはイベントシーケンシングや時間的関係、時間的関係などの時間的関連情報を処理する必要がある。 我々は,タイムライン構築と反復的自己回帰を組み合わせた多段階プロセスを通じて,LLMの時間的推論能力を高める新しいフレームワークであるTISERを紹介する。
  論文  参考訳（メタデータ） (2025-04-07T16:51:45Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Reasoning on Multiple Needles In A Haystack [9.765859280987053]
  直接質問をフィルタリングすることで,メモリベースの回答問題に対処する。 この知見に基づいて,マルチラウンド拡張のためのリフレクション機構を導入する。 生成した反復的思考プロセスを使用してモデルをトレーニングし、パフォーマンスの劣化を軽減する。
  論文  参考訳（メタデータ） (2025-04-05T11:58:08Z)
• A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
  大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。 懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。 この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-27T15:36:30Z)
• Attention Reveals More Than Tokens: Training-Free Long-Context Reasoning with Attention-guided Retrieval [33.84832445715185]
  大規模言語モデル(LLM)は、要求される能力よりもはるかに短い有効文脈長を示すことが多い。 本研究では,注意重みを利用した学習自由度アルゴリズムAttrievalを提案する。 以上の結果から,Attrievalは,合成QAデータセットと実世界のQAデータセットの両方において,長文推論能力の向上を図っている。
  論文  参考訳（メタデータ） (2025-03-12T20:34:14Z)
• LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data [19.79929012055293]
  LongFaithは忠実な長文推論命令データセットを合成するための新しいパイプラインである。 基礎的真理と引用に基づく推論のプロンプトを統合することにより、注意散らしを排除し、推論連鎖の精度を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T06:40:23Z)
• Rethinking Visual Dependency in Long-Context Reasoning for Large Vision-Language Models [62.698520962933195]
  LVLM(Large Vision-Language Models)は、クロスモデルタスクでは優れているが、長文推論ではパフォーマンスが低下する。 そこで本研究では,重要でないテキスト情報を選択的に除去する,学習不要なコンテキストプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:59:09Z)
• DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels [86.93099925711388]
  長い文脈内での物語的推論に特化したデータセットである textbfDetectiveQA を提案する。 100万以上のトークンを平均化する探偵小説を活用して、中国語と英語の両方で1200人の注釈付き質問を含むデータセットを作成します。
  論文  参考訳（メタデータ） (2024-09-04T06:28:22Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [66.01597794579568]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic [84.59255070520673]
  大きな言語モデル(LLM)は、時間的推論に関わる際に課題に直面します。 本研究では,時間的質問応答タスクに特化して設計された新しいフレームワークであるTempLogicを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。