論文の概要: Probing How Scalable Table Data Enhances General Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2603.21719v1
• Date: Mon, 23 Mar 2026 09:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.579525
• Title: Probing How Scalable Table Data Enhances General Long-Context Reasoning
• Title（参考訳）: 拡張性のあるテーブルデータによって一般的なロングコンテキスト推論が実現される
• Authors: Huaibing Xie, Guoliang Zhao, Yang Liu, Shihan Dou, Siming Huang, Yanling Xiao, Shaolei Wang, Yiting Liu, Cheng Zhang, Shaofan Liu, Pluto Zhou,
• Abstract要約: 周期構造を持つ構造化テーブルデータから,長文推論の可能性が示唆された。 高品質で多種多様で検証可能な構造化テーブルデータを合成するための,シンプルでスケーラブルなパイプライン(TableLong)を提案する。
• 参考スコア（独自算出の注目度）: 18.383487310920597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As real-world tasks grow increasingly complex, long-context reasoning has become a core capability for Large Language Models (LLMs). However, few studies explore which data types are effective for long-context reasoning and why. We find that structured table data with periodic structures shows strong potential for long-context reasoning. Motivated by this observation, we mathematically analyze tabular dependency structures using mutual information, revealing periodic non-vanishing dependencies in table data. Furthermore, we systematically analyze the capabilities of structured table data, conduct relevant scaling experiments, and validate its underlying mechanisms for enhancing long-context reasoning, yielding several meaningful insights. Leveraging these insights, we propose a simple yet scalable pipeline(TableLong) for synthesizing high-quality, diverse, and verifiable structured table data to boost long-context reasoning via RL. Extensive experimental results demonstrate that table data significantly enhances the long-context reasoning capability of LLMs across multiple long-context benchmarks (+8.24\% on average), and even improves performance on out-of-domain benchmarks (+8.06\% on average). We hope that our insights provide practical guidance for effective post-training data to enhance long-context reasoning in LLMs.
• Abstract（参考訳）: 現実世界のタスクが複雑化するにつれ、長期コンテキスト推論は大規模言語モデル(LLM)のコア機能となっている。 しかし、長文推論にどのようなデータ型が有効か、なぜ有効かを調べる研究はほとんどない。 周期構造を持つ構造化テーブルデータから,長文推論の可能性が示唆された。 本研究の目的は,相互情報を用いた表従属構造を数学的に解析し,表データの周期的非消滅的依存関係を明らかにすることである。 さらに、構造化テーブルデータの性能を体系的に分析し、関連するスケーリング実験を行い、その基盤となるメカニズムを長文推論の強化に検証し、いくつかの意味のある洞察を得る。 これらの知見を生かして、RLによる長文推論を促進するために、高品質で多種多様で検証可能な構造化テーブルデータを合成するための、シンプルでスケーラブルなパイプライン(TableLong)を提案する。 大規模な実験結果によると、テーブルデータは複数の長文ベンチマーク(平均で+8.24\%)でLLMの長文推論能力を著しく向上し、ドメイン外のベンチマーク(平均で+8.06\%)のパフォーマンスも向上している。 我々は,LLMの長文推論を強化するために,効果的な後学習データのための実践的なガイダンスを提供することを期待している。

関連論文リスト

• LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards [57.993003392037174]
  LongRは動的"Think-and-Read"メカニズムを統合することで、長時間コンテキストのパフォーマンスを向上させるフレームワークである。 LongRは様々なRLアルゴリズムのパフォーマンスを継続的に向上する。
  論文  参考訳（メタデータ） (2026-02-05T15:26:47Z)
• Multimodal Tabular Reasoning with Privileged Structured Information [67.40011423365712]
  ブリッジインfOrmation (sc Turbo) を用いたタブウラー推論(TabUlar Reasoning)について紹介する。 sc TurboはDeepSeek-R1をベースにした構造対応の推論トレースジェネレータの恩恵を受ける。 sc Turboは、複数のデータセットで最先端のパフォーマンス(+7.2%対以前のSOTA)を達成する。
  論文  参考訳（メタデータ） (2025-06-04T15:46:30Z)
• NeedleInATable: Exploring Long-Context Capability of Large Language Models towards Long-Structured Tables [47.937322344856945]
  textscNeedleInATable (NIAT)は、各テーブルセルを針として扱い、セルの位置やルックアップ質問に基づいてターゲットセルを抽出するモデルを必要とする。
  論文  参考訳（メタデータ） (2025-04-09T03:46:56Z)
• WildLong: Synthesizing Realistic Long-Context Instruction Data at Scale [86.25450054683172]
  WildLongは、実際のユーザクエリからメタ情報を取り出して、スケーラブルなデータを生成する。 クロスドキュメント比較やアグリゲーションといったマルチドキュメント推論をサポートする。 ベンチマーク全体で、既存のオープンソースの長期コンテキスト最適化モデルを上回っている。
  論文  参考訳（メタデータ） (2025-02-23T18:59:09Z)
• LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data [19.79929012055293]
  LongFaithは忠実な長文推論命令データセットを合成するための新しいパイプラインである。 基礎的真理と引用に基づく推論のプロンプトを統合することにより、注意散らしを排除し、推論連鎖の精度を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T06:40:23Z)
• Enhancing Temporal Understanding in LLMs for Semi-structured Tables [50.59009084277447]
  我々は、大規模言語モデル(LLM)の特定の限界を特定するために、時間的データセットの包括的な分析を行う。 調査の結果,時間的時間的質問応答に特化したデータセットであるTempTabQAが強化された。 我々は,この領域におけるLLM機能を強化するために,新しいアプローチC.L.E.A.R.を導入する。
  論文  参考訳（メタデータ） (2024-07-22T20:13:10Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。