論文の概要: LongForge: Measuring and Improving Long-Context Instruction Data via Evidence-Assertion Reasoning Graphs

• arxiv url: http://arxiv.org/abs/2610.23167v1
• Date: Fri, 16 Oct 2026 09:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.837999
• Title: LongForge: Measuring and Improving Long-Context Instruction Data via Evidence-Assertion Reasoning Graphs
• Title（参考訳）: LongForge:Evidence-Assertion Reasoning Graphsによるロングコンテキストインストラクションデータの計測と改善
• Abstract要約: LongForgeは、ロングコンテキストデータを測定するアナライザと、それを生成するシンセサイザーをペアにする。 すべての読み込みは、特定のエビデンスと推論ステップに遡り、データを監査可能にします。 7つのメインストリームデータセットを測定することで、以前は定量化されていなかった2つの欠陥が明らかになった。
• 参考スコア（独自算出の注目度）: 20.54513986300764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing quality control for long-context instruction-tuning data is a one-shot judgment inside the generation pipeline that leaves only a scalar, revealing neither which document parts an answer uses nor how many reasoning steps it writes down; the data can thus be neither audited nor controlled. We formalize data quality as a property of the alignment structure among document, question, and answer, and build LongForge, which pairs an analyzer that measures long-context data with a synthesizer that generates it. The analyzer reverse-reconstructs each sample into an evidence-assertion reasoning graph and programmatically computes four dimensions on it: breadth, depth, correctness, and completeness. Every reading traces back to specific evidence spans and reasoning steps, making data auditable. Measuring seven mainstream datasets reveals two previously unquantified defects: breadth barely grows with document length, and depth is generally low, the two being nearly orthogonal. The synthesizer then embeds the analyzer into generation, gating on correctness and completeness and deferring breadth and depth to a training-time mixture over measured values, which makes the training distribution controllable. On two backbones, its two mixtures, LongForge-1 and LongForge-N, outperform the strongest baseline by 2.2-4.7 points on average over six long-context benchmarks, and in a controlled comparison that holds the gate and the candidate pool fixed, raising breadth and depth alone is worth a further 1.16 points, making the structural distribution of training data a lever on downstream quality rather than only a description of it.
• Abstract（参考訳）: 長文の命令チューニングデータに対する既存の品質制御は、スカラーのみを残した生成パイプライン内のワンショット判定であり、どの文書部分を使用しても、どの推論ステップが書き下されているかは明らかにしない。 文書,質問,回答のアライメント構造の性質としてデータ品質を形式化し,LongForgeを構築する。 アナライザは、各サンプルをエビデンス・アサーション推論グラフに逆再構成し、その上の4次元(幅、深さ、正確性、完全性)をプログラムで計算する。 すべての読み込みは、特定のエビデンスと推論ステップに遡り、データを監査可能にします。 7つの主流データセットを測定すると、2つの未定の欠陥が明らかになる: 幅は文書の長さでほとんど成長せず、深さは一般的に低く、ほぼ直交している。 シンセサイザーは、分析器を生成に埋め込み、正確さと完全さを判断し、測定値を超えるトレーニング時間混合に幅と深さを遅延させ、トレーニング分布を制御可能とする。 2つのバックボーンでは、LongForge-1とLongForge-Nという2つのミックスが6つの長文ベンチマークで平均2.2-4.7ポイントで最強のベースラインを上回り、ゲートと候補プールを固定した比較では、幅と深さを1.16ポイント引き上げる価値があり、トレーニングデータの構造的分布は、記述だけでなく下流品質のレバーになっている。

関連論文リスト

• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding [7.772410077546426]
  ヴィジュアル言語モデル(VLM)はDocVQA、ChartQA、MMLongBench-Docといったビジュアル文書理解ベンチマークで高いパフォーマンスを達成した。 文書長,レイアウト構造,モダリティ構成,質問型などの要素を制御できる,長文視覚文書理解のための完全合成ベンチマークであるSynthDocBenchを紹介した。
  論文  参考訳（メタデータ） (2026-07-11T17:02:49Z)
• LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis [25.64387650835006]
  LongCrafterは階層的なタスク分類とエビデンスベースのパイプラインを結合する構造化合成フレームワークである。 LongCrafterはタスク整列した長いコンテキストを構築し、それらをパラグラフの依存関係をモデル化する明示的なエビデンスグラフに分解し、位置するエビデンスに厳格に根ざした命令応答ペアを生成する。 LongCrafterのデータに基づいて微調整されたモデルは、すべてのSFTベースラインや、公式の訓練後のモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-07-07T11:35:48Z)
• VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
  ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。 これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。 5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
  論文  参考訳（メタデータ） (2026-06-22T16:17:30Z)
• DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
  本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。 ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
  論文  参考訳（メタデータ） (2026-04-14T14:39:26Z)
• $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
  G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。 Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。 5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
  論文  参考訳（メタデータ） (2026-01-29T17:52:54Z)
• UnicEdit-10M: A Dataset and Benchmark Breaking the Scale-Quality Barrier via Unified Verification for Reasoning-Enriched Edits [43.59555184340113]
  マルチツールチェーンをエンド・ツー・エンドのモデルと統一された検証後のステージで置き換える軽量なデータパイプラインを導入する。 スケーラブルな品質管理のために、7Bのデュアルタスクエキスパートモデル textbfQwen-Verify をトレーニングし、効率的な故障検出と命令再カプセル化を行う。 このパイプラインは、さまざまな基本的な複雑な編集タスクにまたがる10Mスケールのデータセットである textbfUnicEdit-10M を生成する。
  論文  参考訳（メタデータ） (2025-12-01T17:45:44Z)
• EntropyLong: Effective Long-Context Training via Predictive Uncertainty [32.39649991665767]
  長距離依存関係をキャプチャするための長期コンテキスト言語モデルのトレーニングには、特別なデータ構築が必要である。 本研究では,予測不確実性を利用して依存性の品質を検証する新しいデータ構築手法であるEntropyを提案する。 提案手法は,文書中の高エントロピー位置を特定し,大規模コーパスから意味論的に関連づけられたコンテキストを抽出し,予測エントロピーを減少させるかどうかを判断して有用性を検証する。
  論文  参考訳（メタデータ） (2025-09-26T02:38:08Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。