Fugu-MT 論文翻訳(概要): LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data

論文の概要: LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data

arxiv url: http://arxiv.org/abs/2610.30132v1
Date: Wed, 21 Oct 2026 17:59:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:40:06.473292
Title: LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
Title（参考訳）: LongZero: ゼロデータからLLMにおけるLong-Context Reasoningの強化
Abstract要約: LongZeroは、LLMが外部データを使わずに、自身の長文推論を改善する。 LongZeroは自己書きのマルチホップ推論タスクと自己書きのマルチラウンド検索タスクを組み合わせ、GRPOでモデルをトレーニングする。実験の結果、LongZeroは実際のタスクに一般化でき、両方のベースラインを上回ります。
参考スコア（独自算出の注目度）: 8.01992082372127
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) is an effective way to strengthen the long-context reasoning of large language models (LLMs), but it needs training data that are long, diverse, challenging, and verifiable. Human annotation of such data is expensive, naturally occurring data are too scarce to sustain RL, and existing synthesis methods depend on external corpora or stronger teacher models, which become harder to obtain as the trained models get stronger. Recently, RL from zero data, in which a model learns from tasks it proposes itself, has achieved excellent performance, but existing methods target short-context tasks. Therefore, we propose $\textbf{LongZero}$, a method that lets an LLM improve its own long-context reasoning without any external data. Instead of writing questions and answers over existing documents, LongZero first has the model synthesize the question and answer with its supporting evidence in a compact structured form, and only then separately expands the evidence into a long multi-document context. LongZero combines these self-written multi-hop reasoning tasks with self-written multi-round retrieval tasks and trains the model with GRPO. We evaluate LongZero on two LLMs across five long-context reasoning benchmarks and compare it with RL on data synthesized from external corpora. Experimental results show that LongZero can generalize to real tasks, and outperforms both baselines, suggesting a viable and promising path to improving long-context reasoning of LLMs.
Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の長文推論を強化する効果的な方法である。このようなデータの人間のアノテーションは高価であり、自然に発生するデータはRLを維持するには不足しており、既存の合成方法は外部のコーパスやより強力な教師モデルに依存しており、訓練されたモデルがより強くなるにつれて入手が困難になる。近年、モデルが提案するタスクから学習するゼロデータからのRLは優れた性能を達成しているが、既存のメソッドは短文タスクをターゲットにしている。そこで我々は, LLM が外部データを使わずに自身の長文推論を改善する手法である $\textbf{LongZero}$ を提案する。既存の文書に質問や回答を書く代わりに、LongZeroはまずモデルに質問を合成させ、その裏付けとなる証拠をコンパクトな構造化形式で解決させる。 LongZeroは、これらの自己書きのマルチホップ推論タスクと自己書きのマルチラウンド検索タスクを組み合わせて、GRPOでモデルをトレーニングする。我々は,LongZeroを5つの長文推論ベンチマーク上で2つのLLM上で評価し,外部コーパスから合成したデータについてRLと比較した。実験結果から,LongZeroは実タスクに一般化でき,両ベースラインを上回り,LLMの長文推論を改善するための実現可能かつ有望な道のりが示唆された。

関連論文リスト

Document Reconstruction Unlocks Scalable Long-Context RLVR [60.74632963522131]
RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の機能強化(長文)のための重要なパラダイムとなっている。我々は,LLMの長期的文脈能力を高めるための教師なしのアプローチについて検討し,重度の人的アノテーションや教師モデルの監督の必要性を排除した。提案手法の有効性をRULERとLongBenchv2の2つのベンチマークで検証した。
論文参考訳（メタデータ） (2026-02-09T03:23:23Z)
Chunks as Arms: Multi-Armed Bandit-Guided Sampling for Long-Context LLM Preference Optimization [56.97588709890706]
LongMab-POは、長文モデリングタスクのための高品質で多様な応答を生成する新しいフレームワークである。実験の結果,LongMab-POは嗜好データペアの多様性と品質を著しく向上させることがわかった。
論文参考訳（メタデータ） (2025-08-19T16:33:55Z)
LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning [34.723917246316205]
本稿では、強化学習(RL)を利用したインセンティブベースのアプローチを提案し、超長大で高品質なテキスト生成能力の出現を促進する。 Qwen2.5-32BからトレーニングされたLongWriter-Zeroモデルは、長文処理において従来のSFTメソッドよりも一貫して優れています。
論文参考訳（メタデータ） (2025-06-23T16:59:02Z)
WildLong: Synthesizing Realistic Long-Context Instruction Data at Scale [86.25450054683172]
WildLongは、実際のユーザクエリからメタ情報を取り出して、スケーラブルなデータを生成する。クロスドキュメント比較やアグリゲーションといったマルチドキュメント推論をサポートする。ベンチマーク全体で、既存のオープンソースの長期コンテキスト最適化モデルを上回っている。
論文参考訳（メタデータ） (2025-02-23T18:59:09Z)
NExtLong: Toward Effective Long-Context Training without Long Documents [28.002824369635768]
我々はNextLongを提案する。NextLongは、Negative Document Extensionを通じて、長文データのための新しいフレームワークである。 NExtLongは文書を複数のメタチャンクに分解し、事前学習したコーパスから取得したハードネガティブなイントラクタをインターリーブすることによってコンテキストを拡張する。大規模な実験により、NExtLongは既存の長文合成手法と比較して、大幅な性能向上を実現している。
論文参考訳（メタデータ） (2025-01-22T10:01:54Z)
How to Train Long-Context Language Models (Effectively) [75.5418485597276]
言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
論文参考訳（メタデータ） (2024-10-03T16:46:52Z)
LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-06-02T03:34:41Z)
Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models [13.091271774417867]
長期コンテキストモデリング機能は、様々なアプリケーションにおいて大きな言語モデル(LLM)にとって重要である。データマイニングフレームワーク textbfProLong を提案する。複数のベンチマークに関する総合的な実験は、ProLongが長い依存関係を持つドキュメントを効果的に識別していることを示している。
論文参考訳（メタデータ） (2024-05-28T07:36:56Z)
LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
論文参考訳（メタデータ） (2023-11-08T01:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。