論文の概要: Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
- arxiv url: http://arxiv.org/abs/2608.25826v1
- Date: Wed, 26 Aug 2026 14:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.854584
- Title: Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
- Title（参考訳）: 連続事前学習のための多軸発生路への科学論文の展開
- Abstract要約: 本稿では,各紙を多ターン生成軌道に展開するパイプラインを提案する。
すべてのセクションテキストと要約は、ソースペーパーから冗長に保持される。
実際の論文テキストを回答として扱うと、SFTデータセットが生成される。
- 参考スコア（独自算出の注目度）: 45.97752484594236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recent line of synthetic-data work reconstructs the thinking behind existing text rather than rewriting the text itself, but it operates on short web passages, recovers only local thoughts, and leaves the structure of whole documents untouched. Scientific papers are written to a clear and largely uniform structure and make a natural substrate for lifting this paradigm to the document level. We present a pipeline that unfolds each paper into a multi-turn generation trajectory in which a teacher model reconstructs the writing process of the whole paper: a writing request, a global plan, and pre-writing deliberation for each section. All section texts and the abstract are kept verbatim from the source paper. We apply the pipeline to quality-filtered arXiv papers and obtain a corpus for continued pre-training (CPT) that is roughly twice the size of the source text. The same reverse construction extends to instruction data and evaluation. Treating real paper text as the answer yields an SFT dataset. Anchoring tasks in held-out papers yields PAW-Bench, an academic-writing benchmark whose tasks carry their own rubrics and checklists. In controlled experiments CPT on our corpus followed by supervised fine-tuning on public datasets improves writing benchmarks broadly while preserving general reasoning and improving long-document reading. The writing gain persists even when every model is fine-tuned on a dedicated writing SFT dataset. Mixing our SFT data into that recipe lifts academic writing further.
- Abstract（参考訳）: 近年の合成データ研究は、テキスト自体を書き換えるのではなく、既存のテキストの背景にある思考を再構築しているが、短いWebパスで動作し、ローカルな思考のみを回復し、文書全体の構造を無傷で残している。
科学論文は明確でほぼ均一な構造に書かれており、このパラダイムを文書レベルまで持ち上げるための自然な基盤となっている。
本稿では,各論文を多ターン生成軌道に展開するパイプラインについて述べる。教師モデルでは,書込み要求,グローバルプラン,各セクションの事前書込み検討など,全論文の書込み過程を再構築する。
すべてのセクションテキストと要約は、ソースペーパーから冗長に保持される。
品質フィルタされたarXiv紙にパイプラインを適用し、ソーステキストの約2倍の大きさの継続事前学習(CPT)のためのコーパスを得る。
同じ逆構成は命令データと評価にまで拡張される。
実際の論文テキストを回答として扱うと、SFTデータセットが生成される。
保留書類にタスクを記入するとPAW-Benchは、独自のルーリックとチェックリストを持つ学術書記ベンチマークになる。
コーパス上でのCPT制御実験では、公開データセットの教師付き微調整により、一般的な推論を保ちながらベンチマークを広範囲に改善し、長期文書読解を改善する。
書き込みゲインは、すべてのモデルが専用の書き込みSFTデータセットに微調整されている場合でも持続する。
SFTデータをそのレシピに混ぜることで、学術的な文章がさらに高められます。
関連論文リスト
- Code as Representation: A Compilable Parsing Paradigm for Academic Documents [50.40789738182074]
Compilable Academic Document Parsing (CADP)は、コンテキストラプラス実行可能なPythonとして全ページを再構築するパラダイムである。
テキストと複数のSAEタイプを含む全学術ページのエキスパート検証ベンチマークであるCADP-Benchを紹介する。
その結果、フロンティアモデルでさえも、高忠実度で実行可能な再構築を行うのに苦戦していることがわかった。
論文 参考訳（メタデータ） (2026-08-18T09:10:43Z) - Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training [12.81568269791334]
関連コンテンツがコヒーレントな書籍レベル文書に整理されているかを検討する。
学習前のコーパスからソースを抽出し、トピック単位に集約し、コンテンツの階層的なテーブルを計画し、ソースグラウンドされたセクションを完全な本に組み立てる。
このコーパスとミドルミキシングによる自然書の置き換えにより、下流の性能は平均+1.09向上する。
論文 参考訳（メタデータ） (2026-07-30T12:15:41Z) - LECTOR: Joint Optimization of Scientific Reasoning Graphs and Introduction Generation [57.70907667652966]
序文は特に難解であり、論理的な健全さと検証可能な忠実さを要求する。
ほとんどのAI支援手法は、推論や構造化ではなく、タスクをテキスト生成として扱うため、深刻な欠点が生じる。
我々は,科学者の論理を厳格に追従し,高品質な引用を加え,構造化された表現を維持できる新しい論理表現協調強化学習フレームワークであるLECTORを提案する。
論文 参考訳（メタデータ） (2026-05-25T15:41:16Z) - sciwrite-lint: Verification Infrastructure for the Age of Science Vibe-Writing [0.0]
現在、科学は品質保証に2つの選択肢を提供しているが、どちらも不十分である。
論文自体を測る第3の選択肢を提案する。
sciwrite-lintは、研究者のマシンで完全に動作する科学写本のためのオープンソースライブラリである。
arXivとbioRxivの未確認論文30件について, 誤り注入とLCM適応偽陽性解析を用いてパイプラインの評価を行った。
論文 参考訳（メタデータ） (2026-04-09T17:46:44Z) - EarlySciRev: A Dataset of Early-Stage Scientific Revisions Extracted from LaTeX Writing Traces [5.062670468960367]
我々は、arXivソースファイルから自動的に抽出されるアーリーステージの科学的テキストリビジョンのデータセットであるEarlySciRevを紹介する。
私たちのキーとなる観察は、コメントアウトされたテキストは、しばしば、著者自身によって書かれた破棄された、または代替的な定式化を保存することである。
私たちのパイプラインは、578万の検証済みリビジョンペアを生成します。
論文 参考訳（メタデータ） (2026-03-30T14:47:04Z) - Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training [23.87978106727431]
本稿では、堅牢なエンドツーエンド文書解析のためのデータ学習協調設計フレームワークを提案する。
本手法は,スキャン・デジタル・実世界の両方のシナリオにおいて,精度とロバスト性を向上する。
論文 参考訳（メタデータ） (2026-03-25T03:19:09Z) - Training-Free Acceleration for Document Parsing Vision-Language Model with Hierarchical Speculative Decoding [102.88996030431662]
本稿では,文書解析タスクの学習自由かつ高効率な高速化手法を提案する。
投機的復号化にインスパイアされた私たちは、将来のトークンのバッチを予測するために、ドラフトモデルとして軽量な文書解析パイプラインを使用します。
汎用OmniDocBenchに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2026-02-13T14:22:10Z) - Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering [51.7493726399073]
本稿では,長文質問応答を改善するための対話型階層型フレームワークを提案する。
このフレームワークには3つの重要な革新がある: 長文の専門的な談話解析、LLMに基づく談話関係ノードの拡張、構造誘導階層検索である。
論文 参考訳（メタデータ） (2025-05-26T14:45:12Z) - CiteBench: A benchmark for Scientific Citation Text Generation [69.37571393032026]
CiteBenchは引用テキスト生成のベンチマークである。
CiteBenchのコードはhttps://github.com/UKPLab/citebench.comで公開しています。
論文 参考訳（メタデータ） (2022-12-19T16:10:56Z) - Automatic Document Sketching: Generating Drafts from Analogous Texts [44.626645471195495]
著者がレビューと修正を行うためのドラフト文書全体を生成する新しいタスクである文書スケッチを導入する。
これらのドラフトは、コンテンツのばらつきながら、形式的に重複するドキュメントのセット - 潜在的に再利用可能なテキストの大きなセグメントを共有する - から作成されます。
本研究は,変圧器を用いた専門家の混合と強化学習の併用を含む,弱教師付き手法の適用について検討する。
論文 参考訳（メタデータ） (2021-06-14T06:46:06Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳（メタデータ） (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。