論文の概要: AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining

• arxiv url: http://arxiv.org/abs/2610.20086v1
• Date: Wed, 14 Oct 2026 12:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.137948
• Title: AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining
• Title（参考訳）: AFCS:原子-Fact-Conditioned Synthesis for Factual Knowledge Pretraining
• Abstract要約: AFCS(Atomic-Fact-Conditioned Synthesis)は、まずソース支援された原子事実を抽出し、各保持された事実を使用して生成するパイプラインである。 粒度の短縮は、事実レベルの合成がチャンクレベル、段落レベル、実体レベルの合成よりも改善することを示している。
• 参考スコア（独自算出の注目度）: 9.79503335028396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data is increasingly used in language-model pretraining. Existing knowledge-corpus synthesis pipelines, including WRAP and Nemotron-CC, usually take a source passage or document segment as input and generate rewritten or QA-style samples from that text. This can improve surface form and prompt diversity, but it does not explicitly require fine-grained source facts -- especially secondary entities, list/table entries, and precise temporal attributes -- to appear in the synthesized corpus. We propose AFCS (Atomic-Fact-Conditioned Synthesis), a pipeline that first extracts source-supported atomic facts and then uses each retained fact to drive generation. AFCS uses structure-aware extraction over the document tree, source-grounded verification, local context expansion, and multi-format generation. In continued-pretraining experiments with OLMo-3-7B and a 32B base on the same FineWiki source corpus, AFCS outperforms WRAP and Nemotron-CC on SimpleQA, SimpleQA Verified, PopQA, and HotpotQA. Granularity ablations show that fact-level synthesis improves over chunk-level, paragraph-level, and entity-level synthesis; and a 100B-token mid-training integration improves factual benchmarks and raises the 12-task general benchmark average by +1.09.
• Abstract（参考訳）: 合成データは言語モデル事前学習にますます使われている。 WRAPやNemotron-CCを含む既存の知識コーパス合成パイプラインは通常、入力としてソースパスや文書セグメントを取り、そのテキストから書き直しやQAスタイルのサンプルを生成する。 これは表面形状を改善し、多様性を促進することができるが、合成コーパスに現れるには、特にセカンダリエンティティ、リスト/テーブルエントリ、正確な時間属性といった、きめ細かいソース事実を明示的に必要としない。 AFCS(Atomic-Fact-Conditioned Synthesis)は,まずソース支援された原子事実を抽出し,各保持事実を用いて生成するパイプラインである。 AFCSは、ドキュメントツリー上の構造認識抽出、ソースグラウンド検証、ローカルコンテキスト拡張、マルチフォーマット生成を使用する。 同じFineWikiソースコーパス上のOLMo-3-7Bと32Bベースによる事前トレーニング実験では、AFCSはSimpleQA、SimpleQA Verified、PopQA、HotpotQAでWRAPとNemotron-CCを上回っている。 グラニュラリティ・アブレーションは、ファクトレベルの合成はチャンクレベル、段落レベル、エンティティレベルの合成よりも改善され、100Bの学習中間統合はファクトレベルのベンチマークを改善し、12タスクの一般ベンチマーク平均を+1.09に引き上げることを示している。

関連論文リスト

• Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training [12.81568269791334]
  関連コンテンツがコヒーレントな書籍レベル文書に整理されているかを検討する。 学習前のコーパスからソースを抽出し、トピック単位に集約し、コンテンツの階層的なテーブルを計画し、ソースグラウンドされたセクションを完全な本に組み立てる。 このコーパスとミドルミキシングによる自然書の置き換えにより、下流の性能は平均+1.09向上する。
  論文  参考訳（メタデータ） (2026-07-30T12:15:41Z)
• HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs [49.984192011187275]
  我々は人文科学と社会科学のための最初のデータ合成パイプラインであるHSS-Synthを紹介する。 HSS-Synthは,(1)Webコーパスからのシード文書を,審査員が評価した多段階のフィルタリングとテキストリファインメントによって構築すること,(2)厳格なQ&Aアライメントチェックによって,シード文書を多種多様な忠実な命令に"要求+ペルソナ"を指定すること,(3)教師による回答の限界を突破すること,からなる。
  論文  参考訳（メタデータ） (2026-07-29T18:37:14Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning [48.56088080889236]
  我々は、新しいデータ合成フレームワークによって生成された1000万のトークンをスケーリングする新しいベンチマークであるCorpusQAを紹介した。 合成データの微調整はLLMの一般的な長文推論能力を効果的に向上させることを示す。 メモリ拡張型エージェントアーキテクチャは,より堅牢な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-01-21T12:52:30Z)
• Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass [4.990228412613982]
  JEDIは、原子の事実分解と解釈可能な推論を共同で行うエンコーダのみのアーキテクチャである。 学習を容易にするため、複数のNLIベンチマークをカバーする合成的合理性の大規模なコーパスを生成する。 本研究は, エンコーダのみのアーキテクチャと合成論理を用いて, NLIの解釈可能性とロバストな一般化を実現することができることを示す。
  論文  参考訳（メタデータ） (2025-09-23T11:30:42Z)
• Synthetic bootstrapped pretraining [52.92577542049469]
  本稿では,SBP(Synthetic Bootstrapped Pretraining)について述べる。 SBPはまず、事前学習データセットから文書間の関係のモデルを学び、次にそれを利用して巨大な新しいコーパスを合成する。 SBPは高い繰り返しベースラインを継続的に改善し、オラクル上界で達成可能な性能改善のかなりの部分を提供する。
  論文  参考訳（メタデータ） (2025-09-17T22:28:27Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。