論文の概要: WRAP++: Web discoveRy Amplified Pretraining

• arxiv url: http://arxiv.org/abs/2604.06829v2
• Date: Thu, 09 Apr 2026 12:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 14:10:47.900995
• Title: WRAP++: Web discoveRy Amplified Pretraining
• Title（参考訳）: WRAP++: Web DiscoveRy Amplified Pretraining
• Abstract要約: WRAP++(Web DiscoveRy Amplified Pretraining)を提案する。 WRAP++は、Webハイパーリンクからドキュメント間の関係を発見し、各文書ペア上で共同QAを合成する。 SimpleQAでは、7Bスケールと32BスケールのOLMoベースのモデルは、WRAP++でトレーニングされた。
• 参考スコア（独自算出の注目度）: 9.79503335028396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic data rephrasing has emerged as a powerful technique for enhancing knowledge acquisition during large language model (LLM) pretraining. However, existing approaches operate at the single-document level, rewriting individual web pages in isolation. This confines synthesized examples to intra-document knowledge, missing cross-document relationships and leaving facts with limited associative context. We propose WRAP++ (Web discoveRy Amplified Pretraining), which amplifies the associative context of factual knowledge by discovering cross-document relationships from web hyperlinks and synthesizing joint QA over each discovered document pair. Concretely, WRAP++ discovers high-confidence relational motifs including dual-links and co-mentions, and synthesizes QA that requires reasoning across both documents. This produces relational knowledge absent from either source document alone, creating diverse entry points to the same facts. Because the number of valid entity pairs grows combinatorially, this discovery-driven synthesis also amplifies data scale far beyond single-document rewriting. Instantiating WRAP++ on Wikipedia, we amplify ~8.4B tokens of raw text into 80B tokens of cross-document QA data. On SimpleQA, OLMo-based models at both 7B and 32B scales trained with WRAP++ substantially outperform single-document approaches and exhibit sustained scaling gains, underscoring the advantage of cross-document knowledge discovery and amplification.
• Abstract（参考訳）: 合成データ言い換えは,大規模言語モデル(LLM)事前学習において,知識獲得を促進する強力な手法として登場した。 しかし、既存のアプローチは単一ドキュメントレベルで動作し、個別のWebページを個別に書き換える。 これは、合成された例を文書内知識に限定し、文書間の関係を欠いたり、関連性に制限のある事実を残したりする。 WRAP++(Web DiscoveRy Amplified Pretraining)は,Webハイパーリンクから文書間関係を発見し,各文書ペア上で共同QAを合成することにより,事実知識の連想コンテキストを増幅する。 具体的には、WRAP++は二重リンクやコメンションを含む高信頼リレーショナルモチーフを発見し、両方のドキュメントをまたぐ推論を必要とするQAを合成する。 これにより、いずれのソース文書も関係知識が欠落し、同じ事実に対する多様なエントリポイントが生成される。 有効なエンティティペアの数は組合せ的に増加するため、この発見駆動合成は単一文書の書き換えを超えてデータスケールを増幅する。 WikipediaでWRAP++を検証し、原文の8.4BトークンをクロスドキュメントQAデータの80Bトークンに増幅する。 SimpleQAでは、WRAP++でトレーニングされた7Bおよび32BスケールのOLMoベースのモデルが、単一ドキュメントアプローチを大幅に上回り、持続的なスケーリングゲインを示し、クロスドキュメントの知識発見と増幅の利点を強調している。

関連論文リスト

• Model-Document Protocol for AI Search [11.377241012645994]
  原文が大規模言語モデル (LLM) にどのようにブリッジされているかを形式化する汎用フレームワークである Model-Document Protocol (MDP) を導入する。 MDPは、検索をパスフェッチとして扱う代わりに、構造化されていない文書をタスク固有のLCM対応の入力に変換する複数の経路を定義している。 本稿では,エージェントプロセスを通じてプロトコルを実現するMPP-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-29T04:29:17Z)
• ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
  我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。 当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。 結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
  論文  参考訳（メタデータ） (2025-09-01T11:32:24Z)
• DocHop-QA: Towards Multi-Hop Reasoning over Multimodal Document Collections [23.428084176322866]
  本稿では,マルチモーダル,マルチドキュメント,マルチホップ質問応答のための大規模ベンチマークであるDocHop-QAを提案する。 DocHop-QAはドメインに依存しないもので、テキストパス、テーブル、構造的なレイアウトキューなど、さまざまな情報フォーマットが組み込まれている。 我々は,構造化インデックス予測,生成応答,マルチモーダル統合の4つのタスクを通してDocHop-QAを評価した。
  論文  参考訳（メタデータ） (2025-08-20T08:17:45Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Multi-Facet Blending for Faceted Query-by-Example Retrieval [5.156059061769101]
  本稿では,多面体ブレンディング(FaBle)拡張法を提案する。 モジュール化によって、事前に定義されたファセットの知識やラベルが不要になります。 1K文書上のFaBle拡張は、ファセット条件埋め込みの訓練を著しく支援する。
  論文  参考訳（メタデータ） (2024-12-02T12:32:19Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• Knowledge-Driven Cross-Document Relation Extraction [3.868708275322908]
  関係抽出(RE)はよく知られたNLPアプリケーションであり、文レベルや文書レベルのタスクとして扱われる。 本稿では,文書横断REのための入力テキストにエンティティのドメイン知識を組み込む新しい手法KXDocREを提案する。
  論文  参考訳（メタデータ） (2024-05-22T11:30:59Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。