論文の概要: Data Scout: Targeted Web Crawling for Domain-Specific Pretraining Corpora
- arxiv url: http://arxiv.org/abs/2609.05766v1
- Date: Fri, 04 Sep 2026 23:07:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.132673
- Title: Data Scout: Targeted Web Crawling for Domain-Specific Pretraining Corpora
- Title（参考訳）: Data Scout: ドメイン特化事前学習コーパスのためのターゲットWebクローリング
- Abstract要約: 本稿では,ドメイン固有の事前学習コーパス構築における主流アプローチを逆転させるデータスカウトを提案する。
LLMは、ルートトピックを分類と何千もの検索クエリに拡張し、返されたURL(種子)はサブドメインでグループ化され、ユーザが提供する分類器(プローブ)でスクリーニングされる。
これは、関連性がサブドメインレベルで鋭い境界を持つためである:数学では、あるページは兄弟サブドメイン上のページよりも21倍関連がある可能性が高い。
- 参考スコア（独自算出の注目度）: 1.9420847783550401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dominant approach to building domain-specific pretraining corpora is to filter large web archives such as CommonCrawl. This works well for popular domains but breaks down for specialized ones, where relevant content is sparse and often beyond the reach of popularity-driven crawlers. We present Data Scout, which inverts this: instead of filtering an archive, it directs a targeted crawl. An LLM expands a root topic into a taxonomy and thousands of search queries; the returned URLs (seeds) are grouped by subdomain and screened with a user-supplied classifier (the probe), admitting each subdomain on the basis of a small sample. This works because relevance has a sharp boundary at the subdomain level: in mathematics, a page is 21x more likely to be relevant than one on a sibling subdomain. With the FineMath classifier as the probe, 21.9% of crawled pages are high-quality math content, 70x the 0.31% rate from filtering a comparable web sample, so the crawl wastes far less effort. But the payoff is not just efficiency: 63.2% of these pages are missing from CommonCrawl altogether, yet just as useful for training. Continued pretraining of Llama-3.2-3B on 1.9B Data Scout tokens matches FineMath corpus on GSM8k. Because the probe is the only domain-specific component, Data Scout can in principle apply to any domain with such a classifier.
- Abstract（参考訳）: ドメイン固有の事前学習コーパスを構築するための主要なアプローチは、CommonCrawlのような大規模なWebアーカイブをフィルタリングすることである。
これは人気のあるドメインでうまく機能するが、関連コンテンツが希少で、人気を駆動するクローラーのリーチを超越した、専門のドメインではうまく機能しない。
アーカイブをフィルタリングする代わりに、ターゲットとするクローを指示する。
LLMは、ルートトピックを分類学と何千もの検索クエリに拡張し、返されたURL(種子)はサブドメインでグループ化され、ユーザに供給された分類器(プローブ)でスクリーニングされ、小さなサンプルに基づいて各サブドメインを承認する。
これは、関連性がサブドメインレベルで鋭い境界を持つためである:数学では、あるページは兄弟サブドメイン上のページよりも21倍関連がある可能性が高い。
ファインマス分類器をプローブとし、クロールされたページの21.9%は高品質な数学コンテンツであり、比較対象のウェブサンプルをフィルタリングすると0.31%の割合で70倍になるので、クロールの無駄ははるかに少ない。
63.2%のページはCommonCrawlから完全に欠落している。
1.9Bのデータスカウトトークン上でのLlama-3.2-3Bの事前訓練は、GSM8k上のFinMathコーパスと一致する。
プローブが唯一のドメイン固有のコンポーネントであるため、Data Scoutは原則としてそのような分類器を持つ任意のドメインに適用することができる。
関連論文リスト
- Search, Inspect, Fetch: Exploiting Structure-Aware Boolean Retrieval for Deep-Research Agents [50.35041517085015]
既存のDeep-ResearchエージェントはSearch-Visitワークフローを使用して、タイトル、見出し、セクション、メタデータを通じて公開する構造を考慮せずに、Webページ全体を検索する。
Boolean Query Language (BQL) によって駆動される検索-インスペクション-フェッチ戦略である textscSieve を導入する。
ウェブページのフィールドを検索して候補をフィルタリングし、インターチェンジ可能なランク付け器を使ってそれらを注文し、構造に富んだ結果カードを検査し、選択したセクションのみを取得する。
論文 参考訳（メタデータ） (2026-08-03T18:01:05Z) - Large Language Models are Built-in Autoregressive Search Engines [19.928494069013485]
大規模言語モデル(LLM)は、人間の指示に従って文書検索用のURLを直接生成することができる。
LLMは、対応するドキュメントの90%近くが、オープンドメインの質問に対する正しい回答を含むWebURLを生成することができる。
論文 参考訳（メタデータ） (2023-05-16T17:04:48Z) - Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。
本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。
本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-23T12:58:20Z) - Universal Cross-Domain Retrieval: Generalizing Across Classes and
Domains [27.920212868483702]
SnMpNetは、テスト中に遭遇した未確認のクラスとドメインを考慮に入れた2つの新しい損失を含む。
具体的には,目に見えるクラスと目に見えないクラスの知識ギャップを埋めるために,セマンティック・ネイバーフッド・ロスを導入した。
また、画像レベルでのミックスアップに基づく監視や、ミックスチャー予測損失を伴うトレーニング用データのセマンティックレベルも導入する。
論文 参考訳（メタデータ） (2021-08-18T19:21:04Z) - OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。
本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。
私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
論文 参考訳（メタデータ） (2021-04-07T18:36:31Z) - CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web
to Special Domain Search [89.48123965553098]
本稿では,特殊領域適応問題を緩和する探索システムを提案する。
このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。
本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
論文 参考訳（メタデータ） (2020-11-03T09:10:48Z) - Combining Domain-Specific Meta-Learners in the Parameter Space for
Cross-Domain Few-Shot Classification [6.945139522691311]
ドメイン特化メタラーナー(CosML)を組み合わせた最適化型メタラーニング手法を提案する。
実験の結果,CosMLは最先端の手法よりも優れ,クロスドメイン能力の強力な一般化を実現していることがわかった。
論文 参考訳（メタデータ） (2020-10-31T03:33:39Z) - Classes Matter: A Fine-grained Adversarial Approach to Cross-domain
Semantic Segmentation [95.10255219396109]
クラスレベルの特徴アライメントのための微粒な逆学習戦略を提案する。
ドメイン区別器として機能するだけでなく、クラスレベルでドメインを区別する、きめ細かいドメイン識別器を採用しています。
CCD (Class Center Distance) を用いた解析により, 粒度の細かい対角戦略により, クラスレベルのアライメントが向上することが確認された。
論文 参考訳（メタデータ） (2020-07-17T20:50:59Z) - Cross-Domain Document Object Detection: Benchmark Suite and Method [71.4339949510586]
文書オブジェクト検出(DOD)は、インテリジェントな文書編集や理解といった下流タスクに不可欠である。
我々は、ソースドメインからのラベル付きデータとターゲットドメインからのラベルなしデータのみを用いて、ターゲットドメインの検出器を学習することを目的として、クロスドメインDODを調査した。
各データセットに対して、ページイメージ、バウンディングボックスアノテーション、PDFファイル、PDFファイルから抽出されたレンダリング層を提供する。
論文 参考訳（メタデータ） (2020-03-30T03:04:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。