論文の概要: When Search Eats the Web: A Model of Corpus Erosion under Generative Extraction
- arxiv url: http://arxiv.org/abs/2608.15896v1
- Date: Sun, 16 Aug 2026 19:03:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.462122
- Title: When Search Eats the Web: A Model of Corpus Erosion under Generative Extraction
- Title（参考訳）: 検索がWebを食うとき--生成的抽出によるコーパス・エロージョンのモデル
- Abstract要約: ジェネレーティブ検索エンジン(GSE)は、クロールされたWebコンテンツから直接ユーザークエリに回答する。
クロール可能なコーパスをコモンプールリソースとしてモデル化する。
社会的に最適な抽出率は浸食閾値より厳密に低いことが証明された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative search engines (GSEs) answer user queries directly from crawled web content. The capture of value from the corpus without a visit returned to the source (we call this capture extraction) diverts the traffic that finances content production. In response, publishers may restrict crawler access to their websites. In this paper, we model the crawlable corpus as a common-pool resource: the crawlable commons. It is described by three quantities: volume, average quality, and lifetime. Under two types of responses of publishers we prove that extraction degrades all three at once: publishers opt out, renewal loses its funding, and content becomes more perishable. After a given erosion threshold, the corpus goes extinct. A myopic GSE can cross this threshold, a long-run oriented GSE stays below it. We extend our model to several competing engines and prove, under a concavity condition on the steady-state value of the commons, that the symmetric equilibrium extraction rate is nondecreasing in their number and converges to the threshold. Adding users who strictly prefer direct answers, the assumption most favorable to extraction, we prove that the socially optimal extraction rate lies strictly below the erosion threshold, and no higher than the single engine's sustainable optimum. Finally, we discuss seven survival mechanisms.
- Abstract（参考訳）: ジェネレーティブ検索エンジン(GSE)は、クロールされたWebコンテンツから直接ユーザークエリに回答する。
ソースに返されることなく、コーパスから値を取得する(このキャプチャ抽出と呼ばれる)ことで、コンテンツ生産の資金源となるトラフィックが分散します。
これに対応して、パブリッシャーはウェブサイトへのクローラーアクセスを制限することができる。
本稿では,クローラブルコーパスをコモンプールリソースであるクローラブルコモンズとしてモデル化する。
体積、平均品質、寿命の3つの量で表される。
パブリッシャーの反応は2種類あり、抽出は3つすべて一度に劣化し、パブリッシャーはオプトアウトし、更新は資金を失い、コンテンツはより普及する。
浸食のしきい値が与えられた後、コーパスは消滅する。
筋電図GSEはこのしきい値を越えることができ、長い方向のGSEはその下にとどまる。
我々は、我々のモデルをいくつかの競合するエンジンに拡張し、コモンズの定常値の凹凸条件の下で、対称平衡抽出速度がそれらの数で非減少し、しきい値に収束することを証明した。
直接解答を厳格に好み、抽出に最も好ましい仮定を加えることで、社会的に最適な抽出レートが浸食閾値より厳密に低く、単一のエンジンの持続可能な最適値よりも高くないことが証明される。
最後に,7つの生存メカニズムについて考察する。
関連論文リスト
- Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023-2026) [0.0]
生成エンジン最適化は、コンテンツの存在、引用の可能性、生成エンジンが生成する回答への影響を高めることを目指している。
この批判的な調査は、2023年11月から2026年7月までに選択された45の研究をレビューする。
論文 参考訳（メタデータ） (2026-07-15T17:03:08Z) - Bayesian Rational Search Engine User [4.149972584899897]
ページ上の平均項目を奥行きに依存した閾値で後部平均値を超えると,利用者はすぐに停止する。
このモデルは、ユーザが停止する理由に関する3つの隠されたメカニズム(トラスト、コミット、カットロス)を明らかにし、テスト可能な豊富な意味を持つ。
論文 参考訳（メタデータ） (2026-05-22T21:22:08Z) - Drift and selection in LLM text ecosystems [0.016201337438609787]
公開のテキスト記録は、そのアウトプットによってますます形づくられている。
可変次$n$-gramのエージェントをベースとした,このプロセスのためのフレームワークを開発する。
出版物が公開テキストを圧縮し、選択的なフィルタリングがよりリッチな構造を維持するかどうかを識別する。
論文 参考訳（メタデータ） (2026-03-15T08:28:38Z) - SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。
既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。
我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文 参考訳（メタデータ） (2026-02-06T09:14:07Z) - ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization [86.57743637722596]
LLM(Large Language Model)ベースのWebエージェントは、知識集約的なタスクに強いパフォーマンスを示す。
複数のエンティティ、絡み合った関係、不確実性の高い検索サイクルを含む複雑なクエリ。
本稿では,周期的文脈要約による不確定探索を可能にする新しいパラダイムであるReSumを紹介する。
論文 参考訳（メタデータ） (2025-09-16T17:57:22Z) - Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。
本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
論文 参考訳（メタデータ） (2025-04-14T06:54:49Z) - GASLITEing the Retrieval: Exploring Vulnerabilities in Dense Embedding-based Search [5.195873909474138]
埋め込みベースのテキスト検索x2013$retrieval from corporax2013$は、ディープラーニングを実現する強力なメソッドステートとして登場した。
しかし、埋め込みベースの検索は、悪意のあるコンテンツを宣伝する検索エンジンの敵に受け入れられる可能性がある。
論文 参考訳（メタデータ） (2024-12-30T13:49:28Z) - SurvivalGAN: Generating Time-to-Event Data for Survival Analysis [121.84429525403694]
検閲と時間的地平線の不均衡は、生成モデルに生存分析に特有の3つの新しい障害モードを経験させる。
本稿では,検閲やイベントの地平線における不均衡に対処し,生存データを扱う生成モデルであるSurvivalGANを提案する。
医療データセットに関する広範な実験により,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-02-24T17:03:51Z) - Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。
提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
論文 参考訳（メタデータ） (2020-10-15T17:07:10Z) - Exploring Explainable Selection to Control Abstractive Summarization [51.74889133688111]
説明可能性を重視した新しいフレームワークを開発する。
新しいペアワイズ行列は、文の相互作用、中心性、属性スコアをキャプチャする。
コンストラクタ内の文分割アテンション機構は、最終要約が所望のコンテンツを強調することを保証する。
論文 参考訳（メタデータ） (2020-04-24T14:39:34Z) - At Which Level Should We Extract? An Empirical Analysis on Extractive
Document Summarization [110.54963847339775]
本研究は,全文を抽出する際,不必要な問題や冗長性が存在することを示す。
選挙区解析木に基づくサブセグメント単位の抽出を提案する。
論文 参考訳（メタデータ） (2020-04-06T13:35:10Z) - Abstractive Snippet Generation [39.30483409765206]
抽象スニペット(英: abstractive snippet)とは、検索エンジンの検索結果ページのWebページを要約するために作成されたテキストである。
本稿では,遠隔監視のための2つの大規模ソース,すなわちアンカーコンテキストとWebディレクトリを識別する,抽象スニペット生成のための新しいアプローチを提案する。
本稿では,2方向の抽象スニペット生成モデルを提案し,コーパスと生成した抽象スニペットの品質を標準尺度,クラウドソーシング,および技術状況と比較して評価する。
論文 参考訳（メタデータ） (2020-02-25T10:36:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。