論文の概要: You Can Tell Who's Asking: What the Web's Questions Are Made Of, and Where They Come From

• arxiv url: http://arxiv.org/abs/2609.24106v1
• Date: Mon, 21 Sep 2026 04:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.071021
• Title: You Can Tell Who's Asking: What the Web's Questions Are Made Of, and Where They Come From
• Title（参考訳）: ウェブの質問とは何か、どこから来たのか?
• Abstract要約: 110 FineWebスナップショット(2013-2025)から13.4Bの質問項目を抽出し,3つの知見を報告する。 まず、誰が質問しているのかを判断できる。前科(質問のホスト/ページ)は、質問フォームにシグナルを残します。 第二に、質問頻度は需要を測るものではなく、最も頻繁な質問はボイラープレート/測定である。 第3に、12年間で実際の発生率は79%減少した(クロール組成の制御後42-56%)。
• 参考スコア（独自算出の注目度）: 2.154916817442986
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Questions scraped from the web are used across academia and industry as a proxy for what people want to know. Across QA training data, retrieval benchmarks, and content strategy, questions on a page are assumed to reflect human intent. We test this assumption at scale by extracting 13.4B question occurrences across 110 FineWeb snapshots (2013-2025), and report three findings. First, you can tell who is asking: provenance (the host/page of questions) leaves a signal in question form, and a logistic model can separate genuine user questions from templated/manufactured ones at AUC 0.725 via length and surrounding context rather than question type, though only 0.554 against commerce FAQ writing. Second, question frequency does not measure demand: the most-frequent questions are boilerplate/templated (over 70% of the top thousand), so occurrence counts measure how often a string was published and not how often it was asked. Third, over twelve years the genuine share of occurrences fell by 79% (42-56% after controlling for crawl composition), with question length and context decreasing. We present the first diachronic, occurrence-level measurement of web question provenance, and find the crawlable web's questions have shifted from being asked by humans toward manufactured for machines to read.
• Abstract（参考訳）: Webから取り除かれた質問は、学界や業界全体で、人々が知りたいことのプロキシとして使われます。 QAトレーニングデータ、検索ベンチマーク、コンテンツ戦略を通じて、ページ上の質問は人間の意図を反映していると仮定される。 110 FineWebスナップショット(2013-2025)から13.4Bの質問項目を抽出し,この仮定を大規模に検証し,3つの知見を報告する。 まず、誰が質問しているのかを知ることができる: 出所(質問のホスト/ページ)は、質問フォームにシグナルを残し、ロジスティックモデルは、AUC 0.725でテンプレート化された/製造されたものから、質問タイプではなく、長さと周囲のコンテキストを介して、本物のユーザー質問を分離することができる。 第二に、質問頻度は需要を測るものではなく、最も頻繁な質問はボイラープレート/測定される(上位1000の70%以上)。 第3に,12年間で実際の発生率は79%(クロール組成制御後42-56%)減少し,質問長と文脈は減少した。 そこで,本研究では,ウェブ上の問題発生度を初めてダイアクロニックで発生レベルに測定した結果,クロール可能なウェブの質問は,機械が読むための製造物へとシフトした。

関連論文リスト

• Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
  非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。 質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
  論文  参考訳（メタデータ） (2024-04-16T21:33:05Z)
• Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents [22.023543164141504]
  我々は,検索エンジンクエリのデータセットであるResearchy Questionsを紹介した。 クリックやセッションの長さといったシグナルによって,これらの質問に多くの労力が費やされていることを,私たちは示しています。 また、サブクエストへの分解のようなスロー思考の解答技術は、直接解答するよりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:27:16Z)
• A Comparative and Experimental Study on Automatic Question Answering Systems and its Robustness against Word Jumbling [0.49157446832511503]
  なぜなら、頻繁に質問される質問(FAQ)リストは、限られた数の質問しか持たないからである。 質問応答生成が可能なモデルは、データの範囲内にある全く新しい質問に答えることができる。 商用アプリケーションでは、顧客満足度と使いやすさを高めるために使用することができる。 しかし、多くのデータは人間によって生成されるため、ヒューマンエラーの影響を受けやすく、モデルの性能に悪影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T03:17:09Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• WebCPM: Interactive Web Search for Chinese Long-form Question Answering [104.676752359777]
  LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。 中国初のLFQAデータセットであるWebCPMを紹介する。 高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
  論文  参考訳（メタデータ） (2023-05-11T14:47:29Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。