論文の概要: A robust association between LLM use and scientific productivity: Assessing stopping-time selection

• arxiv url: http://arxiv.org/abs/2607.28968v1
• Date: Fri, 31 Jul 2026 02:44:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.575046
• Title: A robust association between LLM use and scientific productivity: Assessing stopping-time selection
• Title（参考訳）: LLM使用と科学的生産性のロバストな関連性:停止時間選択の評価
• Abstract要約: 著者の要約がフラグ付けされた最初の月のデート採用は、ポジティブなイベントスタディパスを生み出すことができる停止時間選択を誘導する、と我々は主張する。 この機構は数学的には可能であるが、ヌル効果の証明を構成するものではない。 測定されたアソシエーションがこのベンチマークのかなり上にあるので、成果物が小さすぎて生産性の変化を説明することができません。
• 参考スコア（独自算出の注目度）: 8.9515784506288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Renault, Bergeaud, and Bosquet (hereafter RBB) argue that dating LLM adoption as the first month in which an author's abstract is flagged induces a stopping-time selection that can produce a positive event-study path even when there is no causal effect. Although this mechanism is mathematically possible, it does not constitute proof of a null effect. Recalibrating RBB's own random placebo to the detector's realized flag rate, we show that the measured association stays well above this benchmark, so the artifact is too small to explain the productivity changes. We further re-estimate the association between LLM adoption and productivity with a series of complementary designs in which the timing artifact cannot bias the estimate: a before-and-after comparison that dates adoption in one year and measures output in another, a conservative control group for difference-in-differences, an intensity-based specification that never defines an adoption date, and a rank-based measurement holding the flag rate fixed. A positive productivity association persists across all of these estimates, while the same tests run on pre-ChatGPT placebo data return null effects. The artifact RBB identify is real but bounded, and it does not account for the pattern we report.
• Abstract（参考訳）: Renault, Bergeaud, and Bosquet (以下 RBB 以降) は LLM が採用される最初の月に著者の要約がフラグ付けされ、因果効果がない場合でも前向きなイベントスタディパスを生成できる停止時間選択が誘導されると主張している。 この機構は数学的には可能であるが、ヌル効果の証明を構成するものではない。 RBBのランダムなプレースボを検出器が実現したフラグレートに補正すると、測定されたアソシエーションがこのベンチマークのかなり上にあることが示されるので、成果物は生産性の変化を説明するには小さすぎる。 さらに、LCMの採用と生産性の関係を、そのタイミングアーティファクトが予測を偏見できない一連の相補的な設計で再推定する:1年ごとの日時採用と別の年毎のアウトプットの測定、差分差分管理のための保守的な制御グループ、採用日を未定義の強度ベース仕様、フラグレートを固定したランクベース測定。 肯定的な生産性アソシエーションはこれらの見積すべてにわたって継続するが、同じテストはChatGPT以前のデータで実行され、null効果を返す。 アーティファクト RBB は実だが有界であり、我々が報告したパターンを説明できない。

関連論文リスト

• Counterfactual Evaluation of Temporal Observation Protocols [1.2292186162350942]
  実測プロトコルで収集されたデータが、展開されていない代替案の予測値を決定するかどうかを検討する。 無限のベンチマークデータでさえ、この値を決定する必要はない。 我々は、代替の値を変化させる潜在曖昧さのみを重要視する値固有識別理論を開発する。
  論文  参考訳（メタデータ） (2026-08-23T05:05:16Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits [6.908972852063454]
  行動汚染検知器は、ベンチマークがクリーンであるか、監査がほとんどパワーを持っていないため、"証拠がない"ことができる。 我々はこの区別を、トレーニング中に未知のアイテムの分数アルファが見られたベンチマークとして定式化した。 R2 = 0.83-0.98 を6つの正確な置換チャネルで予測する。 事前宣言された2段階のプランナーは、配備された試験をシミュレートし、予算を修復し、一様に保守的であり、プローブが輸送されないときに停止する。
  論文  参考訳（メタデータ） (2026-08-08T04:41:36Z)
• Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes [0.0]
  片方の治療用アームが他方よりもはるかに小さい,少数のプラセボ系について検討した。 それらは、その名目レベルよりも、真の効果をほとんど含まない。 本稿では,各アームの結果面をガウス過程でモデル化するGP-CATEを提案する。
  論文  参考訳（メタデータ） (2026-05-26T11:18:42Z)
• Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
  本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。 このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。 合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-04T06:52:37Z)
• A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
  離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。 最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。 そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
  論文  参考訳（メタデータ） (2025-06-10T12:41:26Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Local Discovery by Partitioning: Polynomial-Time Causal Discovery Around Exposure-Outcome Pairs [18.31538168213386]
  本稿では,因果推論タスクの分割(LDP)による局所的な発見を提案する。 LDPは制約ベースのプロシージャで、潜伏したコンバウンディングの下で露光出力ペアのVASを返す。 LDPの調整セットは、ベースライン発見アルゴリズムよりもバイアスが少なく、より正確な平均処理効果の推定値が得られる。
  論文  参考訳（メタデータ） (2023-10-25T14:53:10Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• On the role of surrogates in the efficient estimation of treatment effects with limited outcome data [43.17788100119767]
  一次利害関係にない結果のみを代理する単位にデータを組み込むことは、ATE推定の精度を高めることができる。 我々は,これらの効率向上を実現するために,ロバストなATE推定と推論手法を開発した。
  論文  参考訳（メタデータ） (2020-03-27T13:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。