論文の概要: Comment on arXiv:2607.01233: Survivorship Bias in Published-Paper Baselines for Research-Idea Distributions

• arxiv url: http://arxiv.org/abs/2609.15996v1
• Date: Thu, 09 Jul 2026 16:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.529025
• Title: Comment on arXiv:2607.01233: Survivorship Bias in Published-Paper Baselines for Research-Idea Distributions
• Title（参考訳）: arXiv:2607.01233:Survivorship Bias in Published-Paper Baselines for Research-Idea Distributions
• Abstract要約: 人間のベースラインは出版論文から成り、LSMベースラインはワンショットの提案から成り立っている。 ブリッジのようなアイデアや合成のようなアイデアが比較的簡単に生成できるが、出版物が生き残る可能性は比較的低いならば、公開された人間のベースラインは、目に見えない人間のアイデアプールにおいてその存在感を過小評価するだろう。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chen, Zhao, and Cohan introduce a valuable distributional evaluation of LLM-generated research ideas. This comment raises a narrower identification concern: their human baseline consists of published papers, whereas the LLM baseline consists of one-shot proposals. If bridge-like or synthesis-like ideas are relatively easy to generate but relatively unlikely to survive publication, then the published human baseline will understate their prevalence in the unseen human idea pool. The observed human--LLM gap may therefore be partly, or even largely, a consequence of survivorship bias.
• Abstract（参考訳）: Chen、Zhao、Cohanは、LLM生成の研究思想の貴重な分布評価を紹介した。 人間のベースラインは出版論文から成り、LSMベースラインはワンショットの提案から成り立っている。 ブリッジのようなアイデアや合成のようなアイデアが比較的簡単に生成できるが、出版物が生き残る可能性は比較的低いならば、公開された人間のベースラインは、目に見えない人間のアイデアプールにおいてその存在感を過小評価するだろう。 したがって、観察されたヒト-LLMギャップは、部分的に、または、大半が生存バイアスの結果である可能性がある。

関連論文リスト

• Measuring the Gap Between Human and LLM Research Ideas [63.27812052187884]
  高品質な人間研究論文の構想評価フレームワークを構築した。 それぞれの論文に対して、我々は、その中核となるアイデアにインスピレーションを与えたであろう、近縁な先行研究の小さなセットをリバースエンジニアリングする。 本稿では、その機会パターンと研究パラダイムにより、それぞれのアイデアをプロファイルするために、2軸のリサーチテイスト分類を導入する。
  論文  参考訳（メタデータ） (2026-07-01T17:59:56Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
  本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。 実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。 GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:55Z)
• Alien Science: Sampling Coherent but Cognitively Unavailable Research Directions from Idea Atoms [53.907293349123506]
  大規模な言語モデルは、しばしば、現在のコミュニティにとって一貫性があり、無関心なアイデアを生み出すのに失敗する。 我々は、このギャップを認知的可用性によって形式化し、研究の方向性が典型的な研究者によって自然に提案される可能性について述べる。 我々は、原子の集合が実行可能な方向を構成するかどうかをスコアするコヒーレンスモデルと、その方向が生成される確率をスコアするアベイラビリティモデルという2つの補完モデルを学ぶ。
  論文  参考訳（メタデータ） (2026-03-01T13:05:19Z)
• Can Finetuing LLMs on Small Human Samples Increase Heterogeneity, Alignment, and Belief-Action Coherence? [9.310571879281186]
  大規模言語モデル(LLM)は、調査および実験研究における人間の参加者の代用として機能する。 LLMは、しばしば実際の人間の行動と一致せず、限られた多様性を示し、少数派のサブグループに対する体系的なミスアライメントを示し、グループ内でのばらつきが不十分であり、言明された信念と行動の相違を示す。 本研究では、パイロットスタディから得られるような、人間の調査データのごく一部を微調整することで、これらの問題を緩和し、現実的なシミュレーション結果が得られるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-26T09:50:42Z)
• Language Models Surface the Unwritten Code of Science and Society [1.6245906033871593]
  本稿では,大規模言語モデル(LLM)が人間のバイアスをどのように受け継がれるかを研究する研究コミュニティに呼びかける。 本稿では,科学のケーススタディを通じて,ピアレビューに隠されたルールを明らかにする概念的枠組みを紹介する。
  論文  参考訳（メタデータ） (2025-05-25T02:28:40Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。