論文の概要: RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases

• arxiv url: http://arxiv.org/abs/2609.10092v1
• Date: Wed, 09 Sep 2026 12:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.024929
• Title: RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases
• Title（参考訳）: RAP:リサーチアテンション予測が目標とするエビデンス買収ビアーズを公表
• Abstract要約: 大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、研究の関心の変化を追跡する能力は評価が難しい。 278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。 それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。
• 参考スコア（独自算出の注目度）: 58.92094935632493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly act as research agents, yet their ability to track shifts in research attention is difficult to evaluate because reviews and research ideas lack uniquely verifiable outcomes. We introduce Research Attention Prediction (RAP), a rolling benchmark covering 278 AI/ML fields and 1,390 episodes. At each cut-off, an LLM agent searches a temporally restricted arXiv corpus and predicts the next six months' paper shares across eight frozen research directions. Search generally helps, but all four diagnostic models perform worse than an exact-count exponentially weighted moving average (EWMA) baseline in compositional accuracy. We identify two linked bottlenecks. Under cumulative-history access, State carry-forward outperforms direct Forecast for all four diagnostic models; frozen-evidence replay links a shared component of this reversal to Forecast-oriented policies retrieving a smaller share of recent evidence. Even with exact historical activity, future-specific updating remains limited, with only GPT-5.5 plus reopened Search slightly surpassing EWMA. Fine-tuning on realised outcomes improves Qwen3-4B's forecast Spearman correlation by 0.105 on held-out fields at later origins, with gains also on change-rich episodes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、レビューや研究のアイデアには独特な検証結果が欠けているため、研究の関心の変化を追跡する能力は評価が難しい。 278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。 それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。 探索は一般的に役立つが、4つの診断モデルは全て、正確な数で指数関数的に重み付けされた移動平均(EWMA)のベースラインよりも、構成精度が劣る。 関連ボトルネックを2つ特定する。 累積的歴史アクセスの下では、州は4つの診断モデル全てにおいて直接Forecastを上回り、凍結した証拠リプレイは、この逆転の共有コンポーネントと、最近の証拠のごく一部を検索するForecast指向のポリシーをリンクする。 正確な歴史的活動にもかかわらず、将来の更新は限定的であり、GPT-5.5と再オープンされた検索はEWMAをわずかに上回っている。 実現された結果の微調整により、Qwen3-4Bの予測のスピアマン相関は、後発のホールトアウトフィールドで0.105向上し、変化の多いエピソードでも上昇する。

関連論文リスト

• Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures [11.365690419023425]
  既存のルート起因属性法は, 実行トレースが大きくなるにつれて, 診断精度が低下する。 連続検索は、連続的に、未解決の診断証拠を探し続けるよう裁判官に訴える。 MegaRCA-Mixは、長期にわたる実行負荷の多いタスクにまたがる50の人為的な障害試験の挑戦的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-09-11T19:29:21Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Can Large Language Models Forecast What Researchers Study Next? [26.392349686051173]
  コミュニティの文献が切り離されてしまうと、システムは最大5つのランクのアイデアを生み出し、それが後の論文に対して評価される。 GPT-4.1、Qwen2.5-7B/14B、Qwen3.5-9Bの5つの履歴圧縮戦略と学習モード分割予測器(MDF)を比較した。 結果盲検評価では、Qwen2.5はより広範な予測を生成するが、その利点にどの程度の幅が貢献するかは特定していない。
  論文  参考訳（メタデータ） (2026-09-01T05:26:37Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Thinking Like a Scientist? A Structural Study of LLM-Generated Research Methods [4.424680117690851]
  GPT-5.1、Gemini 3 Pro、DeepSeek-V3.2に、最近のarXivコンピュータサイエンス論文1000件のそれぞれからLLMで抽出された研究質問を提出する。 調査質問のみを提供するので、これらの提案がどの程度最適かではなく、最初の提案を反映している。 最も強い不均衡は提供者の選択に現れ、ジェンセン=シャノンの発散は他の分類学の次元よりも約3,5倍大きい。
  論文  参考訳（メタデータ） (2026-06-15T14:53:30Z)
• ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment [22.38716170940567]
  研究員が歴史的証拠から前向きな判断を下せるかどうかを評価するためのベンチマークであるForeSciを紹介する。 ForeSciには、素早く動く4つのAIドメインと4つの意思決定ファミリに500のタスクが含まれている。 明確な証拠組織は、トレーサビリティと事実支援を改善するが、決定家族に強く依存する。
  論文  参考訳（メタデータ） (2026-05-30T09:41:26Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning [4.683806391173103]
  ボランティア主導の湖のモニタリングは、氷の覆い、天候に関連したアクセス制限、時には人為的誤りから生じる多くのギャップを持つ、不規則で季節的な時系列をもたらす。 本研究は,メイン湖全域で収集された30年間のin situ記録から得られた30Lake, data-rich サブセット上でのSecchi Disk Depth (SDD) の予測について検討した。
  論文  参考訳（メタデータ） (2026-01-21T22:20:26Z)
• Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
  本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。 各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。 合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
  論文  参考訳（メタデータ） (2025-08-26T16:41:37Z)
• Ensembled Prediction Intervals for Causal Outcomes Under Hidden Confounding [49.1865229301561]
  本稿では,既存の因果感受性モデルを用いた部分同定手法を提案し,Caus-Modensがより厳密な結果区間を与えることを示す。 3つの異なるベンチマークのうち最後のものは、未知だが探究可能な基底真理を持つ観測実験にGPT-4を新たに使用することである。
  論文  参考訳（メタデータ） (2023-06-15T21:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。