論文の概要: rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment

• arxiv url: http://arxiv.org/abs/2610.40488v1
• Date: Thu, 29 Oct 2026 17:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:58:31.790915
• Title: rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
• Title（参考訳）: rTaste:研究エージェントは美味しいか? 初期段階の研究判断の評価
• Abstract要約: 我々は6つのフロンティアモデルに7つの最近のNLP論文を与える。 各モデルは最小実行可能な実験(MVE)を提案する それぞれが設定したしきい値を通過してランク付けするかどうかを予測します。 別々に、最後にランク付けされたものを含む全てのMVEを試行し、3人のモデル監査官が結果を判断する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do research agents have taste, the judgment of which experiments are worth running before their outcomes are known? We give six frontier models seven recent NLP papers. Each model, working as a research agent alone or as a team, proposes minimum viable experiments (MVEs), forecasts whether each will pass a threshold it sets and ranks them. A separate executor then attempts every MVE, including those ranked last, and three model auditors judge the results. Of 415 MVEs, 194 are judged sound, valuable and new, but fewer than half of these (73) are also judged beyond the seed paper and non obvious. The agents' first choices match the auditors' most valued experiment more often than a random pick, but are not shown to improve on choosing the experiment written first. Their forecasts beat a base rate but are not measurably more accurate than those of a fresh instance of the same model given only the paper and registrations. Teams cost more without a clear overall improvement in proposal quality. The agents produce many worthwhile experiments, but the evidence that their rankings improve the choice of which to run remains limited. The evaluation harness and a dataset of all 415 MVEs, with their forecasts and audited outcomes, are available at https://github.com/ArtKanke/rTaste.
• Abstract（参考訳）: 研究員は、どの実験が結果がわかる前に実行価値があるかという判断を味わうだろうか? 我々は6つのフロンティアモデルに7つの最近のNLP論文を与える。 各モデルは研究エージェントとして、あるいはチームとして、最低限実行可能な実験(MVE)を提案し、それぞれが設定し、ランク付けする閾値を超えるかどうかを予測する。 個別の執行官が最後にランク付けされたものを含む全てのMVEを試行し、3人のモデル監査官が結果を判断する。 415機のMVEのうち194機は音量、価値、新品と判断されるが、その半分以下(73機)はシード紙を超えて判断される。 エージェントの最初の選択は、ランダムな選択よりも監査者の最も価値の高い実験にマッチするが、最初に書かれた実験を選択することで改善されることは示されていない。 彼らの予測はベースレートを上回っているが、紙と登録のみを与えられた新しいモデルのモデルよりも測定精度が低い。 提案品質の全体的な改善を伴わずに、チームはさらにコストを削減します。 エージェントは多くの価値ある実験を創出するが、それらのランクがどのレースを走らせるかを改善するという証拠は依然として限られている。 評価ハーネスと、予測と監査結果を含む415のMVEのデータセットは、https://github.com/ArtKanke/rTasteで公開されている。

関連論文リスト

• Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery [6.184744788321719]
  我々は6つの設計-構築-テスト-学習キャンペーンからなる最初のリリースであるAutonomous Science Benchを紹介する。 エージェントは設計のバッチを選択し、ラボサービスから測定を受け取り、その結果を使用してその後の実験をガイドする。 成功には、エージェントが測定した設計を評価する発見ゲートと、モデルが保持する設計のランキングを評価する学習ゲートの2つの校正ゲートを通過する必要がある。
  論文  参考訳（メタデータ） (2026-10-13T14:18:56Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Experimental Experience Modeling for Autonomous Research [74.75443711890406]
  本稿では,実験的な意思決定を行うためのフレームワークである実験経験モデリング(EEM)を紹介する。 EEMは、初期の実験軌道から決定関連レコードを抽出し、再利用可能な体験に蒸留し、経験ライブラリーに整理する。 EEMは、需要に関する意思決定関連エクスペリエンスの欠如を取得するために、目標とする低コストなパイロット実験を実施する。 そして、この新たに取得した経験と、検索した歴史的経験を組み合わせることで、その方向が本格的な評価を保証できるかどうかを判断する。
  論文  参考訳（メタデータ） (2026-09-30T09:39:30Z)
• Beyond Visual Quality: A Study of Test-Time Planning with World Action Models [33.830678725640944]
  世界行動モデルは、その結果の視覚的予測と共に行動を生成する。 未来の想像でアクションの選択をガイドする方法はまだ不明だ。 標本化行動が異なる結果をもたらすか,これらの違いが予測に現れるか,スコアが認識するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-09-21T15:15:38Z)
• Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
  本稿では,視覚的審美性ベンチマーク (VAB) を提案する。 VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。 最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
  論文  参考訳（メタデータ） (2026-05-12T19:33:28Z)
• Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations [3.262230127283452]
  審査員が不正に完了したクエリに応答すると,評価者が自己優先の判断を下す可能性があることを示す。 評価基準(Evaluator Quality Baseline)を導入し,審査員が不正に投票した確率と,別のモデルから不正な反応を投票した確率とを比較した。
  論文  参考訳（メタデータ） (2026-01-30T04:38:18Z)
• Predicting Empirical AI Research Outcomes with Language Models [27.148683265085012]
  AI研究における有望なアイデアの多くは提供されないが、その検証には相当な人的労力と計算が必要だ。 このタスクの最初のベンチマークを構築し、LMと人間の専門家を比較します。 私たちはカンファレンス論文からアイデアと実験結果を取り除き、ベースモデルがテストの切り離し日後に公表された1,585人の人間による検証されたアイデアペアを生成しました。 我々は,精巧なGPT-4.1と紙検索エージェントを組み合わせたシステムを開発し,25人の人間専門家を雇って比較する。 NLP領域では、我々のシステムは人間の専門家を64.4%対48.で破る。
  論文  参考訳（メタデータ） (2025-06-01T02:46:31Z)
• Efficient Weighting Schemes for Auditing Instant-Runoff Voting Elections [57.67176250198289]
  AWAIREは、適応的に重み付けされたテスト統計量であり、本質的には、テストに有効な仮説のセットを「学習」する。 我々は、より広範囲にスキームと設定を検討し、実践のための効率的な選択を特定し、推奨する。 現在のAWAIRE実装の制限は、少数の候補者に限られている。
  論文  参考訳（メタデータ） (2024-02-18T10:13:01Z)
• With Little Power Comes Great Responsibility [54.96675741328462]
  アンダーパワー実験により、統計的ノイズと有意義なモデル改善の違いを識別することがより困難になる。 小さなテストセットは、ほとんどの試行錯誤が、最先端のモデルと比較しても、十分なパワーが得られないことを意味している。 機械翻訳では,2000文の典型的テストセットが約75%のパワーで1 BLEU点の差を検出する。
  論文  参考訳（メタデータ） (2020-10-13T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。