Fugu-MT 論文翻訳(概要): AI Research Preference Models

論文の概要: AI Research Preference Models

arxiv url: http://arxiv.org/abs/2608.13940v1
Date: Fri, 14 Aug 2026 04:20:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.266723
Title: AI Research Preference Models
Title（参考訳）: AIリサーチの選好モデル
Abstract要約: 研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。フロンティア作業の進行はコストで妨げられています我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
参考スコア（独自算出の注目度）: 87.14303218008381
License: http://creativecommons.org/licenses/by/4.0/
Abstract: AI research agents (AIRA) can now propose, implement, and evaluate their own machine learning experiments, but progress on frontier tasks is throttled by cost: a candidate solution can be written in minutes, whereas evaluating it can take hours to days of GPU time. An agent can therefore propose far more candidates than it can afford to run, and its progress depends on its research preference: how it allocates a fixed execution budget across many candidates. We introduce AI Research Preference Models (RPMs) that predict which of multiple candidate solutions are most worth executing, without paying the cost of executing them all. We build RPMs from frozen pretrained language models (with no task-specific training), in two forms: an inference-only model that reasons over candidate plans, code, and prior executed solutions, and an agentic model that additionally runs small-scale pilot experiments before deciding. We integrate both into the AIRA-dojo search agent and evaluate on AIRS-Bench, a recent benchmark of machine learning research tasks for AI research agents. The two variants raise the average normalized score from 0.684 to 0.711 and 0.729 respectively, and reach the unguided agent's 24-hour performance in roughly 15 hours, using less than two-thirds of its execution budget. Our best RPMs also yield new state-of-the-art results on two AIRS-Bench tasks.
Abstract（参考訳）: AI研究エージェント(AIRA)は、独自の機械学習実験を提案し、実装し、評価することができるが、フロンティアタスクの進捗はコストによって妨げられる。したがって、エージェントは実行できる範囲よりもはるかに多くの候補を提案することができ、その進捗は研究の好み、すなわち多くの候補に対してどのように固定された実行予算を割り当てるかに依存する。 AI Research Preference Models(RPM)を導入し、複数の候補ソリューションのどれが最も実行価値があるかを予測します。我々は、凍結した事前訓練された言語モデル(タスク固有のトレーニングを伴わない)から、候補計画、コード、事前実行されたソリューションを理由づける推論のみのモデルと、決定する前に小規模のパイロット実験を同時に実行するエージェントモデルという2つの形式で、RPMを構築します。我々はAI研究エージェントのための機械学習研究タスクのベンチマークであるAIRS-BenchをAIRA-dojo検索エージェントに統合し、評価する。 2つの変種は平均正規化スコアを0.684から0.711と0.729に引き上げ、実行予算の3分の2以下で約15時間で無誘導エージェントの24時間のパフォーマンスに達する。当社の最高のRPMは、2つのAIRS-Benchタスクの最先端の結果も得る。

関連論文リスト

$τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation [51.05516457377339]
ロングホライズンロボットの操作には、ロボットが個々のスキルを確実に実行し、拡張されたタスクに対してそれらを一貫性を持ってシーケンスする必要がある。計算スケーリング可能な推論問題として高レベルサブタスク生成を定式化する階層型ロボット基盤モデルである$_0$-VLAを導入する。低レベルポリシーは、生成されたサブタスクを複数のロボットエンボディメントにわたって実行する。
論文参考訳（メタデータ） (2026-08-17T17:59:11Z)
AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。 Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文参考訳（メタデータ） (2026-02-06T16:45:02Z)
AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
論文参考訳（メタデータ） (2026-02-03T19:18:28Z)
Towards Execution-Grounded Automated AI Research [106.90422658528819]
実行基盤化は役に立つかもしれないが、自動実行が実現可能かどうか、LLMが実行フィードバックから学べるかどうかは不明だ。我々は、アイデアを実装する自動化エグゼキュータを構築し、その有効性を検証するために大規模な並列GPU実験をローンチする。本研究では,進化的探索と強化学習という,実行フィードバックから学習する2つの方法を分析する。
論文参考訳（メタデータ） (2026-01-20T22:35:44Z)
A Rosetta Stone for AI Benchmarks [28.690200241767897]
ほとんどのAIベンチマークは、導入後数年から数ヶ月で飽和し、AI能力の長期的トレンドを研究するのは難しい。ベンチマークを縫合する統計フレームワークを構築し、モデル機能とベンチマークの難しさを1つの数値スケールで評価する。これは"Rosetta Stone"として機能し、同じベンチマークで評価されていなくても、幅広い能力と時間のモデルを比較することができます。
論文参考訳（メタデータ） (2025-11-28T20:18:58Z)
AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文参考訳（メタデータ） (2025-11-11T14:57:54Z)
RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts [4.06186944042499]
7つの挑戦的でオープンなMLリサーチエンジニアリング環境と、61人の専門家による71の8時間の試みのデータで構成されるRE-Benchを紹介します。最高のAIエージェントは、環境当たりの合計時間予算が2時間与えられたとき、人間の専門家よりも4倍高いスコアを得る。現在、人間は時間予算の増加に対してより良いリターンを示しており、8時間予算で上位AIエージェントのスコアをわずかに上回り、合計32時間(異なる試み)で上位AIエージェントのスコアを2倍にしている。
論文参考訳（メタデータ） (2024-11-22T18:30:46Z)
MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文参考訳（メタデータ） (2023-10-05T04:06:12Z)
AIBench Training: Balanced Industry-Standard AI Training Benchmarking [26.820244556465333]
新しいAIアーキテクチャ/システムのアーリーステージ評価には、安価なベンチマークが必要だ。私たちは現実世界のベンチマークを使って、学習力学に影響を与える要因をカバーしています。私たちは、最も包括的なAIトレーニングベンチマークスイートにコントリビュートしています。
論文参考訳（メタデータ） (2020-04-30T11:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。