論文の概要: Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling
- arxiv url: http://arxiv.org/abs/2610.35866v1
- Date: Mon, 26 Oct 2026 17:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.14153
- Title: Auto-Research Arena: Benchmarking and Advancing Auto-Research in Language Modeling
- Title（参考訳）: Auto-Research Arena: 言語モデリングにおけるオートリサーチのベンチマークと改善
- Abstract要約: Auto-Research Arenaは、自律的な研究システムを評価し、言語モデリングにおけるアイデアを発見するためのベンチマークである。
モデル、データ、トレーニング、推論効率にまたがる9つのターゲットで事前訓練した言語モデルで、Arenaをインスタンス化する。
アリーナは研究目的にまたがる既存のハーネスを明らかに差別化しており、単純なシーケンシャルな検索ベースラインではいくつかの高度な手法が優れている。
- 参考スコア（独自算出の注目度）: 26.896895881335737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As autonomous research systems become more capable, benchmarks must both evaluate their performance and support meaningful research progress. We introduce Auto-Research Arena, a multi-target benchmark for evaluating autonomous research systems and discovering ideas in language modeling. Arena supports diverse research objectives within a shared experimental environment by separating admissibility from improvement: model quality and resource constraints determine whether a result qualifies, while the selected target measures progress among admissible results. We instantiate Arena in language model pretraining with nine targets spanning model, data, training, and inference efficiency, and evaluate seven research harnesses using two foundation models. Arena clearly differentiates existing harnesses across research objectives, with several sophisticated methods outperformed by our simple sequential search baseline, indicating substantial headroom in current auto-research systems. Beyond evaluation, Arena reveals a substantially broader frontier of model and system ideas aligned with active research directions. Reusing these discoveries in a new quality-driven search yields lower training loss under matched data and FLOPs and lower held-out BPB at the same model size. Together, Arena provides a common framework for benchmarking autonomous research and expanding its scope in language modeling. The code is available at https://github.com/Auto-Research-Arena/auto-research-arena
- Abstract（参考訳）: 自律的な研究システムがより有能になるにつれて、ベンチマークはそのパフォーマンスを評価し、有意義な研究進歩をサポートする必要がある。
本稿では,自律的な研究システムの評価と言語モデリングにおけるアイデア発見のためのマルチターゲットベンチマークであるAuto-Research Arenaを紹介する。
モデル品質と資源制約は、結果が適合するかどうかを判断し、選択された目標が許容可能な結果の進捗を計測する。
モデル,データ,トレーニング,推論効率の9つの目標を対象とする言語モデルにおけるアリーナのインスタンス化と,2つの基礎モデルを用いた7つの研究ハーネスの評価を行う。
アリーナは研究目的にまたがる既存のハーネスを明らかに差別化しており、いくつかの洗練された手法が我々の単純なシーケンシャル検索ベースラインより優れており、現在の自動検索システムではかなりのヘッドルームとなっている。
評価以外にも、アリーナは活動的な研究方向に沿ったモデルとシステムアイデアの、はるかに広いフロンティアを明らかにしている。
これらの発見を新しい品質駆動検索で再利用すると、一致したデータとFLOPのトレーニング損失が減少し、同じモデルサイズで保持されたBPBが低下する。
Arenaは、自律的な研究をベンチマークし、言語モデリングの範囲を広げるための共通のフレームワークを提供する。
コードはhttps://github.com/Auto-Research-Arena/auto-Research-arenaで公開されている。
関連論文リスト
- From Search to Research: Exploring Search Scaling in Autonomous Quantitative Factor Mining [28.55810158617739]
推論スケーリングは、大きな言語モデル(LLM)のパフォーマンスを改善することが示されている。
自律型研究における探索スケーリングが研究性能に与える影響について検討する。
論文 参考訳（メタデータ） (2026-09-28T16:28:08Z) - Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment [18.14707450829467]
理想アリーナ(Ideantion Arena)は、対人的評価を通じて研究思想を評価する戦闘スタイルのプラットフォームである。
105人のコンピュータサイエンス研究者から6000以上の盲目対比較を集めました。
我々は,コンピュータ科学における提案段階の専門家選好のEloレーティング・リーダーボードを構築した。
論文 参考訳（メタデータ） (2026-08-30T10:10:10Z) - AutoResearch: Insight In, Hallucination Out [18.44583561825209]
本稿では,アイデア生成と理想実行を結合する2段階システムであるAutoResearchを紹介する。
Idea Generationでは、AutoResearchは、新しい研究信号と蓄積されたドメイン知識を継続的に統合する。
Idea Executionでは、調整されたエージェントがこれらの計画を実験に分解し、反復的にそれらを実装し、診断し、独立したエビデンスベースのレビューを採用する。
論文 参考訳（メタデータ） (2026-08-18T15:38:26Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery [49.77172027295716]
AutoSOTAは、トップレベルのAI論文で発表された最新のState-Of-The-Art(SOTA)モデルを進化させるエンドツーエンドの自動研究システムである。
報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
論文 参考訳（メタデータ） (2026-04-07T07:52:01Z) - AI-Supervisor: Autonomous AI Research Supervision via a Persistent Research World Model [1.14219428942199]
既存の自動研究システムは、ステートレスでリニアなパイプラインとして動作する。
マルチエージェントオーケストレーションフレームワークである textbfAI-Supervisor を提案する。
エージェントは、人間の関心によって駆動されるエンドツーエンドのAI研究の監督を提供する。
論文 参考訳（メタデータ） (2026-03-25T15:16:51Z) - SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。
集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。
収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文 参考訳（メタデータ） (2025-07-01T17:51:59Z) - Search Arena: Analyzing Search-Augmented LLMs [61.28673331156436]
クラウドソーシングで大規模で,24,000以上のペア化されたマルチターンユーザインタラクションの人為的なデータセットであるSearch Arenaを紹介した。
データセットはさまざまな意図や言語にまたがっており、人間の好みの投票数約12,000の完全なシステムトレースが含まれている。
分析の結果,引用されたコンテンツが属性付クレームを直接サポートしていない場合でも,ユーザの嗜好は引用数に影響されていることが明らかとなった。
論文 参考訳（メタデータ） (2025-06-05T17:59:26Z) - Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs [58.18140409409302]
大規模言語モデル (LLM) は強化学習 (RL) を通じて構造化タスクに大きく進歩した。
チャットボットやコンテンツ生成といった幅広い分野にRLを適用することは、ユニークな課題だ。
埋め込み型報酬モデルを用いた既存の報酬モデルアンサンブル研究の再現事例について述べる。
論文 参考訳（メタデータ） (2025-02-04T19:37:35Z) - System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [3.453564255183234]
体系的文献レビュー(SLR)は証拠に基づく研究の基礎である。
本稿では,SLRの完全自動化を目的とした新しいマルチAIエージェントシステムを提案する。
包括性と精度を維持しつつ,従来のSLRに必要な時間と労力を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-03-13T10:27:52Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2020-06-19T18:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。