論文の概要: AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
- arxiv url: http://arxiv.org/abs/2608.20318v1
- Date: Thu, 20 Aug 2026 17:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.665692
- Title: AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
- Title（参考訳）: AI4AI-Bench:再帰的自己改善のためのアルゴリズム設計におけるLLMエージェントのベンチマーク
- Abstract要約: 再帰的自己改善(RSI)は、AIシステムがAIシステムを生成するプロセスを改善することができるかどうかを問うものである。
AI4AImbox-Benchは、10のトレーニングアルゴリズムファミリにまたがる10のフリーズ研究レポジトリである。
- 参考スコア（独自算出の注目度）: 4.962568775070268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recursive self-improvement (RSI) asks whether an AI system can improve the process that produces AI systems, so that the next system inherits the improvement. That process is the training algorithm: a better objective or update rule improves the compute\mbox{-}capability exchange rate for every subsequent run, including the one that produces the next agent. Whether RSI is feasible therefore turns on whether an agent can design training algorithms. No benchmark isolates that ability: existing suites are won by collecting data or by tuning hyperparameters, and none tells a change to how a run is executed apart from a change to how the model learns. We present AI4AI\mbox{-}Bench, 10 frozen research repositories spanning 10 training algorithm families. In each task, an agent has 4 hours on one B300 to rewrite the training algorithm; its code is then rerun from scratch for up to 12 hours and scored by a fixed evaluator hidden from the agent, against the repository's original algorithm under the same procedure. Because the 10 metrics are incommensurable, every task is mapped onto one scale on which $0$ is an uninformative model, $0.1$ is the algorithm the repository ships, and $1.0$ is the task optimum. Across 29 configurations of 6 systems on all 10 tasks the mean score is $0.166$, and the best system reaches $0.250$: even the strongest closes under a fifth of the distance between the algorithm that was already there and the optimum. The submissions show where that distance went: most never change how the model learns at all, and the minority that do average $0.226$ against $0.126$ for the rest. More reasoning effort mostly buys the willingness to go there, taking that minority from $8\%$ of submissions to $64\%$ and the mean score from $0.094$ to $0.196$. We release the task suite, the evaluators and every scored submission, so that the measurement can be repeated as these systems change.
- Abstract（参考訳）: 再帰的自己改善(RSI)は、AIシステムがAIシステムを生成するプロセスを改善することができるかどうかを問うものである。
そのプロセスはトレーニングアルゴリズムである: より良い目的または更新ルールは、次のエージェントを生成するものを含む、次の実行毎にComputer\mbox{-} 能力交換率を改善する。
したがって、RSIが実現可能かどうかは、エージェントがトレーニングアルゴリズムを設計できるかどうかに左右される。
既存のスイートはデータ収集やハイパーパラメータのチューニングによって勝利し、モデルによる学習方法の変更とは別に実行方法を変更するものはありません。
AI4AI\mbox{-}Benchは、10のトレーニングアルゴリズムファミリにまたがる10のフリーズ研究レポジトリである。
各タスクでは、エージェントはトレーニングアルゴリズムを書き換えるために1つのB300に4時間かかり、そのコードは最大12時間スクラッチから再実行され、エージェントから隠された固定評価器によって、同じ手順でリポジトリのオリジナルのアルゴリズムに対してスコアされる。
10のメトリクスは計算不能であるため、すべてのタスクは1つのスケールにマッピングされ、0$は非形式的モデル、0.1$はリポジトリが出荷するアルゴリズム、1.0$はタスク最適である。
平均スコアは0.166$で、最高のシステムは0.250$に達する: 最強のクローゼットでさえ、既にあったアルゴリズムと最適なアルゴリズムの距離の5分の1以下である。
モデルがどのように学習するかはほとんど変わらないし、平均0.226ドル対0.126ドルというマイノリティーは、残りは0.126ドルだ。
さらなる理由づけ努力は、その少数派を8セントから6.4セントに、平均スコアを0.094ドルから0.196ドルへと引き上げる。
タスクスイート、評価器、各評価された提案書を公開し、これらのシステムの変更に合わせて測定を繰り返すことができる。
関連論文リスト
- AI Research Preference Models [87.14303218008381]
研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。
フロンティア作業の進行は コストで妨げられています
我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
論文 参考訳（メタデータ） (2026-08-14T04:20:37Z) - Provably Optimal Learning Algorithms for Assistance Games [60.843021846414956]
我々は、繰り返しアシストゲームのための最初の証明可能な効率的な学習アルゴリズムを提供する。
情報化人間とアシスタントの両方に分散化アルゴリズムを提案する。
後悔の近似係数が1-1/eより良いことを証明した。
論文 参考訳（メタデータ） (2026-07-09T00:38:42Z) - Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search [9.85275171877854]
本稿では,プログラム状態に対する動作条件付き潜在ダイナミクスとしての評価をスケジュールする評価器を提案する。
提案手法は,GPUで1.37$times$,CPUで1.54$times$,Ansorで64-trial budgetで1.37$times$の改善を行う。
また、PyTorch/PyTorch-opt(cuDNN)に対するフルモデル推論を4.61$times$/3.67$times$ometric meanで高速化する。
論文 参考訳（メタデータ） (2026-06-08T10:17:27Z) - Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions [1.6498361958317636]
51のポストトレーニングアルゴリズムを同一のインフラで実装した統合フレームワークを提案する。
本研究では,4つのモデルスケール(0.5B--7B),3つの評価領域,20種類のDPO分類にまたがる8つのアルゴリズムについて検討した。
20種類のDPOはボンフェロニ補正後にバニラDPOを著しく上回りませんが、唯一の重要な異常値であるSimPOはより悪くなります。
論文 参考訳（メタデータ） (2026-03-19T04:10:38Z) - Efficiently Learning Branching Networks for Multitask Algorithmic Reasoning [28.332657856837788]
AutoBRANEはマルチタスクのアルゴリズム推論のための原則的アーキテクチャである。
勾配ベースの親和性スコアを使用してタスクをクラスタリングし、任意のベースモデル上で使用することができる。
既存のマルチタスクやブランチアーキテクチャよりも28%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-11-30T22:19:55Z) - Online Fair Division for Personalized $2$-Value Instances [51.278096593080456]
オンラインフェアディビジョン(オンラインフェアディビジョン)では,商品が一度に1つずつ到着し,定額のエージェントが配置されている。
善が現れると、各エージェントの持つ値が明らかになり、エージェントの1つに即時かつ不可逆的に割り当てられなければならない。
我々は、よく知られた公平性の概念に関して、最悪の場合の保証を得る方法を示す。
論文 参考訳（メタデータ） (2025-05-28T09:48:16Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Algorithm Design for Continual Learning in IoT Networks [16.35495567193046]
連続学習(CL)は、異なるタスクから連続的に生成されたストリーミングデータに対する新しいオンライン学習技術である。
実用的なIoTネットワークでは、データをサンプリングしてさまざまなタスクを学習する自動運転車は、タスクパターンの順序をルーティングし変更することができる。
論文 参考訳（メタデータ） (2024-12-22T02:36:09Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - Policy Optimization for Markov Games: Unified Framework and Faster
Convergence [81.3266426402464]
このアルゴリズムのステートワイド平均ポリシはゲームの近似ナッシュ平衡(NE)に収束することを示す。
このアルゴリズムをマルチプレイヤー一般のMarkov Gamesに拡張し、CCE(Correlated Equilibria)への$mathcalwidetildeO(T-1/2)$収束率を示す。
論文 参考訳（メタデータ） (2022-06-06T14:23:13Z) - Fast Learning for Renewal Optimization in Online Task Scheduling [18.935043109084543]
本稿では,リニューアル・リワードシステムのオンライン最適化について考察する。
タスク型ベクトルの確率分布は未知である。
提案アルゴリズムは,古典的なRobins-Monroイテレーションに従って更新される補助変数を用いる。
論文 参考訳（メタデータ） (2020-07-18T22:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。