論文の概要: OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining
- arxiv url: http://arxiv.org/abs/2607.20486v1
- Date: Tue, 02 Jun 2026 15:21:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.197286
- Title: OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining
- Title（参考訳）: OPTScientist: Transformer Pretrainingのための型最適化プログラムのマルチエージェント発見
- Abstract要約: 我々は、型付きドメイン固有言語における発見のための理論誘導型マルチエージェントフレームワークOPTScientistを紹介する。
Theorist、Designer、Engineering、Reviewerの4つのロールエージェントは、単一のオーケストレーションループ内で協力し、仮説、コンパイル、評価、批評結果を提案する。
この結果から,理論,型付きプログラム,コンパイラ検証,クローズドループ実験に基礎を置く自動科学への道筋が示唆された。
- 参考スコア（独自算出の注目度）: 22.097466841331258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Designing optimizers for modern deep learning remains a challenging scientific problem, requiring the joint consideration of optimization geometry, state dynamics, numerical stability, implementation constraints, and empirical generalization. Existing automated optimizer discovery methods typically search either over unconstrained code spaces or within narrowly parameterized optimizer families. The former is flexible but often produces invalid or uninterpretable programs, while the latter is stable but limits novelty. We introduce OPTScientist, a theory-guided multi-agent framework for optimizer discovery in a typed domain-specific language (DSL). OPTScientist formulates optimizer design as a constrained scientific search process, where candidate updates are expressed through direction, scaling, preconditioning, regularization, state, and grouping modules. Four role agents, Theorist, Designer, Engineer, and Reviewer, collaborate within a single orchestration loop to propose hypotheses, synthesize DSL candidates, compile and evaluate optimizers, and critique results. To overcome the limitations of a fixed search space, OPTScientist combines evolutionary search over optimizer programs with a second-stage mechanism that proposes small DSL extensions when repeated failures reveal representational bottlenecks. Using this framework, we discover RS-MR, a reduced-state matrix optimizer that improves transformer pretraining over strong baselines under our native evaluation protocol. Our results suggest a path toward automated optimizer science grounded in theory, typed programs, compiler validation, and closed-loop experimentation.
- Abstract（参考訳）: 現代のディープラーニングのための最適化器の設計は、最適化幾何学、状態力学、数値安定性、実装制約、経験的一般化を共同で検討する必要があるという、科学的な問題のままである。
既存の自動オプティマイザ発見手法は、通常、制約のないコード空間を探索するか、狭いパラメータ化されたオプティマイザファミリー内を探索する。
前者は柔軟だが、しばしば無効または解釈不能なプログラムを生成するが、後者は安定だが新規性に制限がある。
我々は、型付きドメイン特化言語(DSL)におけるオープティマイザ発見のための理論誘導型マルチエージェントフレームワークOPTScientistを紹介する。
OPTScientistは、最適化設計を制約付き科学検索プロセスとして定式化し、候補更新は方向、スケーリング、プレコンディショニング、正規化、状態、グループ化モジュールを通じて表現される。
Theorist、Designer、Engineer、Reviewerの4つのロールエージェントは、単一のオーケストレーションループ内で協調して仮説を提案し、DSL候補を合成し、オプティマイザをコンパイルし、評価し、その結果を批判する。
固定された検索空間の限界を克服するため、OPTScientistは最適化プログラムの進化的探索と、繰り返し失敗が表現上のボトルネックを明らかにするときに小さなDSL拡張を提案する第2段階のメカニズムを組み合わせる。
このフレームワークを用いて、当社のネイティブ評価プロトコルの下で、強力なベースラインを事前学習するトランスフォーマーを改善するために、還元状態行列オプティマイザであるRS-MRを発見する。
この結果から,理論,型付きプログラム,コンパイラ検証,クローズドループ実験を基礎とした自動オプティマイザ科学への道筋が示唆された。
関連論文リスト
- The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
推論駆動最適化のための統合フレームワークであるReASearchを提案する。
共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。
我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
論文 参考訳（メタデータ） (2026-08-07T02:15:39Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models [69.55139736609367]
Agent-GWOは複雑な推論のための動的プロンプト最適化フレームワークである。
本稿では,Agent-GWOが既存のプロンプト最適化手法よりも精度と安定性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2026-04-14T07:35:37Z) - CODMAS: A Dialectic Multi-Agent Collaborative Framework for Structured RTL Optimization [5.592208774984063]
CODMASは、構造化弁証法とドメイン認識コード生成と決定論的評価を組み合わせたフレームワークである。
120のVerilogトリプル(最適化されていない、最適化された、テストベンチ)のベンチマークであるRTLOPTを導入し、パイプライン化とクロックゲーティング変換を行った。
論文 参考訳（メタデータ） (2026-03-17T23:10:07Z) - ContextEvolve: Multi-Agent Context Compression for Systems Code Optimization [8.046059974853858]
本稿では,厳密なパラメータブラインド制約の下でRLレベルの探索効率を実現するマルチエージェントフレームワークであるContextEvolveを紹介する。
ADRSベンチマークでは、ContextEvolveは最先端のベースラインを33.3%上回り、トークン消費を29.0%削減している。
論文 参考訳（メタデータ） (2026-02-01T16:50:07Z) - A Two-Stage GPU Kernel Tuner Combining Semantic Refactoring and Search-Based Optimization [9.49293344824955]
本稿では,エージェント駆動反復ループ上にテンプレートベースの書き換え層を導入する。
提案手法は,実運用負荷に対する自動性能最適化を実現するために拡張することができる。
論文 参考訳（メタデータ） (2026-01-19T03:40:12Z) - REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。
提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
論文 参考訳（メタデータ） (2025-06-02T07:02:46Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Generative Adversarial Model-Based Optimization via Source Critic Regularization [25.19579059511105]
本稿ではアダプティブ・ソース・批評家正規化(aSCR)を用いた生成逆モデルに基づく最適化を提案する。
ASCRは、サロゲート関数が信頼できる設計空間の領域に最適化軌道を制約する。
本稿では,aSCRを標準的なベイズ最適化に活用することにより,オフライン生成設計タスクのスイートにおいて,既存の手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-02-09T16:43:57Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。