論文の概要: Budget-Efficient Automatic Algorithm Design via Code Graph
- arxiv url: http://arxiv.org/abs/2605.10598v1
- Date: Mon, 11 May 2026 14:01:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.873476
- Title: Budget-Efficient Automatic Algorithm Design via Code Graph
- Title(参考訳): コードグラフによる予算効率の良い自動アルゴリズム設計
- Authors: Maxime Bouscary, Manxi Wu, Saurabh Amin,
- Abstract要約: 大規模言語モデル(LLM)は自動アルゴリズム設計(AAD)のための強力なツールとして登場した。
我々は予算効率のよい自動アルゴリズム設計を定式化し、検索ポリシーは計算コストに制限のある実現された適合性を最大化する。
提案手法を3つの最適化問題に対して実証的に検証し,同じトークン予算で全アルゴリズム探索よりもグラフ検索の方が一貫した優位性を示す。
- 参考スコア(独自算出の注目度): 2.982218441172364
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) have emerged as powerful tools for automatic algorithm design (AAD). However, existing pipelines remain inefficient. They operate at the granularity of full algorithms, redundantly rewriting recurring substructures and discarding low-fitness candidates that may contain valuable algorithmic features. We formalize budget-efficient automatic algorithm design, wherein the search policy maximizes realized fitness subject to limited computational cost. We propose a directed acyclic graph representation of algorithms and build a search framework that fully exploits the LLM's output. Instead of querying the LLM for full algorithms, we use it to obtain corrections: compact operators that add, replace, or remove code blocks. Each correction augments the graph, yielding new algorithms that compose with prior corrections. This graph structure decomposes algorithms into sets of corrections, enabling correction-level credit assignment that informs subsequent queries. We complement this framework with theoretical insights into the ideal balance between search depth and breadth at different budget levels. We validate our method empirically on three combinatorial optimization problems, demonstrating consistent superiority of our graph-based search over full-algorithm search at equal token budget. Finally, our experiments suggest that rich contexts help only when the LLM's prior knowledge is shallow, and can hinder performance otherwise.
- Abstract(参考訳): 大規模言語モデル(LLM)は自動アルゴリズム設計(AAD)のための強力なツールとして登場した。
しかし、既存のパイプラインは非効率のままである。
完全なアルゴリズムの粒度で動作し、繰り返し発生するサブストラクチャを冗長に書き直し、価値あるアルゴリズムの特徴を含む低適合性の候補を捨てる。
我々は予算効率のよい自動アルゴリズム設計を定式化し、検索ポリシーは計算コストに制限のある実現された適合性を最大化する。
本稿では,アルゴリズムの非巡回グラフ表現を提案するとともに,LLMの出力を完全に活用する検索フレームワークを構築する。
完全なアルゴリズムのために LLM をクエリする代わりに,コードブロックの追加,置換,削除といった,コンパクトな演算子を使って修正を行うのです。
各補正はグラフを拡大し、事前の修正で構成する新しいアルゴリズムを生成する。
このグラフ構造はアルゴリズムを修正セットに分解し、後のクエリに通知する修正レベルクレジット割り当てを可能にする。
我々は,この枠組みを,異なる予算レベルでの探索深度と幅の理想的なバランスに関する理論的知見で補完する。
提案手法は3つの組合せ最適化問題に対して実験的に検証し,同じトークン予算で全アルゴリズム探索よりもグラフ検索の方が一貫した優位性を示す。
最後に、LLMの事前知識が浅い場合にのみ、リッチなコンテキストが役立ち、それ以外の場合のパフォーマンスを阻害できることを示す。
関連論文リスト
- Discovering Algorithms with Computational Language Processing [0.7062238472483737]
本稿では,トークンとして表現された操作列を概念化し,アルゴリズム発見を自動化するフレームワークを提案する。
これらの計算トークンは文法を用いてチェーン化され、より洗練された手続きの形成を可能にする。
我々のアンサンブルであるモンテカルロ木探索(MCTS)は、強化学習(RL)によって導かれ、トークン連鎖を探索し、新しいトークンの作成を促進する。
論文 参考訳(メタデータ) (2025-07-03T21:45:17Z) - A General Online Algorithm for Optimizing Complex Performance Metrics [5.726378955570775]
我々は,バイナリ,マルチクラス,マルチラベルの分類問題において,様々な複雑なパフォーマンス指標を用いて,直接的に使用可能な汎用オンラインアルゴリズムを導入,分析する。
アルゴリズムの更新と予測のルールは、過去のデータを保存することなく、非常にシンプルで計算的に効率的である。
論文 参考訳(メタデータ) (2024-06-20T21:24:47Z) - A Fully Single Loop Algorithm for Bilevel Optimization without Hessian
Inverse [121.54116938140754]
両レベル最適化問題に対して,Hessian 逆フリーな完全単一ループアルゴリズムを提案する。
我々のアルゴリズムは$O(epsilon-2)$と収束することを示す。
論文 参考訳(メタデータ) (2021-12-09T02:27:52Z) - Practical, Provably-Correct Interactive Learning in the Realizable
Setting: The Power of True Believers [12.09273192079783]
我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。
我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-11-09T02:33:36Z) - Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。
両レベル最適化のための2つの新しいアルゴリズムを提案する。
両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文 参考訳(メタデータ) (2021-06-08T21:05:30Z) - Identifying Co-Adaptation of Algorithmic and Implementational
Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of
Inference-based Algorithms [15.338931971492288]
我々は、アルゴリズムの革新と実装決定を分離するために、一連の推論に基づくアクター批判アルゴリズムに焦点を当てる。
実装の詳細がアルゴリズムの選択に一致すると、パフォーマンスが大幅に低下します。
結果は、どの実装の詳細がアルゴリズムと共適応され、共進化しているかを示す。
論文 参考訳(メタデータ) (2021-03-31T17:55:20Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z) - Efficient Computation of Expectations under Spanning Tree Distributions [67.71280539312536]
本稿では,エッジファクター,非プロジェクティブ・スパンニングツリーモデルにおいて,一階期待と二階期待の重要なケースに対する統一アルゴリズムを提案する。
我々のアルゴリズムは勾配と期待の基本的な関係を利用しており、効率的なアルゴリズムを導出することができる。
論文 参考訳(メタデータ) (2020-08-29T14:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。