論文の概要: Archon: An Architecture Search Framework for Inference-Time Techniques

• arxiv url: http://arxiv.org/abs/2409.15254v6
• Date: Tue, 10 Jun 2025 21:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 22:26:01.549303
• Title: Archon: An Architecture Search Framework for Inference-Time Techniques
• Title（参考訳）: Archon: 推論時間技術のためのアーキテクチャ検索フレームワーク
• Authors: Jon Saad-Falcon, Adrian Gamarra Lafuente, Shlok Natarajan, Nahum Maru, Hristo Todorov, Etash Guha, E. Kelly Buchanan, Mayee Chen, Neel Guha, Christopher Ré, Azalia Mirhoseini,
• Abstract要約: Archonは推論時テクニックと大規模言語モデルの選択と組み合わせのためのフレームワークである。 計算予算が与えられたArchonは、ターゲットベンチマークに適した最適化された設定を見つけるために、大規模な設計スペースを探索する。 本稿では,OpenAIのo1, GPT-4o, Claude 3.5 Sonnetなどのフロンティアモデルよりも平均15.1%優れた設計システムに,新たな推論計算予算を利用できることを示す。
• 参考スコア（独自算出の注目度）: 31.655124464284523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference-time techniques, such as repeated sampling or iterative revisions, are emerging as powerful ways to enhance large-language models (LLMs) at test time. However, best practices for developing systems that combine these techniques remain underdeveloped due to our limited understanding of the utility of each technique across models and tasks, the interactions between them, and the massive search space for combining them. To address these challenges, we introduce Archon, a modular and automated framework for optimizing the process of selecting and combining inference-time techniques and LLMs. Given a compute budget and a set of available LLMs, Archon explores a large design space to discover optimized configurations tailored to target benchmarks. It can design custom or general-purpose architectures that advance the Pareto frontier of accuracy vs. maximum token budget compared to top-performing baselines. Across instruction-following, reasoning, and coding tasks, we show that Archon can leverage additional inference compute budget to design systems that outperform frontier models such as OpenAI's o1, GPT-4o, and Claude 3.5 Sonnet by an average of 15.1%.
• Abstract（参考訳）: 繰り返しサンプリングや反復リビジョンのような推論時間技術は、テスト時に大規模言語モデル(LLM)を強化する強力な方法として現れている。 しかし,これらの手法を併用するシステム開発におけるベストプラクティスは,モデルとタスク,それらの相互関係,およびそれらを組み合わせるための膨大な検索空間を限定的に理解しているため,未開発のままである。 これらの課題に対処するために,推論時間とLLMの選択と組み合わせのプロセスを最適化する,モジュール式かつ自動化されたフレームワークであるArchonを紹介した。 計算予算と利用可能なLLMのセットが与えられたArchonは、ターゲットベンチマークに適した最適化された設定を見つけるために、大規模な設計スペースを探索する。 カスタムアーキテクチャや汎用アーキテクチャを設計して、パフォーマンスの高いベースラインと比較して、Paretoの精度と最大トークン予算のフロンティアを推し進めることができる。 命令追従、推論、コーディングタスク全体で、ArchonはOpenAIのo1、GPT-4o、Claude 3.5 Sonnetなどのフロンティアモデルよりも平均15.1%優れた設計システムに推論計算予算を活用できることを示した。

関連論文リスト

• DesignX: Human-Competitive Algorithm Designer for Black-Box Optimization [11.467054529894497]
  我々は,与えられたブラックボックス最適化問題に対して,数秒以内に効果的な特定性を生成する,最初の自動アルゴリズム設計フレームワークであるDesignXを提案する。 数十年にわたる研究から収集された数百のアルゴリズムコンポーネントを取り入れた、包括的なモジュラーアルゴリズム空間が最初に構築された。 注目すべきは、自律的な学習の日々を通じて、DesignXで生成されたメタトレーニングが、人間の作ったデザインを上回っていることだ。
  論文  参考訳（メタデータ） (2025-05-23T13:16:01Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
  本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。 現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
  論文  参考訳（メタデータ） (2025-02-27T09:17:49Z)
• AIRCHITECT v2: Learning the Hardware Accelerator Design Space through Unified Representations [3.6231171463908938]
  設計空間探索は、カスタムハードウェアアーキテクチャの実現において重要な役割を果たす。 最近のAIrchitect v1は、DSEの限界を検索時間分類問題に対処する最初の試みである。
  論文  参考訳（メタデータ） (2025-01-17T04:57:42Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Improving Parallel Program Performance Through DSL-Driven Code Generation with LLM Optimizers [9.880183350366792]
  計算処理をプロセッサにマッピングし、メモリを割り当てることは、並列プログラミングのパフォーマンスを最大化するために重要である。 これらのマッピング決定は、パフォーマンスエンジニアによって作成されたmapperと呼ばれる特殊な低レベルのシステムコードの開発を通じて管理される。 我々は,近年のLLMに基づくマッパー設計の進歩を生かしたアプローチを提案する。 10分以内で、科学的応用における人間の専門家設計を超えるマッパーを最大1.34倍のスピードアップで自動的に発見する。
  論文  参考訳（メタデータ） (2024-10-21T04:08:37Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Rome was Not Built in a Single Step: Hierarchical Prompting for LLM-based Chip Design [22.70660876673987]
  大言語モデル(LLM)は、ハードウェア記述言語(HDL)生成によるコンピュータハードウェア合成に有効である。 しかし、複雑なタスクを扱う場合のHDL生成にLLMが支援するアプローチは難しかった。 本稿では,効率的なステップワイズ設計手法を実現する階層的プロンプト手法について紹介する。
  論文  参考訳（メタデータ） (2024-07-23T21:18:31Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models [8.02264001053969]
  大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。 我々は、多様なLLMモデルアーキテクチャとAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。
  論文  参考訳（メタデータ） (2024-06-03T18:00:50Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design [52.57999109204569]
  ArchGymは、さまざまな検索アルゴリズムをアーキテクチャシミュレータに接続するオープンソースのフレームワークである。 我々は、カスタムメモリコントローラ、ディープニューラルネットワークアクセラレータ、AR/VRワークロード用のカスタムSOCを設計する際に、複数のバニラおよびドメイン固有の検索アルゴリズムにわたってArchGymを評価する。
  論文  参考訳（メタデータ） (2023-06-15T06:41:23Z)
• LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization [4.951599300340954]
  大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。 本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。 本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
  論文  参考訳（メタデータ） (2023-06-01T19:33:21Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Pareto-aware Neural Architecture Generation for Diverse Computational Budgets [94.27982238384847]
  既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
  論文  参考訳（メタデータ） (2022-10-14T08:30:59Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。