論文の概要: Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization

• arxiv url: http://arxiv.org/abs/2605.19782v1
• Date: Tue, 19 May 2026 12:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.336948
• Title: Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization
• Title（参考訳）: 事前知識と検索 : ハードウェア対応コード最適化におけるLLMエージェントの検討
• Authors: Dmitry Redko, Albert Fazlyev, Konstantin Sozykin, Maria Ivanova, Evgeny Burnaev, Egor Shvetsov,
• Abstract要約: 純粋なブラックボックス最適化では、LLMは欲張りとして機能する。 ゼロショットカーネル生成では、明示的な入力サイズ情報を提供するが、測定可能な効果はない。 カーネルサイズが一般的でない場合、使用する言語に関係なく、パフォーマンスは大幅に低下する。
• 参考スコア（独自算出の注目度）: 20.018878620048344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM discovery and optimization systems are increasingly applied across domains, implementing a common propose-evaluate-revise loop. Such optimization or discovery progresses via context conditioning on received feedback from an environment. However, as modern LLM agents are increasingly complex in their structure, it is difficult to evaluate which components contribute the most, and when and how this exploration may fail. We answer these questions through three controlled experiments. Our findings: (1) In pure black-box optimization, LLMs act as greedy optimizers. (2) In zero-shot kernel generation, providing explicit input-size information has no measurable effect, models converge to the same kernel parameters regardless of size or temperature, as though the size instruction were invisible. Moreover, when tasked to perform kernel optimization for uncommon kernel sizes, performance sharply degrades regardless of the language used. (3) In feedback-loop kernel optimization, CUDA improves monotonically under iterative feedback, while TVM IR actively degrades, which demonstrates that kernel optimization degrades when models operate with low-density language. Our results conclude that LLMs in code optimization tasks highly depend on pretrained priors rather than provided feedback or agentic structure.
• Abstract（参考訳）: LLMの発見と最適化システムは、共通の提案-評価-修正ループを実装して、ドメインにまたがってますます適用されてきている。 このような最適化や発見は、環境からのフィードバックに対するコンテキスト条件付けを通じて進行する。 しかし、現代のLLMエージェントは構造が複雑化しているため、どの成分が最も寄与するか、いつ、どのようにこの探索が失敗するかを評価することは困難である。 3つの制御された実験を通してこれらの疑問に答える。 1) 純ブラックボックス最適化では, LLMはグリージーな最適化器として機能する。 2)ゼロショットカーネル生成では,明示的なインプットサイズ情報を提供することで,サイズや温度に関わらず,モデルは同一のカーネルパラメータに収束する。 さらに、カーネルサイズが一般的でないカーネルサイズに対してカーネル最適化を実行するように指示された場合、使用する言語に関係なく、性能は大幅に低下する。 (3) フィードバックループカーネル最適化では、CUDAは単調に反復的に改善し、TVM IRは積極的に劣化し、モデルが低密度言語で動作する場合、カーネル最適化は劣化することを示す。 その結果,コード最適化タスクのLLMは,フィードバックやエージェント構造よりも事前学習に強く依存していることがわかった。

関連論文リスト

• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• Making LLMs Optimize Multi-Scenario CUDA Kernels Like Experts [25.264078143000045]
  現在の自動カーネル最適化手法は、科学計算におけるスパースマトリクス操作のようなより広い領域を見渡しながら、機械学習アプリケーションに焦点を当てている。 本稿では,MSBenchを導入したマルチシナリオ設定の体系的評価の欠如に対処する。 このベンチマークに基づいて、GPUプロファイリング情報を活用し、完全なコンパイルおよび実行ツールチェーンを自動構築する、カーネル最適化のためのハードウェア対応システムであるMSMasterを紹介する。
  論文  参考訳（メタデータ） (2026-03-07T12:22:43Z)
• OptiML: An End-to-End Framework for Program Synthesis and CUDA Kernel Optimization [21.882017397032964]
  我々は、自然言語インテントまたは入力コードをパフォーマンス最適化カーネルにマッピングするエンドツーエンドフレームワークOptiMLを提案する。 検索ベース(OptiML-X)は、プロファイラのフィードバックから導かれるハードウェア駆動の報酬によって導かれる、LCM対応のMonte Carlo Tree Searchを用いて、合成されたカーネルまたはユーザが提供するカーネルを洗練する。
  論文  参考訳（メタデータ） (2026-02-12T04:50:19Z)
• STARK: Strategic Team of Agents for Refining Kernels [23.717055490630596]
  我々は,GPUカーネル最適化のためのエージェントフレームワークを導入し,マルチエージェント協調による設計空間を探索する。 このフレームワークはエキスパートエンジニアのワークフローを模倣し、LCMがハードウェアトレードオフを推論し、プロファイリングフィードバックを取り入れ、カーネルを反復的に洗練することを可能にする。 我々は,LLMに基づくカーネル最適化のベンチマークであるKernelBenchに対するアプローチを評価し,ベースラインエージェントよりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-10-19T20:41:46Z)
• Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization [25.135006275638172]
  本稿では,カーネル性能の厳密な評価と,さまざまなシナリオにおける正当性評価のための新しいベンチマークである,ロバスト・クベンチを紹介する。 また、トーチコードをカーネルに変換し、ランタイム設定を反復的に改善する包括的なエージェントフレームワークを提案する。 提案手法は,フォワードパスやバックパスを含む,実用アプリケーションのためのトーチ実装よりも優れたカーネルを生成する。
  論文  参考訳（メタデータ） (2025-09-16T11:08:30Z)
• GPU Kernel Scientist: An LLM-Driven Framework for Iterative Kernel Optimization [0.0]
  本稿では,アクセルカーネルを反復精製する自動化手法を提案する。 本手法は多段階進化過程においてLLMを用いる。 このアプローチがAMD MI300ターゲットアーキテクチャの課題をどのようにナビゲートするかを詳述する。
  論文  参考訳（メタデータ） (2025-06-25T19:59:34Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。