論文の概要: Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy

• arxiv url: http://arxiv.org/abs/2607.21677v1
• Date: Thu, 23 Jul 2026 11:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.955516
• Title: Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy
• Title（参考訳）: 無線天文学における持続可能なコード最適化のためのSLMの強化
• Abstract要約: 本研究では,大規模科学のためのコードの生成と最適化に大規模言語モデルを用いることを検討する。 LOFAR望遠鏡は現在アップグレードされており、観測された空面積を大幅に増加させている。 これにより、計算要求が40倍に増加することが期待されている。 我々はエージェントAIを用いてSLMの強化方法を示す。
• 参考スコア（独自算出の注目度）: 2.274915755738124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Large Language Models (LLMs) can produce and optimize complex code. We investigate the use of LLMs to generate and optimize code for large-scale sciences, focusing on radio astronomy and sustainability. The LOFAR telescope is currently being upgraded, significantly increasing the sky area observed, while simultaneously processing more data faster. However, this is expected to increase the computational requirements 40-fold. This upgrade thus critically depends on rigorous performance optimization of existing software and widespread adoption of accelerators. The code base is very large, making this a daunting task. We therefore investigate and demonstrate an AI-driven approach meant to assist developers in evaluating and optimizing their code, including porting to hardware accelerators. The LOFAR community is committed to sustainable solutions, and needs to achieve these improvements without increasing the energy budget. We thus need to optimize existing codes or port them to accelerators, while making sure that the optimization process itself is also energy efficient. This poses a challenge, since LLMs are energy-intensive. We therefore propose to use Small Language Models (SLMs) instead to limit environmental impact. In this paper, we show how to enhance SLMs through the use of agentic AI. We extend the SLMs in two ways to improve code generation quality and performance: first with a multi-sampling generation strategy and second with incorporating compiler feedback. We demonstrate that multi-sampling SLMs can match or surpass larger single-generation models with fewer computational resources and that feeding compiler output back into the SLMs leads to consistent improvements across all tested models. Our approach is generic, and can also use Retrieval Augmented Generation (RAG) as well as static and dynamic analysis tools in the code generation pipeline.
• Abstract（参考訳）: 最近のLarge Language Models (LLM) は複雑なコードを作成し、最適化することができる。 本研究では,LLMを用いた大規模科学のコード生成と最適化について検討し,電波天文学と持続可能性に着目した。 LOFAR望遠鏡は現在アップグレードされており、観測された空域を大幅に増加させ、同時により多くのデータを高速に処理している。 しかし、これは計算要求を40倍に増やすことが期待されている。 このアップグレードは、既存のソフトウェアの厳格なパフォーマンス最適化と、アクセラレータの広範な採用に依存している。 コードベースは非常に大きいので、これは大変な作業になります。 そこで我々は、ハードウェアアクセラレータへの移植を含むコードの評価と最適化を支援するAI駆動のアプローチを調査し、実証する。 LOFARコミュニティは持続可能なソリューションにコミットしており、エネルギー予算を増やすことなくこれらの改善を達成する必要がある。 したがって、既存のコードを最適化したり、アクセラレータに移植したりする必要があります。 LLMはエネルギー集約型であるため、これは課題となる。 そこで我々は,環境への影響を抑えるために,Small Language Models (SLM) を提案する。 本稿ではエージェントAIを用いたSLMの強化について述べる。 コード生成の品質とパフォーマンスを改善するために、SLMを2つの方法で拡張します。 マルチサンプリングSLMはより少ない計算資源でより大きな単一世代モデルに適合または超越し、コンパイラの出力をSLMに戻すことで、テストされた全てのモデル間で一貫した改善をもたらすことを実証した。 当社のアプローチは汎用的であり、コード生成パイプラインの静的および動的解析ツールと同様に、RAG(Retrieval Augmented Generation)も使用できます。

関連論文リスト

• Effect of Abstractions and Prompting Strategies on LLM-Guided High-Performance Optimizations [0.0]
  大規模言語モデル(LLM)は、コードの生成と理解を可能にする。 伝統的に、この自動化にはソースコードをドメイン固有の表現に変換することが含まれる。 本稿では,自動コード最適化における従来の抽象化がLLM誘導最適化の性能と正しさを向上するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-08-08T12:12:28Z)
• OPT-Engine: Benchmarking the Limits of LLMs in Optimization Modeling via Complexity Scaling [13.57588221678224]
  大規模言語モデル(LLM)は、最適化モデリングの驚くべき進歩を示している。 自動定式化と問題解決におけるそれらの能力の境界は、まだよく理解されていない。 OPT-ENGINEは、制御可能でスケーラブルな難易度を持つ最適化モデルにおいて、LCMを評価するために設計されたベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2026-01-09T09:22:33Z)
• LOOPRAG: Enhancing Loop Transformation Optimization with Retrieval-Augmented Large Language Models [23.6344001089164]
  LOOPRAGは,Large Language Models (LLM) の効率的なループ最適化を行うための検索拡張生成フレームワークである。 ループ特性を利用するパラメータ駆動方式を導入し、様々なループ変換をトリガーし、多様だが合法的なサンプルコードを生成する。 正確かつ効率的なコード生成を実現するために,コンパイル,テスト,パフォーマンス結果を組み込んだフィードバックベースの反復機構を導入する。
  論文  参考訳（メタデータ） (2025-12-12T11:09:48Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• STARK: Strategic Team of Agents for Refining Kernels [23.717055490630596]
  我々は,GPUカーネル最適化のためのエージェントフレームワークを導入し,マルチエージェント協調による設計空間を探索する。 このフレームワークはエキスパートエンジニアのワークフローを模倣し、LCMがハードウェアトレードオフを推論し、プロファイリングフィードバックを取り入れ、カーネルを反復的に洗練することを可能にする。 我々は,LLMに基づくカーネル最適化のベンチマークであるKernelBenchに対するアプローチを評価し,ベースラインエージェントよりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-10-19T20:41:46Z)
• REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
  本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。 提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
  論文  参考訳（メタデータ） (2025-06-02T07:02:46Z)
• Automated Prompt Engineering for Cost-Effective Code Generation Using Evolutionary Algorithm [8.009881267479189]
  大規模言語モデルでは、様々なソフトウェア開発タスク、特にコード生成での利用が増加している。 進化的プロンプト・エンジニアリング・フォー・コード(EPiC)という代替手法を提案する。 EPiCは軽量な進化的アルゴリズムを使用して、オリジナルのプロンプトを改良したバージョンに洗練し、高品質なコードを生成する。 最先端(SOTA)のコード生成エージェントに対する評価では、EPiCはパス@kの最大6%の改善を達成できるだけでなく、ベースラインよりも2～10倍コスト効率が高いことが示されている。
  論文  参考訳（メタデータ） (2024-08-20T21:15:36Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers [67.64162164254809]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。