論文の概要: LLM-Meta-SR: Learning to Evolve Selection Operators for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2505.18602v1
• Date: Sat, 24 May 2025 08:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.536173
• Title: LLM-Meta-SR: Learning to Evolve Selection Operators for Symbolic Regression
• Title（参考訳）: LLM-Meta-SR:シンボリック回帰のための選択演算子を進化させる学習
• Authors: Hengzhe Zhang, Qi Chen, Bing Xue, Mengjie Zhang,
• Abstract要約: 大規模言語モデル(LLM)はアルゴリズム開発に革命をもたらしたが、シンボリックレグレッションの応用には制約が残っている。 本稿では,LLMが進化的シンボリック回帰アルゴリズムの選択演算子を自動設計できる学習・進化型フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.37751224689879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have revolutionized algorithm development, yet their application in symbolic regression, where algorithms automatically discover symbolic expressions from data, remains constrained and is typically designed manually by human experts. In this paper, we propose a learning-to-evolve framework that enables LLMs to automatically design selection operators for evolutionary symbolic regression algorithms. We first identify two key limitations in existing LLM-based algorithm evolution techniques: code bloat and a lack of semantic guidance. Bloat results in unnecessarily complex components, and the absence of semantic awareness can lead to ineffective exchange of useful code components, both of which can reduce the interpretability of the designed algorithm or hinder evolutionary learning progress. To address these issues, we enhance the LLM-based evolution framework for meta symbolic regression with two key innovations: bloat control and a complementary, semantics-aware selection operator. Additionally, we embed domain knowledge into the prompt, enabling the LLM to generate more effective and contextually relevant selection operators. Our experimental results on symbolic regression benchmarks show that LLMs can devise selection operators that outperform nine expert-designed baselines, achieving state-of-the-art performance. This demonstrates that LLMs can exceed expert-level algorithm design for symbolic regression.
• Abstract（参考訳）: 大規模言語モデル(LLM)はアルゴリズム開発に革命をもたらしたが、アルゴリズムが自動的にデータからシンボル表現を発見できるシンボリックレグレッション(英語版)に応用され、制約が残り、典型的には人間の専門家によって手動で設計される。 本稿では,LLMが進化的シンボリック回帰アルゴリズムの選択演算子を自動設計できる学習・進化型フレームワークを提案する。 まず、既存のLLMベースのアルゴリズム進化技術において、コード肥大と意味的ガイダンスの欠如という2つの重要な制限を識別する。 肥大化は必然的に複雑なコンポーネントとなり、意味的認識の欠如は、設計アルゴリズムの解釈可能性の低下や進化的な学習の進行を妨げる、有用なコードコンポーネントの非効率な交換につながる可能性がある。 これらの課題に対処するため,我々はメタシンボリックレグレッションのためのLLMベースの進化フレームワークを,肥大化制御と相補的セマンティクス対応選択演算子という2つの重要なイノベーションで強化する。 さらに、ドメイン知識をプロンプトに組み込むことで、LLMはより効果的で文脈的に関連する選択演算子を生成することができる。 シンボリック・レグレッション・ベンチマーク実験の結果、LLMは9つの専門家設計ベースラインを上回り、最先端の性能を達成できる選択演算子を考案できることが示された。 このことは、LLMがシンボリック回帰のためのエキスパートレベルのアルゴリズム設計を超越できることを証明している。

関連論文リスト

• LLM-Guided Evolution: An Autonomous Model Optimization for Object Detection [0.0]
  機械学習では、ニューラルネットワークサーチ(NAS)はモデル設計のドメイン知識と、有望なパフォーマンスを達成するために大量の試行錯誤を必要とする。 Large Language Model (LLM)-Guided Evolution (GE)フレームワークは、CIFARデータ上の画像分類アルゴリズムのモデルソースコードを直接修正するためにLLMを組み込むことによって、このアプローチを変革した。 LLM-GEは平均平均精度を92.5%から94.5%に向上させるなど,大幅な性能向上を図った。
  論文  参考訳（メタデータ） (2025-04-03T05:06:06Z)
• LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers [10.282327560070202]
  大規模言語モデル(LLM)は、機能エンジニアリングプロセスにドメイン知識を統合することを可能にする。 進化的探索とドメイン知識とLLMの推論能力を組み合わせた新しいフレームワーク LLM-FE を提案する。 以上の結果から,LLM-FEは最先端のベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:11:24Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
  大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
  論文  参考訳（メタデータ） (2024-10-16T07:44:28Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Large Language Models As Evolution Strategies [6.873777465945062]
  本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。 我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。 我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
  論文  参考訳（メタデータ） (2024-02-28T15:02:17Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。