論文の概要: LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
- arxiv url: http://arxiv.org/abs/2505.18602v2
- Date: Fri, 08 Aug 2025 06:50:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 14:17:29.360757
- Title: LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
- Title（参考訳）: LLM-Meta-SR:シンボリック回帰における選択演算子進化のための文脈学習
- Authors: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang,
- Abstract要約: 大規模言語モデル (LLM) はアルゴリズム開発に革命をもたらしたが、シンボリック回帰への応用は限定的である。
進化的シンボリック回帰アルゴリズムの選択演算子を自動的に設計するメタラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.760077969729055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have revolutionized algorithm development, yet their application in symbolic regression, where algorithms automatically discover symbolic expressions from data, remains constrained and is typically designed manually by human experts. In this paper, we propose a meta learning framework that enables LLMs to automatically design selection operators for evolutionary symbolic regression algorithms. We first identify two key limitations in existing LLM-based algorithm evolution techniques: a lack of semantic guidance and code bloat. The absence of semantic awareness can lead to ineffective exchange of useful code components, and bloat results in unnecessarily complex components, both of which can reduce the interpretability of the designed algorithm or hinder evolutionary learning progress. To address these issues, we enhance the LLM-based evolution framework for meta symbolic regression with two key innovations: a complementary, semantics-aware selection operator and bloat control. Additionally, we embed domain knowledge into the prompt, enabling the LLM to generate more effective and contextually relevant selection operators. Our experimental results on symbolic regression benchmarks show that LLMs can devise selection operators that outperform nine expert-designed baselines, achieving state-of-the-art performance. Moreover, the evolved operator can further improve the state-of-the-art symbolic regression algorithm, achieving the best performance among 26 symbolic regression and machine learning algorithms across 116 regression datasets. This demonstrates that LLMs can exceed expert-level algorithm design for symbolic regression.
- Abstract（参考訳）: 大規模言語モデル(LLM)はアルゴリズム開発に革命をもたらしたが、アルゴリズムが自動的にデータからシンボル表現を発見できるシンボリックレグレッション(英語版)に応用され、制約が残り、典型的には人間の専門家によって手動で設計される。
本稿では,LLMが進化的シンボリック回帰アルゴリズムの選択演算子を自動設計できるメタ学習フレームワークを提案する。
まず,既存のLLMベースのアルゴリズム進化技術において,意味指導の欠如とコードの肥大という2つの重要な限界を同定する。
意味的認識の欠如は、有用なコードコンポーネントの非効率な交換につながる可能性があり、肥大化によって不要に複雑なコンポーネントが発生し、どちらも設計されたアルゴリズムの解釈可能性を減らすか、進化的な学習の進歩を妨げる可能性がある。
これらの課題に対処するため,メタシンボリックレグレッションのためのLLMベースの進化フレームワークを,補完的セマンティクス対応の選択演算子と肥大化制御という2つの重要なイノベーションで強化する。
さらに、ドメイン知識をプロンプトに組み込むことで、LLMはより効果的で文脈的に関連する選択演算子を生成することができる。
シンボリック・レグレッション・ベンチマーク実験の結果、LLMは9つの専門家設計ベースラインを上回り、最先端の性能を達成できる選択演算子を考案できることが示された。
さらに、進化した演算子は、最先端のシンボリック回帰アルゴリズムをさらに改善し、116の回帰データセットで26のシンボリック回帰アルゴリズムと機械学習アルゴリズムの中で最高のパフォーマンスを達成することができる。
このことは、LLMがシンボリック回帰のためのエキスパートレベルのアルゴリズム設計を超越できることを証明している。
関連論文リスト
- Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳（メタデータ） (2025-07-21T10:52:14Z) - SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation [50.277959544420455]
SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。
変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。
SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
論文 参考訳（メタデータ） (2025-07-15T18:12:57Z) - Behaviour Space Analysis of LLM-driven Meta-heuristic Discovery [2.0958996366233094]
メタヒューリスティックな最適化アルゴリズムを大規模言語モデル駆動型アルゴリズム探索法で自動生成する。
我々は、BBOBベンチマークスイートから10個の関数に対して評価したブラックボックス最適化を反復的に進化させる。
探索,搾取,収束,停滞といった行動指標を各実行毎に記録し,これらを視覚的投影とネットワークベースの表現を通じて分析する。
論文 参考訳（メタデータ） (2025-07-04T14:19:39Z) - LLM-Guided Evolution: An Autonomous Model Optimization for Object Detection [0.0]
機械学習では、ニューラルネットワークサーチ(NAS)はモデル設計のドメイン知識と、有望なパフォーマンスを達成するために大量の試行錯誤を必要とする。
Large Language Model (LLM)-Guided Evolution (GE)フレームワークは、CIFARデータ上の画像分類アルゴリズムのモデルソースコードを直接修正するためにLLMを組み込むことによって、このアプローチを変革した。
LLM-GEは平均平均精度を92.5%から94.5%に向上させるなど,大幅な性能向上を図った。
論文 参考訳（メタデータ） (2025-04-03T05:06:06Z) - LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers [10.282327560070202]
大規模言語モデル(LLM)は、機能エンジニアリングプロセスにドメイン知識を統合することを可能にする。
進化的探索とドメイン知識とLLMの推論能力を組み合わせた新しいフレームワーク LLM-FE を提案する。
以上の結果から,LLM-FEは最先端のベースラインを一貫して上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-03-18T17:11:24Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。
バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。
RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
論文 参考訳（メタデータ） (2024-10-16T07:44:28Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z) - Large Language Models As Evolution Strategies [6.873777465945062]
本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。
我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。
我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
論文 参考訳（メタデータ） (2024-02-28T15:02:17Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。