論文の概要: Symbolic Regression with a Learned Concept Library
- arxiv url: http://arxiv.org/abs/2409.09359v1
- Date: Sat, 14 Sep 2024 08:17:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 21:09:38.725479
- Title: Symbolic Regression with a Learned Concept Library
- Title（参考訳）: 概念ライブラリを学習したシンボリック回帰
- Authors: Arya Grayeli, Atharva Sehgal, Omar Costilla-Reyes, Miles Cranmer, Swarat Chaudhuri,
- Abstract要約: 本稿では,データセットを最もよく説明できる,コンパクトなプログラム仮説を探索する手法を提案する。
我々のアルゴリズムはLaSRと呼ばれ、ゼロショットクエリを大規模言語モデルに使用して概念を発見し、進化させます。
LaSRは、ディープラーニングと進化的アルゴリズムに基づいて、最先端のSRアプローチを大幅に上回っている。
- 参考スコア（独自算出の注目度）: 9.395222766576342
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel method for symbolic regression (SR), the task of searching for compact programmatic hypotheses that best explain a dataset. The problem is commonly solved using genetic algorithms; we show that we can enhance such methods by inducing a library of abstract textual concepts. Our algorithm, called LaSR, uses zero-shot queries to a large language model (LLM) to discover and evolve concepts occurring in known high-performing hypotheses. We discover new hypotheses using a mix of standard evolutionary steps and LLM-guided steps (obtained through zero-shot LLM queries) conditioned on discovered concepts. Once discovered, hypotheses are used in a new round of concept abstraction and evolution. We validate LaSR on the Feynman equations, a popular SR benchmark, as well as a set of synthetic tasks. On these benchmarks, LaSR substantially outperforms a variety of state-of-the-art SR approaches based on deep learning and evolutionary algorithms. Moreover, we show that LaSR can be used to discover a novel and powerful scaling law for LLMs.
- Abstract（参考訳）: 本稿では,データセットを最もよく説明できるコンパクトなプログラム仮説を探索する,記号回帰(SR)手法を提案する。
この問題を遺伝的アルゴリズムを用いて解き、抽象的なテクスチャ概念のライブラリーを誘導することにより、そのような手法を強化することができることを示す。
我々のアルゴリズムはLaSRと呼ばれ、ゼロショットクエリを大言語モデル(LLM)に使用して、既知のハイパフォーマンスな仮説における概念を発見し、進化させます。
我々は、標準進化ステップとLLM誘導ステップ(ゼロショットLLMクエリによって達成される)を混合した新しい仮説を発見し、その概念を定式化した。
一度発見されると、仮説は新しい概念の抽象化と進化のラウンドで使われる。
我々は、一般的なSRベンチマークであるFeynman方程式と合成タスクのセット上でLaSRを検証する。
これらのベンチマークでは、LaSRはディープラーニングと進化的アルゴリズムに基づいて、最先端のSRアプローチを大幅に上回っている。
さらに,LLMの新規かつ強力なスケーリング法則の発見にLaSRを用いることが可能であることを示す。
関連論文リスト
- LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
論文 参考訳（メタデータ） (2024-05-13T14:03:49Z) - In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery [5.2387832710686695]
本稿では,記号回帰のタスクにLarge Language Models(LLM)を利用する,最初の包括的フレームワークを紹介する。
In-Context Symbolic Regression (ICSR) は、外部LLMで関数形式を反復的に洗練し、その係数を外部LLMで決定するSR手法である。
以上の結果から,LLMは与えられたデータに適合するシンボリック方程式の発見に成功し,最高のSRベースラインの総合性能を4つのベンチマークで評価した。
論文 参考訳（メタデータ） (2024-04-29T20:19:25Z) - LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
記号回帰として知られる伝統的な方程式発見法は、主にデータのみから方程式を抽出することに焦点を当てている。
LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。
LLM-SRは3つの科学的領域にまたがって有効性を示し、物理的に正確な方程式を発見する。
論文 参考訳（メタデータ） (2024-04-29T03:30:06Z) - Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。
自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-02T16:11:23Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳（メタデータ） (2023-05-12T11:58:15Z) - Learning Neural Network Quantum States with the Linear Method [0.0]
本手法は,複雑な値を持つニューラルネットワーク量子状態の最適化に有効であることを示す。
我々は、LMを最先端のSRアルゴリズムと比較し、LMが収束のために最大で1桁の繰り返しを必要とすることを発見した。
論文 参考訳（メタデータ） (2021-04-22T12:18:33Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Towards Understanding Label Smoothing [36.54164997035046]
ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。
適切なLSRが分散を減少させることで収束を加速することを示す。
本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
論文 参考訳（メタデータ） (2020-06-20T20:36:17Z) - Closed Loop Neural-Symbolic Learning via Integrating Neural Perception,
Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。
我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。
本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-11T17:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。