論文の概要: In-Context Symbolic Regression: Leveraging Language Models for Function Discovery

• arxiv url: http://arxiv.org/abs/2404.19094v1
• Date: Mon, 29 Apr 2024 20:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 18:00:28.518343
• Title: In-Context Symbolic Regression: Leveraging Language Models for Function Discovery
• Title（参考訳）: In-Contextシンボリック回帰:関数発見のための言語モデルを活用する
• Authors: Matteo Merler, Nicola Dainese, Katsiaryna Haitsiukevich,
• Abstract要約: 本研究では,事前学習した大規模言語モデルのシンボリック回帰パイプラインへの統合について検討する。 提案手法は,観測結果に基づいて可能な関数の初期セットを提案するためのLSMを実現する。 そして、この文脈で視覚言語モデルを分析し、最適化プロセスを支援するためにプロットを視覚入力として含めることを探る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic Regression (SR) is a task which aims to extract the mathematical expression underlying a set of empirical observations. Transformer-based methods trained on SR datasets detain the current state-of-the-art in this task, while the application of Large Language Models (LLMs) to SR remains unexplored. This work investigates the integration of pre-trained LLMs into the SR pipeline, utilizing an approach that iteratively refines a functional form based on the prediction error it achieves on the observation set, until it reaches convergence. Our method leverages LLMs to propose an initial set of possible functions based on the observations, exploiting their strong pre-training prior. These functions are then iteratively refined by the model itself and by an external optimizer for their coefficients. The process is repeated until the results are satisfactory. We then analyze Vision-Language Models in this context, exploring the inclusion of plots as visual inputs to aid the optimization process. Our findings reveal that LLMs are able to successfully recover good symbolic equations that fit the given data, outperforming SR baselines based on Genetic Programming, with the addition of images in the input showing promising results for the most complex benchmarks.
• Abstract（参考訳）: シンボリック回帰(英: Symbolic Regression, SR)は、経験的観察のセットの根底にある数学的表現を抽出することを目的としたタスクである。 SRデータセットに基づいてトレーニングされたトランスフォーマーベースの手法は、このタスクの現在の最先端を保持でき、一方、Large Language Models (LLMs) をSRに適用することは、まだ探索されていない。 本研究は、SRパイプラインへの事前学習LLMの統合について検討し、収束に到達するまで観測セット上で達成した予測誤差に基づいて関数形式を反復的に洗練するアプローチを利用する。 本手法は, LLMを用いて観測結果に基づいて, 事前学習前の強い事前学習を生かして, 可能な関数の初期セットを提案する。 これらの関数はモデル自身や係数の外部オプティマイザによって反復的に洗練される。 このプロセスは、結果が満足するまで繰り返されます。 そして、この文脈で視覚言語モデルを分析し、最適化プロセスを支援するためにプロットを視覚入力として含めることを探る。 以上の結果から,LLMは与えられたデータに適合する優れた記号方程式を回復し,遺伝的プログラミングに基づくSRベースラインを上回り,最も複雑なベンチマークに対して有望な結果を示すインプットに画像が付加されることが判明した。

関連論文リスト

• Understanding LLM Embeddings for Regression [8.095573259696092]
  本論文は埋め込み型回帰に関する最初の包括的な研究の1つを提供する。 LLMを機能として組み込むことは,従来の機能工学よりも高次元回帰作業に有効であることを示す。 私たちは異なるモデル効果、特にモデルのサイズと言語理解の貢献を定量化します。
  論文  参考訳（メタデータ） (2024-11-22T03:33:51Z)
• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
  本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。 我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。 ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-02T01:12:54Z)
• Symbolic Regression with a Learned Concept Library [9.395222766576342]
  本稿では,データセットを最もよく説明できる,コンパクトなプログラム仮説を探索する手法を提案する。 我々のアルゴリズムはLaSRと呼ばれ、ゼロショットクエリを大規模言語モデルに使用して概念を発見し、進化させます。 LaSRは、ディープラーニングと進化的アルゴリズムに基づいて、最先端のSRアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-09-14T08:17:30Z)
• Empowering Few-Shot Relation Extraction with The Integration of Traditional RE Methods and Large Language Models [48.846159555253834]
  Few-Shot Relation extract (FSRE)は自然言語処理(NLP)の研究者にアピールする 大規模言語モデル(LLM)の近年の出現により、多くの研究者が文脈学習(ICL)を通じてFSREを探求している。
  論文  参考訳（メタデータ） (2024-07-12T03:31:11Z)
• DELRec: Distilling Sequential Pattern to Enhance LLM-based Recommendation [3.5113201254928117]
  逐次レコメンデーション(SR)タスクは、ユーザの過去のインタラクションと好みの変化を関連付けることで、レコメンデーションの精度を高める。 従来のモデルは、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに集中し、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストやセマンティックな情報を無視することが多い。 DelRecは、SRモデルから知識を抽出し、LLMがより効果的なシーケンシャルレコメンデーションのためにこれらの補足情報を容易に理解し利用できるようにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-17T02:47:09Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。