論文の概要: DIGEST: Discovery-Guided LLM Tuning for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2610.33880v1
• Date: Sat, 24 Oct 2026 19:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.475598
• Title: DIGEST: Discovery-Guided LLM Tuning for Symbolic Regression
• Title（参考訳）: DIGEST: シンボリック回帰のためのディスカバリガイド付きLLMチューニング
• Abstract要約: 記号回帰は、タスク固有の科学的記述を必要とせずに、データから直接数学的表現を見つけようとする。 従来のサーチベースの手法は、固定されたサーチルールまたは専門的な学習ジェネレータに依存している。 DIGESTは、訓練済みのデコーダブロックを軽量LLMから遺伝的プログラミングの象徴的なポリシーに再利用する。 122のBlackBoxデータセット上で、DIGESTは、適度なモデルの複雑さを維持しながら、最高の精度を達成する。
• 参考スコア（独自算出の注目度）: 59.289031915625564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression (SR) seeks to discover mathematical expressions directly from data, without requiring task-specific scientific descriptions. Despite tremendous progress in both conventional search-based methods and recent LLM-based methods, two critical limitations largely remain. First (Limited Generation Flexibility), conventional search-based methods rely on either fixed search rules or specialized learned generators, severely limiting adaptive candidate generation across diverse expression structures. Second (Underutilized Search Discoveries), most LLM-based methods cannot reliably recover ground-truth expressions because they fall short in effectively leveraging the LLM itself to thoroughly digest past expressions or adaptively guide future search. To address these limitations, we propose DIGEST. To render greater flexibility in generation, DIGEST repurposes a pretrained decoder block from a lightweight LLM into a symbolic policy for Genetic Programming (GP) population seeding, thereby leveraging the broader modeling capacity of the LLM. To more thoroughly utilize search discoveries, high-quality expressions discovered by GP are fed back to update the LLM-derived policy online, thereby enabling the LLM to progressively internalize past search discoveries and translate them into improved subsequent population generation. Experiments show that on two ground-truth benchmarks, DIGEST outperforms the strongest competitor by up to 2.59% in recovery. Among LLM-based baselines, it improves recovery by at least 54.91% while using at most 17.4% of the strongest competitor's mean search time. On 122 BlackBox datasets, DIGEST achieves the highest accuracy while maintaining a moderate model complexity.
• Abstract（参考訳）: 記号回帰(SR)は、タスク固有の科学的記述を必要とせず、データから直接数学的表現を見つけようとする。 従来の検索法と最近のLLM法の両方が著しく進歩しているにもかかわらず、2つの重要な制限が残されている。 第一に,従来の検索手法では,定型検索規則や特殊な学習ジェネレータのどちらかに依存しており,多様な表現構造にまたがる適応型候補生成を著しく制限している。 第2に (Underutilized Search Discoveries) では, LLM自体を効果的に活用し, 過去の表現を徹底的に消化したり, 将来の検索を適応的に導くことに失敗するため, LLM に基づくほとんどの手法では, 地平線表現を確実に回復できない。 これらの制限に対処するため、DIGESTを提案する。 生成の柔軟性を高めるために、DIGESTは、軽量なLLMから遺伝的プログラミング(GP)集団シードのシンボルポリシーに事前訓練されたデコーダブロックを再利用し、LLMのより広範なモデリング能力を活用する。 検索発見をより徹底的に活用するために、GPによって発見された高品質な表現をフィードバックしてLLM由来のポリシーをオンラインで更新することにより、LLMは過去の検索発見を段階的に内部化し、その後の人口生成を改善することができる。 実験によると、2つの地道なベンチマークにおいて、DIGESTは最大2.59%の回復率で最強の競争相手を上回っている。 LLMベースのベースラインの中では、最強の競争相手の平均検索時間の少なくとも17.4%を使用しながら、少なくとも54.91%のリカバリを改善している。 122のBlackBoxデータセット上で、DIGESTは、適度なモデルの複雑さを維持しながら、最高の精度を達成する。

関連論文リスト

• Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
  本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。 そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
  論文  参考訳（メタデータ） (2025-10-20T04:16:28Z)
• RJE: A Retrieval-Judgment-Exploration Framework for Efficient Knowledge Graph Question Answering with LLMs [18.947344953344995]
  Retrieval-Judgment-Exploration (RJE)は、洗練された推論経路を検索し、その十分性を評価し、追加の証拠を条件付きで探索するフレームワークである。 RJE はエージェントベースの手法と比較して LLM 呼び出しとトークンの使用量を著しく削減し、大幅な効率改善をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T03:56:18Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。