Fugu-MT 論文翻訳(概要): MMSR: Symbolic Regression is a Multimodal Task

論文の概要: MMSR: Symbolic Regression is a Multimodal Task

arxiv url: http://arxiv.org/abs/2402.18603v4
Date: Thu, 14 Mar 2024 12:10:43 GMT
ステータス: 処理完了
システム内更新日: 2024-03-16 01:22:49.415568
Title: MMSR: Symbolic Regression is a Multimodal Task
Title（参考訳）: MMSR:シンボリック回帰はマルチモーダルタスクである
Authors: Yanjie Li, Jingyi Liu, Weijun Li, Lina Yu, Min Wu, Wenqiang Li, Meilan Hao, Su Wei, Yusong Deng,
Abstract要約: 記号回帰は、もともと最適化問題として定式化され、GPと強化学習アルゴリズムがそれを解決するために用いられた。この問題を解決するために、研究者はデータから表現へのマッピングを翻訳問題として扱う。本稿では,複数の主流データセット上で最も高度な結果が得られるMMSRを提案する。
参考スコア（独自算出の注目度）: 12.660401635672967
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mathematical formulas are the crystallization of human wisdom in exploring the laws of nature for thousands of years. Describing the complex laws of nature with a concise mathematical formula is a constant pursuit of scientists and a great challenge for artificial intelligence. This field is called symbolic regression. Symbolic regression was originally formulated as a combinatorial optimization problem, and GP and reinforcement learning algorithms were used to solve it. However, GP is sensitive to hyperparameters, and these two types of algorithms are inefficient. To solve this problem, researchers treat the mapping from data to expressions as a translation problem. And the corresponding large-scale pre-trained model is introduced. However, the data and expression skeletons do not have very clear word correspondences as the two languages do. Instead, they are more like two modalities (e.g., image and text). Therefore, in this paper, we proposed MMSR. The SR problem is solved as a pure multimodal problem, and contrastive learning is also introduced in the training process for modal alignment to facilitate later modal feature fusion. It is worth noting that in order to better promote the modal feature fusion, we adopt the strategy of training contrastive learning loss and other losses at the same time, which only needs one-step training, instead of training contrastive learning loss first and then training other losses. Because our experiments prove training together can make the feature extraction module and feature fusion module running-in better. Experimental results show that compared with multiple large-scale pre-training baselines, MMSR achieves the most advanced results on multiple mainstream datasets including SRBench.
Abstract（参考訳）: 数学的公式は、何千年もの間自然の法則を探索する際の人間の知恵の結晶化である。複雑な自然法則を簡潔な数学的公式で記述することは、科学者の絶え間なく追求し、人工知能にとって大きな挑戦である。この場は記号回帰と呼ばれる。記号回帰は、もともと組合せ最適化問題として定式化され、GPと強化学習アルゴリズムがそれを解決するために用いられた。しかし、GPはハイパーパラメータに敏感であり、これらの2種類のアルゴリズムは非効率である。この問題を解決するために、研究者はデータから表現へのマッピングを翻訳問題として扱う。そして、対応する大規模事前訓練モデルを導入する。しかし、データと表現の骨格は2言語ほど明確な単語対応を持っていない。その代わり、それらはより2つのモダリティ(例、画像、テキスト)に似ています。そこで本稿では,MMSRを提案する。 SR問題は、純粋なマルチモーダル問題として解決され、また、後のモーダル特徴融合を促進するために、モーダルアライメントのためのトレーニングプロセスにもコントラスト学習が導入される。モーダル・フィーチャー・フュージョン(英語版)をより良く推進するために、コントラッシブ・ラーニング・ロス(英語版)やその他の損失を同時に訓練する戦略を採用しており、これは1ステップのトレーニングだけで、まずコントラクティブ・ラーニング・ロス(英語版)を訓練し、次に他の損失を訓練する。私たちの実験は、一緒にトレーニングを行うことで、機能抽出モジュールと機能融合モジュールがよりうまく動作できることを証明しています。実験の結果,複数の大規模事前学習ベースラインと比較して,MMSRはSRBenchを含む複数の主流データセットにおいて最も高度な結果が得られることがわかった。

関連論文リスト

Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning [12.660401635672967]
観測データから数学的公式を見つけることは、科学研究の大きな要求である。フォーミュラGPTは4つのベースラインと比較して適合性において最先端の性能を達成する。
論文参考訳（メタデータ） (2024-04-09T14:08:47Z)
Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文参考訳（メタデータ） (2024-02-27T14:21:56Z)
Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文参考訳（メタデータ） (2023-12-30T17:05:31Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
我々は数値推論の問題を解くために方程式をIMRとして利用する。本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
論文参考訳（メタデータ） (2023-08-21T09:35:33Z)
RSRM: Reinforcement Symbolic Regression Machine [13.084113582897965]
本稿では,不足データのみから複雑な数式を解く能力を習得する新しい強化回帰マシンを提案する。 RSRMモデルは,(1)事前定義された数学演算子と変数からなる最適な数学表現木を探索するモンテカルロ木探索 (MCTS) エージェント,(2)報酬の分布を適切に理解してMCTSの検索空間を縮小するダブルQ学習ブロック,(3)新しい数学演算子を蒸留して数学表現木の表現能力を向上する修飾サブツリー探索ブロックの3つの主要なモジュールから構成される。
論文参考訳（メタデータ） (2023-05-24T02:51:45Z)
Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文参考訳（メタデータ） (2021-04-07T03:50:11Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
Symbolic Regression using Mixed-Integer Nonlinear Optimization [9.638685454900047]
シンボリック回帰(SR)問題は、機械学習において難しい問題である。混合整数非線形最適化と明示列挙法を組み合わせたハイブリッドアルゴリズムを提案する。我々のアルゴリズムは、いくつかの合成データセットに対して、最先端のSRソフトウェアと最近の物理学に触発されたAI Feynmanという手法で競合していることを示す。
論文参考訳（メタデータ） (2020-06-11T20:53:17Z)
An implicit function learning approach for parametric modal regression [36.568208312835196]
我々は暗黙の関数定理を用いて目的を定め、入力や目標に対する合同関数を学習する。提案手法は,多値関数を学習し,条件付きモードを生成できる,いくつかの合成問題を実証的に実証する。
論文参考訳（メタデータ） (2020-02-14T00:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。