論文の概要: MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models
- arxiv url: http://arxiv.org/abs/2406.05410v1
- Date: Sat, 8 Jun 2024 09:17:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 19:55:06.876078
- Title: MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models
- Title（参考訳）: MLLM-SR:対話型シンボリック回帰ベース多モード大言語モデル
- Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jingyi Liu, Wenqiang Li, Shu Wei, Yusong Deng,
- Abstract要約: MLLM-SRは,要求を自然言語で記述することで,要求を満たす表現を生成できる対話型記号回帰法である。
我々は,MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証した。
- 参考スコア（独自算出の注目度）: 13.136507215114722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Formulas are the language of communication between humans and nature. It is an important research topic of artificial intelligence to find expressions from observed data to reflect the relationship between each variable in the data, which is called a symbolic regression problem. The existing symbolic regression methods directly generate expressions according to the given observation data, and we cannot require the algorithm to generate expressions that meet specific requirements according to the known prior knowledge. For example, the expression needs to contain $\sin$ or be symmetric, and so on. Even if it can, it often requires very complex operations, which is very inconvenient. In this paper, based on multi-modal large language models, we propose MLLM-SR, a conversational symbolic regression method that can generate expressions that meet the requirements simply by describing the requirements with natural language instructions. By experimenting on the Nguyen dataset, we can demonstrate that MLLM-SR leads the state-of-the-art baselines in fitting performance. More notably, we experimentally demonstrate that MLLM-SR can well understand the prior knowledge we add to the natural language instructions. Moreover, the addition of prior knowledge can effectively guide MLLM-SR to generate correct expressions.
- Abstract（参考訳）: フォーミュラは人間と自然の間のコミュニケーションの言語である。
これは、観測データから表現を見つけ、データ内の各変数間の関係を反映する重要な研究トピックであり、これは象徴的回帰問題と呼ばれる。
既存のシンボリック回帰法は, 与えられた観測データに従って表現を直接生成するので, 既知の事前知識に従って, 特定の要求を満たす表現を生成するために, アルゴリズムを必要としない。
例えば、式は$\sin$を含むか、対称である必要がある。
可能であっても、しばしば非常に複雑な操作を必要とするが、非常に不都合である。
本稿では,マルチモーダルな大規模言語モデルに基づく対話型記号回帰手法MLLM-SRを提案する。
Nguyenデータセットを実験することにより、MLLM-SRが適合性能の最先端のベースラインを導くことを示すことができる。
より具体的には、MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証する。
さらに、事前知識を追加することで、MLLM-SRを効果的に導き、正しい表現を生成することができる。
関連論文リスト
- Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
VMLの有効性を実証的に評価するために,いくつかの研究を行っている。
論文 参考訳（メタデータ） (2024-06-06T17:59:56Z) - What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
大規模言語モデル (LM) は文字列上の分布である。
RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。
RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
論文 参考訳（メタデータ） (2024-06-06T17:34:24Z) - In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery [5.2387832710686695]
本稿では,記号回帰のタスクにLarge Language Models(LLM)を利用する,最初の包括的フレームワークを紹介する。
In-Context Symbolic Regression (ICSR) は、外部LLMで関数形式を反復的に洗練し、その係数を外部LLMで決定するSR手法である。
以上の結果から,LLMは与えられたデータに適合するシンボリック方程式の発見に成功し,最高のSRベースラインの総合性能を4つのベンチマークで評価した。
論文 参考訳（メタデータ） (2024-04-29T20:19:25Z) - LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
記号回帰として知られる伝統的な方程式発見法は、主にデータのみから方程式を抽出することに焦点を当てている。
LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。
LLM-SRは3つの科学的領域にまたがって有効性を示し、物理的に正確な方程式を発見する。
論文 参考訳（メタデータ） (2024-04-29T03:30:06Z) - Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。
関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
論文 参考訳（メタデータ） (2023-08-17T17:59:19Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T06:45:02Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z) - Learning to Ask Conversational Questions by Optimizing Levenshtein
Distance [83.53855889592734]
明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。
RISEは会話の特徴に関連するトークンに注意を払うことができる。
2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-30T08:44:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。