Fugu-MT 論文翻訳(概要): Exploiting Edited Large Language Models as General Scientific Optimizers

論文の概要: Exploiting Edited Large Language Models as General Scientific Optimizers

arxiv url: http://arxiv.org/abs/2503.09620v2
Date: Mon, 17 Mar 2025 05:40:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-18 15:56:44.099998
Title: Exploiting Edited Large Language Models as General Scientific Optimizers
Title（参考訳）: 汎用科学最適化システムとしての大規模言語モデルの爆発的展開
Authors: Qitan Lv, Tianyu Liu, Hong Wang,
Abstract要約: 大規模言語モデル(LLM)は、科学的シナリオにおける数学的最適化において広く採用されている。概念的に単純で汎用的な二段階最適化手法,すなわち textbf General textbfScientific textbfOptimizers (GSO) を提案する。
参考スコア（独自算出の注目度）: 10.489095729605152
License:
Abstract: Large language models (LLMs) have been widely adopted in mathematical optimization in scientific scenarios for their extensive knowledge and advanced reasoning capabilities. Existing methods mainly focus on utilizing LLMs to solve optimization problems in a prompt-based manner, which takes observational feedback as additional textual descriptions. However, due to LLM's \textbf{high sensitivity to the prompts} and \textbf{tendency to get lost in lengthy prompts}, these methods struggle to effectively utilize the {observational} feedback from each optimization step, which severely hinders the applications for real-world scenarios. To address these challenges, we propose a conceptually simple and general {bi-level} optimization method, namely \textbf{G}eneral \textbf{S}cientific \textbf{O}ptimizers (GSO). Specifically, GSO first utilizes inner-level simulators as experimental platforms to evaluate the current solution and provide observational feedback. Then, LLMs serve as knowledgeable and versatile scientists, generating new solutions by refining potential errors from the feedback as the outer-level optimization. Finally, simulations together with the expert knowledge in LLMs are jointly updated with bi-level interactions via model editing. Extensive experiments show that GSO consistently outperforms existing state-of-the-art methods using \textit{six} different LLM backbones on \textit{seven} different tasks, demonstrating the effectiveness and a wide range of applications.
Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的シナリオの数学的最適化において、その広範な知識と高度な推論能力のために広く採用されている。既存の手法は主に、観察フィードバックを追加のテキスト記述として受け取り、最適化問題を即時的に解決するためにLLMを使うことに重点を置いている。しかし、LLM の \textbf{high sensitivity to the prompts} と \textbf{tendency to get lost in longy prompts} により、これらの手法は各最適化ステップからの {observational} フィードバックを効果的に活用するのに苦労し、現実のシナリオへのアプリケーションを著しく妨げている。これらの課題に対処するために、概念的に単純で一般的な {bi-level} 最適化法、すなわち \textbf{G}eneral \textbf{S}cientific \textbf{O}ptimizers (GSO)を提案する。具体的には、まず内部レベルのシミュレータを実験用プラットフォームとして利用し、現在のソリューションを評価し、観察フィードバックを提供する。その後、LLMは知識と多用途の科学者として機能し、外部レベルの最適化としてフィードバックから潜在的な誤りを補うことによって、新しい解を生成する。最後に、LLMのエキスパート知識とともにシミュレーションをモデル編集を通じて双方向のインタラクションと共同で更新する。広範囲にわたる実験により、GSOは既存の最先端のメソッドよりも、textit{six} の異なるタスク上の異なる LLM バックボーンの方が一貫して優れており、その効果と幅広い応用が示されている。

関連論文リスト

Language-Based Bayesian Optimization Research Assistant (BORA) [0.0]
ドメイン知識のコンテキスト化は、実りある領域の探索をガイドする強力なアプローチである。本稿では,検索最適化における言語モデル (LLM) の利用を提案する。
論文参考訳（メタデータ） (2025-01-27T17:20:04Z)
Can Large Language Models Be Trusted as Black-Box Evolutionary Optimizers for Combinatorial Problems? [8.082897040940447]
LLM(Large Language Models)は、幅広い知識でゲームを変えるソリューションを提供し、最適化のパラダイムを民主化することができる。したがって、LLMの適合性を進化機構(EVO)として評価することが不可欠である。
論文参考訳（メタデータ） (2025-01-25T05:19:19Z)
SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
論文参考訳（メタデータ） (2024-10-28T18:10:26Z)
EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
GANPrompt: Enhancing Robustness in LLM-Based Recommendations with GAN-Enhanced Diversity Prompts [15.920623515602038]
大規模言語モデル(LLM)は、素早い単語の影響を受けやすい。本稿では,GAN(Generative Adversarial Networks)に基づく多次元LCMの多様性フレームワークであるGANPromptを提案する。このフレームワークは,GAN生成技術とLLMの深い意味理解機能を統合することにより,多様なプロンプトに対するモデルの適応性と安定性を向上させる。
論文参考訳（メタデータ） (2024-08-19T03:13:20Z)
Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
論文参考訳（メタデータ） (2024-07-09T07:11:10Z)
LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文参考訳（メタデータ） (2024-05-30T06:24:14Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
The Importance of Directional Feedback for LLM-based Optimizers [23.669705029245645]
本研究では,自然言語と数値フィードバックを用いてテキスト空間の問題を解決する対話型言語モデル (LLM) の可能性について検討する。我々は,過去の最適化トレースから指向性フィードバックを合成し,繰り返しよりも信頼性の高い改善を実現するLLMベースの新しい設計を行う。
論文参考訳（メタデータ） (2024-05-26T05:22:35Z)
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。このような最適化では、以前見過ごされたクエリ依存の目的を特定します。本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文参考訳（メタデータ） (2023-09-13T01:12:52Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。