Fugu-MT 論文翻訳(概要): Metaheuristics and Large Language Models Join Forces: Towards an Integrated Optimization Approach

論文の概要: Metaheuristics and Large Language Models Join Forces: Towards an Integrated Optimization Approach

arxiv url: http://arxiv.org/abs/2405.18272v1
Date: Tue, 28 May 2024 15:23:46 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 17:59:58.637302
Title: Metaheuristics and Large Language Models Join Forces: Towards an Integrated Optimization Approach
Title（参考訳）: メタヒューリスティックスと大規模言語モデルが合流する:統合最適化アプローチを目指して
Authors: Camilo Chacón Sartori, Christian Blum, Filippo Bistaffa, Guillem Rodríguez Corominas,
Abstract要約: 本稿では,メタヒューリスティックス(メタヒューリスティックス,メタヒューリスティックス,メタヒューリスティックス,メタヒューリスティックス)を改善するためのパターン認識ツールとして,LLM(Large Language Models)を利用した新しいアプローチを提案する。結果として得られたハイブリッド手法は、ソーシャルネットワークベースの最適化問題の文脈でテストされ、既存の最先端手法よりも優れている。
参考スコア（独自算出の注目度）: 2.2124180701409233
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Since the rise of Large Language Models (LLMs) a couple of years ago, researchers in metaheuristics (MHs) have wondered how to use their power in a beneficial way within their algorithms. This paper introduces a novel approach that leverages LLMs as pattern recognition tools to improve MHs. The resulting hybrid method, tested in the context of a social network-based combinatorial optimization problem, outperforms existing state-of-the-art approaches that combine machine learning with MHs regarding the obtained solution quality. By carefully designing prompts, we demonstrate that the output obtained from LLMs can be used as problem knowledge, leading to improved results. Lastly, we acknowledge LLMs' potential drawbacks and limitations and consider it essential to examine them to advance this type of research further.
Abstract（参考訳）: 数年前にLarge Language Models(LLMs)が台頭して以来、メタヒューリスティックス(MHs)の研究者たちは、アルゴリズム内で有益な方法でそのパワーをどのように活用するかを疑問視してきた。本稿では,LLMをパターン認識ツールとして活用してMHを改善する手法を提案する。結果として得られたハイブリッド手法は、ソーシャルネットワークベースの組合せ最適化問題の文脈でテストされ、得られたソリューションの品質に関する機械学習とMHを組み合わせた最先端のアプローチよりも優れている。プロンプトを慎重に設計することにより, LLMから得られる出力が問題知識として利用できることを示す。最後に, LLMsの潜在的な欠点と限界を認め, これらの研究をさらに進めるためには, それらを調べることが不可欠であると考えている。

関連論文リスト

Speculate, then Collaborate: Fusing Knowledge of Language Models during Decoding [27.84669070734852]
大規模言語モデル(LLM)は、特定のドメインで優れていることが多いが、トレーニングの制限のため、他のドメインでは不足している。テスト時にLLM知識を効率的に融合できる新しいコラボレーティブ・スペキュレイティブ・デコーディング(CoSD)アルゴリズムを提案する。実験の結果,COSDは既存の手法と比較してベンチマークで最大10%精度が向上していることがわかった。
論文参考訳（メタデータ） (2025-02-11T23:40:53Z)
Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
本稿では,RL強化言語モデルに関する最新の知識を体系的にレビューする。本稿では、RLの基礎を詳述し、人気のあるRL強化LLMを紹介し、広く使われている2つの報酬モデルに基づくRL技術について検討する。既存のメソッドの現在の課題や欠陥についても指摘し、さらなる改善の道筋をいくつか提案する。
論文参考訳（メタデータ） (2024-12-05T16:10:42Z)
Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
論文参考訳（メタデータ） (2024-10-29T09:02:37Z)
EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential [20.1396255995056]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 LLM自体から生成する検索段階を置き換えるために、"generate-then-read"パイプラインが提案されている。本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。
論文参考訳（メタデータ） (2024-06-06T11:14:27Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文参考訳（メタデータ） (2024-02-19T11:11:08Z)
Large Language Models as Evolutionary Optimizers [37.92671242584431]
本稿では,大言語モデル(LLM)を進化論として初めて研究する。主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。また,進化探索における自己適応機構の有効性についても検討した。
論文参考訳（メタデータ） (2023-10-29T15:44:52Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。