論文の概要: Towards Optimizing with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.05204v3
• Date: Mon, 27 May 2024 09:13:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 11:49:01.991858
• Title: Towards Optimizing with Large Language Models
• Title（参考訳）: 大規模言語モデルによる最適化に向けて
• Authors: Pei-Fu Guo, Ying-Hsuan Chen, Yun-Da Tsai, Shou-De Lin,
• Abstract要約: 各種タスクやデータサイズにまたがるLLMの最適化能力の評価を行う。 様々な視点からタスクパフォーマンスの総合評価を行うために,3つの異なる指標を紹介した。
• 参考スコア（独自算出の注目度）: 3.80039497875781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we conduct an assessment of the optimization capabilities of LLMs across various tasks and data sizes. Each of these tasks corresponds to unique optimization domains, and LLMs are required to execute these tasks with interactive prompting. That is, in each optimization step, the LLM generates new solutions from the past generated solutions with their values, and then the new solutions are evaluated and considered in the next optimization step. Additionally, we introduce three distinct metrics for a comprehensive assessment of task performance from various perspectives. These metrics offer the advantage of being applicable for evaluating LLM performance across a broad spectrum of optimization tasks and are less sensitive to variations in test samples. By applying these metrics, we observe that LLMs exhibit strong optimization capabilities when dealing with small-sized samples. However, their performance is significantly influenced by factors like data size and values, underscoring the importance of further research in the domain of optimization tasks for LLMs.
• Abstract（参考訳）: 本研究では,様々なタスクやデータサイズにまたがるLLMの最適化能力の評価を行う。 これらのタスクはそれぞれ独自の最適化ドメインに対応しており、対話的なプロンプトでこれらのタスクを実行するにはLSMが必要である。 すなわち、各最適化ステップにおいて、LLMは過去の生成した解からそれらの値で新しい解を生成し、次に次の最適化ステップで新しい解を評価し検討する。 さらに,様々な視点からタスクパフォーマンスを総合的に評価するための3つの異なる指標を紹介した。 これらのメトリクスは、広範囲の最適化タスクにわたるLLMパフォーマンスの評価に適用できる利点を提供し、テストサンプルのバリエーションに敏感でない。 これらの測定値を適用することにより,LLMは小型サンプルを扱う際に,強力な最適化能力を示すことが明らかとなった。 しかし、それらの性能はデータサイズや値などの要因に大きく影響され、LLMの最適化タスクの領域におけるさらなる研究の重要性が強調されている。

関連論文リスト

• OptiSeq: Ordering Examples On-The-Fly for In-Context Learning [8.603219414567084]
  OptiSeqは、最適なサンプル順序を効率的に決定する、純粋に推論時間、データセットなしの最適化手法である。 OptiSeqは複数のタスクで5.5～10.5ポイントの精度向上を実現している。
  論文  参考訳（メタデータ） (2025-01-25T02:24:00Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers [15.809293135844756]
  比較的小規模な言語モデル(LLM)を用いた自動プロンプトのためのOPROを再検討する。 OPROは小規模なLLMにおいて限られた有効性を示し、推論能力は最適化能力を制限している。 我々は,モデル能力と計算コストの両方を考慮するために,将来的な自動プロンプトエンジニアリングを提案する。
  論文  参考訳（メタデータ） (2024-05-16T17:33:50Z)
• Exploring the True Potential: Evaluating the Black-box Optimization Capability of Large Language Models [32.859634302766146]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて例外的な性能を示した。 本稿では,LLMの最適化の可能性について深い知見を提供する。 本研究は,LLMの最適化における限界と利点を明らかにした。
  論文  参考訳（メタデータ） (2024-04-09T13:17:28Z)
• How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems [33.33996058215666]
  大規模言語モデル(LLM)は、複雑な最適化課題に対処するための有能なツールとして自らを位置づけている。 テキストと視覚の両方のプロンプトを処理可能なマルチモーダルLLMを用いて最適化性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-03-04T06:24:21Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。