論文の概要: Assessing an evolutionary search engine for small language models, prompts, and evaluation metrics

• arxiv url: http://arxiv.org/abs/2506.21512v1
• Date: Thu, 26 Jun 2025 17:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.224776
• Title: Assessing an evolutionary search engine for small language models, prompts, and evaluation metrics
• Title（参考訳）: 小言語モデル、プロンプトおよび評価指標のための進化的検索エンジンの評価
• Authors: Cláudio Lúcio do Val Lopes, Lucca Machado,
• Abstract要約: 言語モデルと命令プロンプトの同時最適化は、効率的で効果的なAIシステムをデプロイする上で大きな課題となる。 本稿では,この複雑な空間をナビゲートするために設計された双方向進化型検索エンジンを紹介し,評価する。 NSGA-IIアルゴリズムを用いて,タスクの精度とトークン効率の同時最適化を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The concurrent optimization of language models and instructional prompts presents a significant challenge for deploying efficient and effective AI systems, particularly when balancing performance against computational costs like token usage. This paper introduces and assesses a bi-objective evolutionary search engine designed to navigate this complex space, focusing specifically on Small Language Models (SLMs). We employ the NSGA-II algorithm and prompt grammar to simultaneously optimize for task accuracy and token efficiency across some reasoning tasks. Our results successfully identify diverse, high-performing model-prompt combinations, quantitatively revealing the critical trade-off between the two objectives. This research highlights task-specific affinities between particular SLMs and prompt structures (e.g., instructions, context, chain of thought). The generated practical Pareto fronts offer decision-makers a portfolio of optimized solutions adaptable to their specific constraints. This automated approach moves beyond traditional manual tuning, providing a foundational framework for discovering effective human-AI interaction patterns.
• Abstract（参考訳）: 言語モデルと命令プロンプトの同時最適化は、特にトークン使用のような計算コストとパフォーマンスのバランスをとる場合、効率的で効果的なAIシステムをデプロイする上で大きな課題となる。 本稿では,この複雑な空間をナビゲートするために設計された,小言語モデル(SLM)に着目した双方向進化型検索エンジンを紹介し,評価する。 NSGA-IIアルゴリズムを用いて,タスクの精度とトークン効率の同時最適化を行う。 その結果,両目標間の重要なトレードオフを定量的に明らかにし,多種多様で高い性能のモデルとプロンプトの組み合わせを同定した。 本研究は、特定のSLMとプロンプト構造(例えば、指示、文脈、思考の連鎖)とのタスク固有の親和性を強調する。 生成された実践的なParetoフロントは、特定の制約に適応する最適化されたソリューションのポートフォリオを意思決定者に提供します。 この自動化アプローチは、従来の手動チューニングを超えて、効果的なヒューマンとAIのインタラクションパターンを見つけるための基盤となるフレームワークを提供する。

関連論文リスト

• Tournament of Prompts: Evolving LLM Instructions Through Structured Debates and Elo Ratings [0.9437165725355702]
  我々は,エロの選考による議論駆動評価を通じて,進化を促す新しいフレームワークであるDEEVOを紹介する。 Eloの格付けをフィットネスプロキシとして利用することで、DEEVOは同時に改善を推進し、迅速な人口の貴重な多様性を保ちます。
  論文  参考訳（メタデータ） (2025-05-30T19:33:41Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Goal-Conditioned Supervised Learning for Multi-Objective Recommendation [8.593384839118658]
  多目的学習は、一つのモデルを用いて複数の目的を同時に最適化する。 本稿では,オフラインシーケンシャルデータから複数の目標を自動学習する多目的目標定義型監視学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-12T03:47:40Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Evolutionary Multi-Objective Optimization of Large Language Model Prompts for Balancing Sentiments [0.0]
  EMO-Promptsと呼ばれる迅速な最適化に適した進化的多目的(EMO)アプローチを提案する。 EMO-Prompts は,2つの矛盾する感情を同時に表わしたテキストを生成するために LLM を誘導できるプロンプトを効果的に生成することを示した。
  論文  参考訳（メタデータ） (2024-01-18T10:21:15Z)
• Empirical Study of Zero-Shot NER with ChatGPT [19.534329209433626]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて強力な能力を示した。 本研究はゼロショット情報抽出におけるLLM性能の探索に焦点をあてる。 記号的推論と算術的推論におけるLLMの顕著な推論能力に着想を得て, 代表的な推論手法をNERに適用する。
  論文  参考訳（メタデータ） (2023-10-16T03:40:03Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。