論文の概要: Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

• arxiv url: http://arxiv.org/abs/2411.00492v1
• Date: Fri, 01 Nov 2024 10:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:14.496371
• Title: Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models
• Title（参考訳）: マルチ専門家による大規模言語モデルの信頼性・安全性・有用性の向上
• Authors: Do Xuan Long, Duong Ngoc Yen, Anh Tuan Luu, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen,
• Abstract要約: 本稿では,大規模言語モデル(LLM)生成を改善するために,Promptingの新たな拡張であるMulti-expert Promptingを提案する。 具体的には、複数の専門家をシミュレートし、応答を集約し、個々のレスポンスと集約されたレスポンスの中で最高のものを選択することで、入力命令を満たすようLLMを誘導する。 評価の結果, マルチエキスパート・プロンプトは, 毒性や傷害を低減しつつ, 真理性, 事実性, 情報性, 応答の有用性を高める上で, エキスパート・プロンプトと同等のベースラインを著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 75.44218111729442
• License:
• Abstract: We present Multi-expert Prompting, a novel enhancement of ExpertPrompting (Xu et al., 2023), designed to improve the large language model (LLM) generation. Specifically, it guides an LLM to fulfill an input instruction by simulating multiple experts, aggregating their responses, and selecting the best among individual and aggregated responses. This process is performed in a single chain of thoughts through our seven carefully designed subtasks derived from the Nominal Group Technique (Ven and Delbecq, 1974), a well-established decision-making framework. Our evaluations demonstrate that Multi-expert Prompting significantly outperforms ExpertPrompting and comparable baselines in enhancing the truthfulness, factuality, informativeness, and usefulness of responses while reducing toxicity and hurtfulness. It further achieves state-of-the-art truthfulness by outperforming the best baseline by 8.69% with ChatGPT. Multi-expert Prompting is efficient, explainable, and highly adaptable to diverse scenarios, eliminating the need for manual prompt construction.
• Abstract（参考訳）: 本稿では,大規模な言語モデル(LLM)生成を改善するために設計された,エキスパート・プロンプト(Xu et al , 2023)の新たな拡張であるマルチエキスパート・プロンプトを提案する。 具体的には、複数の専門家をシミュレートし、応答を集約し、個々のレスポンスと集約されたレスポンスの中からベストを選択することで、入力命令を満たすようLLMを誘導する。 このプロセスは、よく確立された意思決定フレームワークであるNominal Group Technique(Ven and Delbecq, 1974)から派生した、慎重に設計された7つのサブタスクを通して、単一の思考の連鎖で実行される。 評価の結果, マルチエキスパート・プロンプトは, 毒性や傷害を低減しつつ, 真理性, 事実性, 情報性, 応答の有用性を高める上で, エキスパート・プロンプトと同等のベースラインを著しく上回っていることがわかった。 さらに、ChatGPTで最高のベースラインを8.69%上回ることによって、最先端の真理性を達成する。 マルチエキスパート・プロンプティングは効率的で説明可能であり、多様なシナリオに高度に適用可能であり、手動のプロンプト構築の必要性を排除している。

関連論文リスト

• PromptHive: Bringing Subject Matter Experts Back to the Forefront with Collaborative Prompt Engineering for Educational Content Creation [8.313693615194309]
  本稿では,プロンプトオーサリングのための協調インターフェースであるPromptHiveについて紹介する。 本研究は,数学の専門家10名を対象に評価研究を行い,358人の学習者を対象に,2つの共同筆記セッションと358人の学習者による学習成績研究を通じて設計を検証した。 本研究は,AIの専門家以外の専門家が,人為的な資料に匹敵するコンテンツを生成するプロンプトを作成できるように,プロンプトの反復プロセスを解明し,ツールのユーザビリティを検証した。
  論文  参考訳（メタデータ） (2024-10-21T22:18:24Z)
• X-Reflect: Cross-Reflection Prompting for Multimodal Recommendation [47.96737683498274]
  LMM(Large Language Models)とLMM(Large Multimodal Models)は、アイテム記述を充実させる効果を高めることが示されている。 本稿では,テキストと画像間の支援的・矛盾する情報をLMMに明示的に識別・調整するよう促すことにより,制約に対処する新しいフレームワークであるクロス・リフレクション・プロンプト(Cross-Reflex Prompting)を提案する。
  論文  参考訳（メタデータ） (2024-08-27T16:10:21Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• POEM: Interactive Prompt Optimization for Enhancing Multimodal Reasoning of Large Language Models [28.072184039405784]
  大規模言語モデル(LLM)の効率的なプロンプトエンジニアリングを容易にするビジュアル分析システムであるPOEMを提案する。 本システムは,様々なプロンプトによって引き起こされるマルチモーダル知識を包括的に理解するために,モジュール間の相互作用パターンを様々な詳細レベルで探索することを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T08:21:30Z)
• PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization [60.00631098364391]
  PromptAgentは、エキスパートレベルのプロンプトを、専門家による手工芸品と同等の品質で作成する最適化手法である。 PromptAgentは人間のような試行錯誤の探索にインスパイアされ、専門家レベルの正確な洞察と詳細な指示を誘導する。 PromptAgentを3つの実践領域にまたがる12のタスクに適用する。
  論文  参考訳（メタデータ） (2023-10-25T07:47:01Z)
• PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
  提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。 我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
  論文  参考訳（メタデータ） (2023-08-23T09:46:37Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。