論文の概要: Exploring and Controlling Diversity in LLM-Agent Conversation

• arxiv url: http://arxiv.org/abs/2412.21102v1
• Date: Mon, 30 Dec 2024 17:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:25.049498
• Title: Exploring and Controlling Diversity in LLM-Agent Conversation
• Title（参考訳）: LLM-Agent対話における多様性の探索と制御
• Authors: KuanChao Chu, Yi-Pei Chen, Hideki Nakayama,
• Abstract要約: 本稿では,発話生成プロンプトの内容を動的に調整して多様性を制御する新しい手法であるAdaptive Prompt Pruning (APP)を提案する。 APPはモデルやデータセット間のアウトプットの多様性を効果的に制御し、より多くの情報がより多様なアウトプットにつながる。 APPは温度サンプリングやトップpサンプリングといった確立した技術と互換性があり、多様性管理のための汎用的なツールを提供する。
• 参考スコア（独自算出の注目度）: 17.38671584773247
• License:
• Abstract: Diversity is a critical aspect of multi-agent communication. In this paper, we focus on controlling and exploring diversity in the context of open-domain multi-agent conversations, particularly for world simulation applications. We propose Adaptive Prompt Pruning (APP), a novel method that dynamically adjusts the content of the utterance generation prompt to control diversity using a single parameter, lambda. Through extensive experiments, we show that APP effectively controls the output diversity across models and datasets, with pruning more information leading to more diverse output. We comprehensively analyze the relationship between prompt content and conversational diversity. Our findings reveal that information from all components of the prompt generally constrains the diversity of the output, with the Memory block exerting the most significant influence. APP is compatible with established techniques like temperature sampling and top-p sampling, providing a versatile tool for diversity management. To address the trade-offs of increased diversity, such as inconsistencies with omitted information, we incorporate a post-generation correction step, which effectively balances diversity enhancement with output consistency. Additionally, we examine how prompt structure, including component order and length, impacts diversity. This study addresses key questions surrounding diversity in multi-agent world simulation, offering insights into its control, influencing factors, and associated trade-offs. Our contributions lay the foundation for systematically engineering diversity in LLM-based multi-agent collaborations, advancing their effectiveness in real-world applications.
• Abstract（参考訳）: 多様性はマルチエージェント通信における重要な側面である。 本稿では,オープンドメイン多エージェント会話の文脈における多様性の制御と探索に焦点を当て,特に世界シミュレーションへの応用について述べる。 本稿では,単一パラメータのラムダを用いて発話生成プロンプトの内容を動的に調整し,多様性を制御する新しい手法であるAdaptive Prompt Pruning(APP)を提案する。 広範な実験を通して、APPはモデルとデータセット間の出力の多様性を効果的に制御し、より多くの情報がより多様な出力につながることを示す。 我々は,素早い内容と会話の多様性の関係を包括的に分析する。 以上の結果から,プロンプトのすべてのコンポーネントから得られる情報は,一般に出力の多様性を制限し,メモリブロックが最も重要な影響を及ぼしていることが明らかとなった。 APPは温度サンプリングやトップpサンプリングといった確立した技術と互換性があり、多様性管理のための汎用的なツールを提供する。 省略情報との整合性などの多様性向上のトレードオフに対処するため,多様性向上と出力整合性のバランスをとるポストジェネレーション補正ステップを取り入れた。 さらに,コンポーネントの順序や長さなどの素早い構造が多様性にどのように影響するかを検討する。 本研究は多エージェント世界シミュレーションにおける多様性に関する重要な問題に対処し、その制御、影響要因、関連するトレードオフに関する洞察を提供する。 我々のコントリビューションは、LLMベースのマルチエージェントコラボレーションにおいて、体系的なエンジニアリングの多様性の基礎を築き、現実のアプリケーションにおけるそれらの効果を前進させました。

関連論文リスト

• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Enhancing LLM-Based Human-Robot Interaction with Nuances for Diversity Awareness [0.0]
  本稿では,大規模言語モデル(LLM)の機能を活用した多様性を考慮した自律会話システムを提案する。 このシステムは、背景、性格、年齢、性別、文化といった要因を考慮して、多様な人口や個人に適応する。 システムの性能を評価するため,制御と実環境の両方の実験を行い,幅広い性能指標を測定した。
  論文  参考訳（メタデータ） (2024-06-25T13:15:36Z)
• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Towards Multi-Objective High-Dimensional Feature Selection via Evolutionary Multitasking [63.91518180604101]
  本稿では,高次元特徴選択問題,すなわちMO-FSEMTのための新しいEMTフレームワークを開発する。 タスク固有の知識伝達機構は、各タスクの利点情報を活用するように設計され、高品質なソリューションの発見と効果的な伝達を可能にする。
  論文  参考訳（メタデータ） (2024-01-03T06:34:39Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Representation Online Matters: Practical End-to-End Diversification in Search and Recommender Systems [8.296711988456762]
  本稿では,検索結果とレコメンデーションの表現を改善するために,エンドツーエンドの多様化を導入する。 Pinterestプラットフォーム上でスケーラブルな多様化メカニズムを開発し、実験し、展開します。 当社のアプローチは,ユーティリティメトリクスに対する肯定的な影響とユーザ満足度の向上を伴って,多様性指標を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-05-24T19:43:26Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。