論文の概要: Exploring and Controlling Diversity in LLM-Agent Conversation

• arxiv url: http://arxiv.org/abs/2412.21102v1
• Date: Mon, 30 Dec 2024 17:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 22:07:02.828491
• Title: Exploring and Controlling Diversity in LLM-Agent Conversation
• Title（参考訳）: LLM-Agent対話における多様性の探索と制御
• Authors: KuanChao Chu, Yi-Pei Chen, Hideki Nakayama,
• Abstract要約: 本稿では,発話生成プロンプトの内容を動的に調整して多様性を制御する新しい手法であるAdaptive Prompt Pruning (APP)を提案する。 APPはモデルやデータセット間のアウトプットの多様性を効果的に制御し、より多くの情報がより多様なアウトプットにつながる。 APPは温度サンプリングやトップpサンプリングといった確立した技術と互換性があり、多様性管理のための汎用的なツールを提供する。
• 参考スコア（独自算出の注目度）: 17.38671584773247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diversity is a critical aspect of multi-agent communication. In this paper, we focus on controlling and exploring diversity in the context of open-domain multi-agent conversations, particularly for world simulation applications. We propose Adaptive Prompt Pruning (APP), a novel method that dynamically adjusts the content of the utterance generation prompt to control diversity using a single parameter, lambda. Through extensive experiments, we show that APP effectively controls the output diversity across models and datasets, with pruning more information leading to more diverse output. We comprehensively analyze the relationship between prompt content and conversational diversity. Our findings reveal that information from all components of the prompt generally constrains the diversity of the output, with the Memory block exerting the most significant influence. APP is compatible with established techniques like temperature sampling and top-p sampling, providing a versatile tool for diversity management. To address the trade-offs of increased diversity, such as inconsistencies with omitted information, we incorporate a post-generation correction step, which effectively balances diversity enhancement with output consistency. Additionally, we examine how prompt structure, including component order and length, impacts diversity. This study addresses key questions surrounding diversity in multi-agent world simulation, offering insights into its control, influencing factors, and associated trade-offs. Our contributions lay the foundation for systematically engineering diversity in LLM-based multi-agent collaborations, advancing their effectiveness in real-world applications.
• Abstract（参考訳）: 多様性はマルチエージェント通信における重要な側面である。 本稿では,オープンドメイン多エージェント会話の文脈における多様性の制御と探索に焦点を当て,特に世界シミュレーションへの応用について述べる。 本稿では,単一パラメータのラムダを用いて発話生成プロンプトの内容を動的に調整し,多様性を制御する新しい手法であるAdaptive Prompt Pruning(APP)を提案する。 広範な実験を通して、APPはモデルとデータセット間の出力の多様性を効果的に制御し、より多くの情報がより多様な出力につながることを示す。 我々は,素早い内容と会話の多様性の関係を包括的に分析する。 以上の結果から,プロンプトのすべてのコンポーネントから得られる情報は,一般に出力の多様性を制限し,メモリブロックが最も重要な影響を及ぼしていることが明らかとなった。 APPは温度サンプリングやトップpサンプリングといった確立した技術と互換性があり、多様性管理のための汎用的なツールを提供する。 省略情報との整合性などの多様性向上のトレードオフに対処するため,多様性向上と出力整合性のバランスをとるポストジェネレーション補正ステップを取り入れた。 さらに,コンポーネントの順序や長さなどの素早い構造が多様性にどのように影響するかを検討する。 本研究は多エージェント世界シミュレーションにおける多様性に関する重要な問題に対処し、その制御、影響要因、関連するトレードオフに関する洞察を提供する。 我々のコントリビューションは、LLMベースのマルチエージェントコラボレーションにおいて、体系的なエンジニアリングの多様性の基礎を築き、現実のアプリケーションにおけるそれらの効果を前進させました。

関連論文リスト

• Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
  品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。 嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。 これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-04-16T23:02:23Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Multi-trait User Simulation with Adaptive Decoding for Conversational Task Assistants [11.092533523906834]
  本稿では,デコード時に多様なユーザプロファイルを生成する手法であるMulti-Trait Adaptive Decoding (mTAD)を提案する。 Conversational Task Assistantドメインから現実世界の対話を解析することにより、重要な対話特性を識別する。 我々は、会話の多様性を高めるプロファイル認識対話を生成するフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-16T09:40:34Z)
• GANPrompt: Enhancing Robustness in LLM-Based Recommendations with GAN-Enhanced Diversity Prompts [15.920623515602038]
  大規模言語モデル(LLM)は、素早い単語の影響を受けやすい。 本稿では,GAN(Generative Adversarial Networks)に基づく多次元LCMの多様性フレームワークであるGANPromptを提案する。 このフレームワークは,GAN生成技術とLLMの深い意味理解機能を統合することにより,多様なプロンプトに対するモデルの適応性と安定性を向上させる。
  論文  参考訳（メタデータ） (2024-08-19T03:13:20Z)
• Very Large-Scale Multi-Agent Simulation in AgentScope [112.98986800070581]
  我々は,ユーザフレンドリーなマルチエージェントプラットフォームであるAgentScopeの新機能とコンポーネントを開発した。 高いスケーラビリティと高効率を実現するために,アクタをベースとした分散機構を提案する。 また、多数のエージェントを便利に監視し、管理するためのWebベースのインターフェースも提供します。
  論文  参考訳（メタデータ） (2024-07-25T05:50:46Z)
• Enhancing LLM-Based Human-Robot Interaction with Nuances for Diversity Awareness [0.0]
  本稿では,大規模言語モデル(LLM)の機能を活用した多様性を考慮した自律会話システムを提案する。 このシステムは、背景、性格、年齢、性別、文化といった要因を考慮して、多様な人口や個人に適応する。 システムの性能を評価するため,制御と実環境の両方の実験を行い,幅広い性能指標を測定した。
  論文  参考訳（メタデータ） (2024-06-25T13:15:36Z)
• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Representation Online Matters: Practical End-to-End Diversification in Search and Recommender Systems [8.296711988456762]
  本稿では,検索結果とレコメンデーションの表現を改善するために,エンドツーエンドの多様化を導入する。 Pinterestプラットフォーム上でスケーラブルな多様化メカニズムを開発し、実験し、展開します。 当社のアプローチは,ユーティリティメトリクスに対する肯定的な影響とユーザ満足度の向上を伴って,多様性指標を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-05-24T19:43:26Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• High-Quality Diversification for Task-Oriented Dialogue Systems [18.455916009255485]
  多様な対話路を持つDRLエージェントの訓練は、稀なユーザ要求や目に見えない状況に備える。 1つの効果的な多様化方法は、エージェントが多様な学習されたユーザーモデルと対話できるようにすることである。 シミュレータで訓練されたタスク指向対話システムのための新しい対話多様化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T02:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。