論文の概要: Project Riley: Multimodal Multi-Agent LLM Collaboration with Emotional Reasoning and Voting

• arxiv url: http://arxiv.org/abs/2505.20521v1
• Date: Mon, 26 May 2025 20:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.293264
• Title: Project Riley: Multimodal Multi-Agent LLM Collaboration with Emotional Reasoning and Voting
• Title（参考訳）: Project Riley:マルチモーダルマルチエージェントLDMコラボレーションと感情推論と投票
• Authors: Ana Rita Ortigoso, Gabriel Vieira, Daniel Fuentes, Luis Frazão, Nuno Costa, António Pereira,
• Abstract要約: 本稿では,感情状態に影響された推論のシミュレーションを目的とした,多モード・多モデル対話型AIアーキテクチャであるProject Rileyを提案する。 このシステムは、構造化された多ラウンド対話に携わる5つの異なる感情的エージェントから構成され、反応を生成、批判、反復的に洗練する。 このアーキテクチャには、高度な推論と自己修正プロセスとともに、テキストと視覚的大規模言語モデル(LLM)の両方が組み込まれている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents Project Riley, a novel multimodal and multi-model conversational AI architecture oriented towards the simulation of reasoning influenced by emotional states. Drawing inspiration from Pixar's Inside Out, the system comprises five distinct emotional agents - Joy, Sadness, Fear, Anger, and Disgust - that engage in structured multi-round dialogues to generate, criticise, and iteratively refine responses. A final reasoning mechanism synthesises the contributions of these agents into a coherent output that either reflects the dominant emotion or integrates multiple perspectives. The architecture incorporates both textual and visual large language models (LLMs), alongside advanced reasoning and self-refinement processes. A functional prototype was deployed locally in an offline environment, optimised for emotional expressiveness and computational efficiency. From this initial prototype, another one emerged, called Armando, which was developed for use in emergency contexts, delivering emotionally calibrated and factually accurate information through the integration of Retrieval-Augmented Generation (RAG) and cumulative context tracking. The Project Riley prototype was evaluated through user testing, in which participants interacted with the chatbot and completed a structured questionnaire assessing three dimensions: Emotional Appropriateness, Clarity and Utility, and Naturalness and Human-likeness. The results indicate strong performance in structured scenarios, particularly with respect to emotional alignment and communicative clarity.
• Abstract（参考訳）: 本稿では,感情状態に影響された推論のシミュレーションを目的とした,多モード・多モデル対話型AIアーキテクチャであるProject Rileyを提案する。 PixarのInside Outからインスピレーションを得たこのシステムは、Joy、Sadness、Fear、Anger、Disgustの5つの異なる感情的エージェントで構成され、複数のラウンドの対話を構造化し、批判し、反復的に反応を洗練させる。 最終的な推論メカニズムは、これらのエージェントの貢献を、支配的な感情を反映するか、複数の視点を統合するコヒーレントな出力に合成する。 このアーキテクチャには、高度な推論と自己修正プロセスとともに、テキストと視覚的大規模言語モデル(LLM)の両方が組み込まれている。 関数型プロトタイプはオフライン環境にローカルにデプロイされ、感情表現性と計算効率を最適化した。 この最初のプロトタイプから、Armandoと呼ばれる別のプロトタイプが登場し、緊急時に使用されるように開発され、Retrieval-Augmented Generation (RAG)と累積コンテキストトラッキングを統合して、感情的に校正され、現実的に正確な情報を提供する。 Project Rileyのプロトタイプはユーザテストを通じて評価され、参加者はチャットボットと対話し、感情的適性、明瞭さと実用性、自然性と人間的類似性という3つの側面を評価する構造化されたアンケートを完了した。 結果は,特に情緒的アライメントとコミュニケーション的明瞭さに関して,構造化シナリオの強いパフォーマンスを示す。

関連論文リスト

• AI with Emotions: Exploring Emotional Expressions in Large Language Models [0.0]
  大きな言語モデル(LLM)は、特定の感情状態で質問に答えるエージェントとしてロールプレイを行う。 ラッセルの「サイクムプレックス」モデルは、眠気(覚醒)と快楽(静寂)の軸に沿った感情を特徴づける。 評価の結果, 生成した回答の感情状態は, 仕様と一致していた。
  論文  参考訳（メタデータ） (2025-04-20T18:49:25Z)
• Modelling Emotions in Face-to-Face Setting: The Interplay of Eye-Tracking, Personality, and Temporal Dynamics [1.4645774851707578]
  本研究では、視線追跡データ、時間的ダイナミクス、性格特性を統合することで、知覚と知覚の両方の感情の検出を大幅に向上させる方法について述べる。 本研究は,将来の情緒コンピューティングと人間エージェントシステムの設計を示唆するものである。
  論文  参考訳（メタデータ） (2025-03-18T13:15:32Z)
• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Empathy Through Multimodality in Conversational Interfaces [1.360649555639909]
  会話型健康エージェント(CHA)は、感情的なインテリジェンスを組み込むためにテキスト分析を超越するニュアンスなサポートを提供することで、医療を再定義している。 本稿では、豊かなマルチモーダル対話のためのLCMベースのCHAについて紹介する。 マルチモーダルな手がかりを解析することにより、ユーザの感情状態に順応的に解釈し、応答し、文脈的に認識され、共感的に反響する音声応答を提供する。
  論文  参考訳（メタデータ） (2024-05-08T02:48:29Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• An Appraisal-Based Chain-Of-Emotion Architecture for Affective Language Model Game Agents [0.40964539027092906]
  本研究では,感情的知性課題の解決と感情のシミュレートを目的とした大規模言語モデルの能力について検討する。 心理学的評価研究に基づいて,ゲーム内の感情シミュレーションのための新たな感情連鎖アーキテクチャを提示し,評価する。
  論文  参考訳（メタデータ） (2023-09-10T16:55:49Z)
• Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction [55.47134146639492]
  この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。 実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T06:26:15Z)
• Target Guided Emotion Aware Chat Machine [58.8346820846765]
  意味レベルと感情レベルにおける投稿に対する応答の整合性は、人間のような対話を提供する対話システムにとって不可欠である。 この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-15T01:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。