論文の概要: Multi-LLM QA with Embodied Exploration

• arxiv url: http://arxiv.org/abs/2406.10918v5
• Date: Fri, 18 Oct 2024 12:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:23:37.329080
• Title: Multi-LLM QA with Embodied Exploration
• Title（参考訳）: Embodied Exploration を用いたマルチLLMQA
• Authors: Bhrij Patel, Vishnu Sashank Dorbala, Amrit Singh Bedi, Dinesh Manocha,
• Abstract要約: 未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。 複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
• 参考スコア（独自算出の注目度）: 55.581423861790945
• License:
• Abstract: Large language models (LLMs) have grown in popularity due to their natural language interface and pre trained knowledge, leading to rapidly increasing success in question-answering (QA) tasks. More recently, multi-agent systems with LLM-based agents (Multi-LLM) have been utilized increasingly more for QA. In these scenarios, the models may each answer the question and reach a consensus or each model is specialized to answer different domain questions. However, most prior work dealing with Multi-LLM QA has focused on scenarios where the models are asked in a zero-shot manner or are given information sources to extract the answer. For question answering of an unknown environment, embodied exploration of the environment is first needed to answer the question. This skill is necessary for personalizing embodied AI to environments such as households. There is a lack of insight into whether a Multi-LLM system can handle question-answering based on observations from embodied exploration. In this work, we address this gap by investigating the use of Multi-Embodied LLM Explorers (MELE) for QA in an unknown environment. Multiple LLM-based agents independently explore and then answer queries about a household environment. We analyze different aggregation methods to generate a single, final answer for each query: debating, majority voting, and training a central answer module (CAM). Using CAM, we observe a $46\%$ higher accuracy compared against the other non-learning-based aggregation methods. We provide code and the query dataset for further research.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語インタフェースと事前訓練された知識によって人気が高まり、質問応答(QA)タスクが急速に成功した。 近年,LLMをベースとしたマルチエージェントシステム (Multi-LLM) がQAにますます活用されている。 これらのシナリオでは、モデルはそれぞれ質問に答え、コンセンサスに達するかもしれません。 しかし、Multi-LLM QAを扱う以前の作業は、モデルがゼロショットで質問されたり、回答を抽出するために情報ソースが与えられたりするシナリオに焦点を当てていた。 未知の環境に対する質問応答には,まずその質問に答えるために,環境の具体的探索が必要である。 このスキルは、インボディードAIを家庭などの環境にパーソナライズするために必要である。 具体的探索による観察に基づいて,マルチLLMシステムが質問応答を処理できるかどうかについての知見は乏しい。 本研究では、未知環境におけるQAに対するマルチエンボディードLLMエクスプローラー(MELE)の利用を調査することで、このギャップに対処する。 複数のLCMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 我々は,各問合せに対して1つの最終回答を生成するために,各問合せについて,議論,多数決,中央解答モジュール(CAM)の訓練を行うために,異なる集約手法を分析した。 CAMを用いて,他の非学習型アグリゲーション法と比較して,46 %=高い精度を観察した。 さらなる研究のためにコードとクエリデータセットを提供します。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• S-EQA: Tackling Situational Queries in Embodied Question Answering [48.43453390717167]
  本研究では,家庭環境における状況問合せ(S-EQA)による身体的質問回答の課題を提示し,解決する。 まず, LLMの出力を包み込み, ユニークなコンセンサス・クエリと対応するコンセンサス・オブジェクトのデータセットを作成する, プロンプト・ジェネレート・評価手法を提案する。 本稿では,VQA(Visual Question Answering)において生成したオブジェクトコンセンサスからフレーム化されたクエリを用いて,状況に応じた質問に対して直接回答する際の精度を15.31%改善したことを報告した。
  論文  参考訳（メタデータ） (2024-05-08T00:45:20Z)
• Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering [55.295699268654545]
  本稿では,オープンソースのLarge Language Model間の相乗効果を利用する新しいChain-of-Discussionフレームワークを提案する。 実験の結果,複数のLSM間の議論は回答の質を高める上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T05:31:34Z)
• Large Language Model based Multi-Agents: A Survey of Progress and Challenges [44.92286030322281]
  大規模言語モデル(LLM)は、幅広いタスクで大きな成功を収めています。 近年, 1 つの LLM を単一計画や意思決定エージェントとして利用する手法の開発により, 複雑な問題解決や世界シミュレーションにおいて, LLM ベースのマルチエージェントシステムは大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2024-01-21T23:36:14Z)
• Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models [0.9065034043031668]
  まず,質問応答型クロスアテンションネットワーク(QAN)を提案する。 次に,大規模言語モデル(LLM)を用いて,知識拡張による回答選択を行う。 実験の結果、QANモデルが2つのデータセット、SemEval2015とSemEval 2017の最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-11-29T10:24:50Z)
• Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts [22.669502403623166]
  本稿では,VQAタスクに対する推論質問プロンプトを提案する。 自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。 各推論質問は、元の質問の意図を明確に示す。 そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
  論文  参考訳（メタデータ） (2023-11-15T15:40:46Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)
• Mixture of Experts for Biomedical Question Answering [34.92691831878302]
  そこで我々はMOEBQAと呼ばれるMixture-of-Expert (MoE)ベースの質問応答手法を提案する。 MoEBQAはスパースルーティングによって異なるタイプの質問の計算を分離する。 実検に基づいて構築した3つのバイオメディカル質問応答(BQA)データセットのMOEBQAを評価する。
  論文  参考訳（メタデータ） (2022-04-15T14:11:40Z)
• HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling [50.39787601462344]
  コミュニティ質問回答(Community Question Answering, CQA)は、Eコマースやオンラインユーザコミュニティなど、多くのシナリオで利用することができる、明確に定義されたタスクである。 CQAの手法のほとんどは、知識を抽出し、ユーザの質問に答えるために記事やウィキペディアしか含まない。 ユーザコミュニティに複数の情報ソース(MIS)を組み込んで回答を自動的に生成する問合せ対応の異種グラフ変換器を提案する。
  論文  参考訳（メタデータ） (2021-12-27T10:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。