論文の概要: An Entailment Tree Generation Approach for Multimodal Multi-Hop Question Answering with Mixture-of-Experts and Iterative Feedback Mechanism

• arxiv url: http://arxiv.org/abs/2412.05821v1
• Date: Sun, 08 Dec 2024 05:47:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:21.020273
• Title: An Entailment Tree Generation Approach for Multimodal Multi-Hop Question Answering with Mixture-of-Experts and Iterative Feedback Mechanism
• Title（参考訳）: エクササイズと反復フィードバック機構を組み合わせたマルチモーダルマルチホップ質問応答のための細部木生成手法
• Authors: Qing Zhang, Haocheng Lv, Jie Liu, Zhiyun Chen, Jianyong Duan, Hao Wang, Li He, Mingying Xv,
• Abstract要約: マルチモーダルなマルチホップ質問応答の現在の手法は、主に2つの課題に直面している。 大量の冗長な情報を含む検索された証拠は、性能を著しく低下させる。 解釈可能な推論ステップのない推論プロセスは、複雑な問題を扱うための論理的誤りを発見するのを難しくする。
• 参考スコア（独自算出の注目度）: 14.479060028732803
• License:
• Abstract: With the rise of large-scale language models (LLMs), it is currently popular and effective to convert multimodal information into text descriptions for multimodal multi-hop question answering. However, we argue that the current methods of multi-modal multi-hop question answering still mainly face two challenges: 1) The retrieved evidence containing a large amount of redundant information, inevitably leads to a significant drop in performance due to irrelevant information misleading the prediction. 2) The reasoning process without interpretable reasoning steps makes the model difficult to discover the logical errors for handling complex questions. To solve these problems, we propose a unified LLMs-based approach but without heavily relying on them due to the LLM's potential errors, and innovatively treat multimodal multi-hop question answering as a joint entailment tree generation and question answering problem. Specifically, we design a multi-task learning framework with a focus on facilitating common knowledge sharing across interpretability and prediction tasks while preventing task-specific errors from interfering with each other via mixture of experts. Afterward, we design an iterative feedback mechanism to further enhance both tasks by feeding back the results of the joint training to the LLM for regenerating entailment trees, aiming to iteratively refine the potential answer. Notably, our method has won the first place in the official leaderboard of WebQA (since April 10, 2024), and achieves competitive results on MultimodalQA.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の台頭に伴い, マルチモーダルな情報を多モーダルな質問応答のためのテキスト記述に変換する手法が普及し, 有効である。 しかし、マルチモーダルなマルチホップ質問応答の現在の方法は、主に2つの課題に直面している。 1)大量の冗長情報を含む検索された証拠は、必然的に、その予測を誤解させる不適切な情報により、性能が著しく低下する。 2)解釈可能な推論ステップのない推論プロセスは,複雑な問題に対する論理的誤りの発見を困難にしている。 これらの問題を解決するために,LLM の潜在的な誤りを考慮せず,統一 LLM ベースのアプローチを提案するとともに,マルチモーダルなマルチホップ質問応答を連関木生成と質問応答問題として,革新的に扱う。 具体的には、タスク固有のエラーを専門家の混在を通じて相互に干渉しないようにしながら、解釈可能性や予測タスク間の共通知識共有を容易にすることに焦点を当てたマルチタスク学習フレームワークを設計する。 その後,両作業の強化を目的とした反復的フィードバック機構を設計し,共同トレーニングの結果をLLMにフィードバックし,潜在的回答を反復的に洗練することを目的とした。 特に,WebQAの公式リーダーボード(2024年4月10日以降)で優勝し,MultimodalQAの競争結果を得た。

関連論文リスト

• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering [29.442468366125986]
  本研究では,知識集約型マルチホップQAの推論フレームワークであるBeamAggRを提案する。 複雑な質問を木に解析し、これには原子や複合的な質問が含まれる。 原子的問題に対して、LLMは答え候補を得るためにマルチソースの知識を推論する。 複合的な問題に対して、LLMはビーム候補を結合し、確率的集約を通じて複数の推論経路を探索し、最も有望な軌道を優先する。
  論文  参考訳（メタデータ） (2024-06-28T10:53:48Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• PokeMQA: Programmable knowledge editing for Multi-hop Question Answering [46.80110170981976]
  マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。 マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。 具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
  論文  参考訳（メタデータ） (2023-12-23T08:32:13Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• Memory Injections: Correcting Multi-Hop Reasoning Failures during Inference in Transformer-Based Language Models [4.343604069244352]
  そこで本研究では,アテンションヘッドにターゲットメモリを注入することで,マルチホップ推論失敗をピンポイントし,修正する手法を提案する。 キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:39:30Z)
• Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
  MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。 本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。 学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
  論文  参考訳（メタデータ） (2022-12-19T14:48:08Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Semantic Sentence Composition Reasoning for Multi-Hop Question Answering [1.773120658816994]
  マルチホップ質問応答タスクに対する意味文合成推論手法を提案する。 事実文と多段階意味検索の組み合わせにより,本手法はモデル学習や推論において,より包括的な文脈情報を提供することができる。 実験の結果,既存の学習済み言語モデルを組み込んで,QASCタスクにおける既存のSOTA法を約9%向上させることができた。
  論文  参考訳（メタデータ） (2022-03-01T00:35:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。