論文の概要: Momentum Posterior Regularization for Multi-hop Dense Retrieval

• arxiv url: http://arxiv.org/abs/2502.20399v1
• Date: Tue, 17 Dec 2024 05:27:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 14:42:42.887272
• Title: Momentum Posterior Regularization for Multi-hop Dense Retrieval
• Title（参考訳）: マルチホップ高密度検索のためのモーメントム後正則化
• Authors: Zehua Xia, Yuyang Wu, Yiyun Xia, Cam-Tu Nguyen,
• Abstract要約: 1つのホップの後の情報は、前と現在のホップの黄金の知識からクエリ焦点の要約として定義される。 本研究では,運動量移動平均法による事前検索とともに後続検索を更新する効果的なトレーニング戦略を開発する。 HotpotQAとStrategyQAの実験は、MoPoが検索と下流の両方のQAタスクで既存のベースラインを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 3.600908318492077
• License:
• Abstract: Multi-hop question answering (QA) often requires sequential retrieval (multi-hop retrieval), where each hop retrieves missing knowledge based on information from previous hops. To facilitate more effective retrieval, we aim to distill knowledge from a posterior retrieval, which has access to posterior information like an answer, into a prior retrieval used during inference when such information is unavailable. Unfortunately, current methods for knowledge distillation in one-time retrieval are ineffective for multi-hop QA due to two issues: 1) Posterior information is often defined as the response (i.e. the answer), which may not clearly connect to the query without intermediate retrieval; and 2) The large knowledge gap between prior and posterior retrievals makes existing distillation methods unstable, even resulting in performance loss. As such, we propose MoPo (Momentum Posterior Regularization) with two key innovations: 1) Posterior information of one hop is defined as a query-focus summary from the golden knowledge of the previous and current hops; 2) We develop an effective training strategy where the posterior retrieval is updated along with the prior retrieval via momentum moving average method, allowing smoother and effective distillation. Experiments on HotpotQA and StrategyQA demonstrate that MoPo outperforms existing baselines in both retrieval and downstream QA tasks.
• Abstract（参考訳）: マルチホップ質問応答 (Multi-hop question answering, QA) は、しばしばシーケンシャルな検索(マルチホップ検索)を必要とする。 より効果的な検索を容易にするため,回答のような後続情報にアクセス可能な後続検索から知識を抽出し,そのような情報が入手できない場合に使用する事前検索に活用することを目的とする。 残念なことに、1回検索における知識蒸留の現在の方法は2つの問題によりマルチホップQAには効果がない。 1) 後続情報は、しばしば応答(すなわち、回答)として定義され、中間検索なしではクエリに明確に接続できない。 2) 先行回収と後処理の知識ギャップが大きいため, 既存の蒸留法は不安定であり, 性能損失も生じる。 そこで我々は,2つの重要なイノベーションを持つMoPo(Momentum Posterior Regularization)を提案する。 1) ホップの後方情報は,前及び現在のホップの黄金知識からの照会焦点要約として定義される。 2) モーメント移動平均法により, 先行検索とともに後方検索を更新し, よりスムーズかつ効果的な蒸留を可能にする効果的なトレーニング戦略を開発する。 HotpotQAとStrategyQAの実験は、MoPoが検索と下流の両方のQAタスクで既存のベースラインを上回っていることを示している。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach [6.549143816134531]
  二重機能要約器を備えたReSPと呼ばれる新しい反復RAG法を提案する。 マルチホップ質問応答HotpotQAと2WikiMultihopQAの実験結果から,本手法が最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-18T02:19:00Z)
• End-to-End Beam Retrieval for Multi-Hop Question Answering [37.13580394608824]
  マルチホップ質問応答は、複数の関連するパスを見つけ出し、複雑な質問に答えるためにステップバイステップの推論を行う。 以前のレトリバーは2ホップの質問のためにカスタマイズされ、そのほとんどは異なるホップで個別に訓練された。 マルチホップQAのためのエンドツーエンドのビーム検索フレームワークであるビーム検索について紹介する。
  論文  参考訳（メタデータ） (2023-08-17T13:24:14Z)
• Performance Prediction for Multi-hop Questions [7.388002745070808]
  オープンドメイン型マルチホップ質問の性能を予測するための検索前手法であるmultHPを提案する。 評価の結果,提案モデルが従来のシングルホップQPPモデルよりも優れた性能を示すことが示唆された。
  論文  参考訳（メタデータ） (2023-08-12T01:34:41Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
  クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。 アドホック検索におけるQPPの有効性と有用性について検討した。 その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
  論文  参考訳（メタデータ） (2023-05-18T12:37:01Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Adaptive Information Seeking for Open-Domain Question Answering [61.39330982757494]
  本稿では,オープンドメイン質問応答,すなわちAISOに対する適応型情報探索手法を提案する。 学習方針によると、AISOは適切な検索行動を選択し、各ステップで行方不明の証拠を探すことができる。 AISOは、検索と回答の評価の両方の観点から、事前定義された戦略で全てのベースライン手法を上回ります。
  論文  参考訳（メタデータ） (2021-09-14T15:08:13Z)
• Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering [32.69969157825044]
  本稿では,段落を逐次データとしてモデル化し,マルチホップ情報検索をシーケンスラベリングタスクの一種とみなす新しいアーキテクチャを提案する。 本手法は,公開テキストマルチホップQAデータセットであるHotpotQAのフルwikiとイントラクタサブタスクの両方で評価する。
  論文  参考訳（メタデータ） (2021-02-07T08:15:51Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。