論文の概要: The First Place Solution of WSDM Cup 2024: Leveraging Large Language Models for Conversational Multi-Doc QA

• arxiv url: http://arxiv.org/abs/2402.18385v1
• Date: Wed, 28 Feb 2024 15:05:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 14:34:44.665185
• Title: The First Place Solution of WSDM Cup 2024: Leveraging Large Language Models for Conversational Multi-Doc QA
• Title（参考訳）: WSDM Cup 2024: 対話型マルチドキュメントQAのための大規模言語モデルの活用
• Authors: Yiming Li and Zhao Zhang
• Abstract要約: 我々は、WSDMカップ2024における「会話型マルチドキュメントQA」の挑戦に対する勝利のアプローチを紹介します。 まず、タスクにLarge Language Modelsを適応させ、次に、ドメイン内のラベルなしデータを最大限活用するためのハイブリッドトレーニング戦略を考案します。 われわれのソリューションは、WSDMカップ2024で1位にランクインし、ライバルをはるかに上回った。
• 参考スコア（独自算出の注目度）: 15.405052113769164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational multi-doc question answering aims to answer specific questions based on the retrieved documents as well as the contextual conversations. In this paper, we introduce our winning approach for the "Conversational Multi-Doc QA" challenge in WSDM Cup 2024, which exploits the superior natural language understanding and generation capability of Large Language Models (LLMs). We first adapt LLMs to the task, then devise a hybrid training strategy to make the most of in-domain unlabeled data. Moreover, an advanced text embedding model is adopted to filter out potentially irrelevant documents and several approaches are designed and compared for the model ensemble. Equipped with all these techniques, our solution finally ranked 1st place in WSDM Cup 2024, surpassing its rivals to a large extent. The source codes have been released at https://github.com/zhangzhao219/WSDM-Cup-2024.
• Abstract（参考訳）: 対話型マルチドック質問応答は、検索した文書と文脈会話に基づいて、特定の質問に答えることを目的としている。 本稿では,Large Language Models (LLMs) の優れた自然言語理解と生成能力を活用する WSDM Cup 2024 における "Conversational Multi-Doc QA" チャレンジに対する勝利のアプローチを紹介する。 まず LLM をタスクに適用し、次に、ドメイン内のラベルなしデータを最大限活用するためのハイブリッドトレーニング戦略を考案する。 さらに、潜在的に無関係な文書をフィルタリングするために高度なテキスト埋め込みモデルを採用し、モデルアンサンブルに対していくつかのアプローチを設計・比較する。 これらのテクニックをすべて取り入れた私たちのソリューションは、最終的にWSDMカップ2024で1位となり、ライバルをはるかに上回った。 ソースコードはhttps://github.com/zhangzhao219/WSDM-Cup-2024で公開された。

関連論文リスト

• Role-Play Zero-Shot Prompting with Large Language Models for Open-Domain Human-Machine Conversation [1.7436854281619139]
  大きな言語モデル(LLM)は、ユーザクエリに応答できるが、真の会話ではなく、一方的なQ&A形式である。 特定のデータセットの微調整は、会話能力を高めるためにスタイルを変更する一般的な方法だが、これは高価であり、通常はいくつかの言語でのみ利用可能である。 本研究では、オープンドメイン会話の効率的かつ費用対効果の高いソリューションとして、ロールプレイゼロショットプロンプトについて検討する。
  論文  参考訳（メタデータ） (2024-06-26T16:10:53Z)
• Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers [2.3020018305241337]
  この研究は、13の歴史的言語に対するPoSタグ、形態的タグ付け、および補題化に焦点を当てている。 我々は、Sunなど(2023年)の階層的トークン化手法を適用し、DeBERTa-V3アーキテクチャの利点と組み合わせる。 私たちのモデルは制約付きサブタスクで1位を獲得し、制約のないタスクの勝者のパフォーマンスレベルにほぼ到達しました。
  論文  参考訳（メタデータ） (2024-05-30T15:23:34Z)
• Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model [22.07414287186125]
  Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。 生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
  論文  参考訳（メタデータ） (2024-05-30T08:50:55Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models [69.59125732317972]
  本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。 R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。 質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
  論文  参考訳（メタデータ） (2023-06-15T20:56:20Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• MGDoc: Pre-training with Multi-granular Hierarchy for Document Image Understanding [53.03978356918377]
  異なるレベルの粒度のコンテンツ間の空間的階層的関係は、文書画像理解タスクに不可欠である。 既存の方法は単語レベルか地域レベルから特徴を学習するが、両方を同時に考えることができない。 MGDocは,ページレベル,領域レベル,単語レベル情報を同時にエンコードするマルチモーダル・マルチグラニュラ事前学習フレームワークである。
  論文  参考訳（メタデータ） (2022-11-27T22:47:37Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• IITD-DBAI: Multi-Stage Retrieval with Pseudo-Relevance Feedback and Query Reformulation [0.0]
  コンテキスト依存を解決することは、会話システムにおいて最も難しいタスクの1つです。 我々の提案は、中央値モデルよりも平均的なNDCG@3パフォーマンスを実現した。
  論文  参考訳（メタデータ） (2022-03-31T14:07:47Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。