論文の概要: CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval

• arxiv url: http://arxiv.org/abs/2405.15784v1
• Date: Sun, 28 Apr 2024 18:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-02 14:39:48.907411
• Title: CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval
• Title（参考訳）: CLARINET: 検索のために言語モデルを拡張して質問する
• Authors: Yizhou Chi, Jessy Lin, Kevin Lin, Dan Klein,
• Abstract要約: CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
• 参考スコア（独自算出の注目度）: 52.134133938779776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Users often make ambiguous requests that require clarification. We study the problem of asking clarification questions in an information retrieval setting, where systems often face ambiguous search queries and it is challenging to turn the uncertainty in the retrieval model into a natural language question. We present CLARINET, a system that asks informative clarification questions by choosing questions whose answers would maximize certainty in the correct candidate. Our approach works by augmenting a large language model (LLM) to condition on a retrieval distribution, finetuning end-to-end to generate the question that would have maximized the rank of the true candidate at each turn. When evaluated on a real-world retrieval dataset of users searching for books, our system outperforms traditional heuristics such as information gain on retrieval success by 17% and vanilla-prompted LLMs by 39% relative.
• Abstract（参考訳）: ユーザは明確化を必要とするあいまいな要求をすることが多い。 情報検索環境では,システムがあいまいな検索クエリに直面する場合が多く,検索モデルの不確かさを自然言語の質問に変換することは困難である。 CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。 本システムでは,本を検索するユーザの実世界の検索データセットを評価したところ,検索成功に関する情報獲得率を17%,バニラプロンプトLLMを39%,従来のヒューリスティックよりも優れていた。

関連論文リスト

• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• Redefining Information Retrieval of Structured Database via Large Language Models [10.117751707641416]
  本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。 主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。 実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
  論文  参考訳（メタデータ） (2024-05-09T02:37:53Z)
• Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search [89.1772985740272]
  混合開始型会話検索システムでは、質問を明確にすることで、意図を単一のクエリで表現するのに苦労するユーザを支援する。 マルチモーダル情報が関係するシナリオでは、非テクスチャ情報を用いることで、明確化のプロセスを改善することができると仮定する。 質問を明確にする4k以上のマルチモーダルを含むMelonというデータセットを収集し、14k以上の画像で濃縮する。 クエリの明確化フェーズにおけるマルチモーダルコンテンツの重要性を理解するために,いくつかの解析を行った。
  論文  参考訳（メタデータ） (2024-02-12T16:04:01Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Zero-shot Clarifying Question Generation for Conversational Search [25.514678546942754]
  本稿では,質問テンプレートとクエリファセットの両方を用いて,効果的かつ正確な質問生成を導く制約付き質問生成システムを提案する。 実験の結果,提案手法は既存のゼロショットベースラインよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2023-01-30T04:43:02Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Question Answering Survey: Directions, Challenges, Datasets, Evaluation Matrices [0.0]
  QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。 これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
  論文  参考訳（メタデータ） (2021-12-07T08:53:40Z)
• A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge [8.656503175492375]
  本稿では,検索指向会話型AI (SCAI) EMNLPワークショップにおけるClariQチャレンジへのNetEase Game AI Labチームの参加について述べる。 この課題は、解明された質問を理解し、生成できる完全な会話情報検索システムを求めるものである。 本稿では,回答理解,質問のリコール,質問ランキングの明確化からなる質問選択システムを提案する。
  論文  参考訳（メタデータ） (2020-10-27T11:22:53Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。