論文の概要: HAGRID: A Human-LLM Collaborative Dataset for Generative Information-Seeking with Attribution

• arxiv url: http://arxiv.org/abs/2307.16883v1
• Date: Mon, 31 Jul 2023 17:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 13:01:55.989762
• Title: HAGRID: A Human-LLM Collaborative Dataset for Generative Information-Seeking with Attribution
• Title（参考訳）: HAGRID:属性による生成情報探索のための人間-LLM協調データセット
• Authors: Ehsan Kamalloo, Aref Jafari, Xinyu Zhang, Nandan Thakur, Jimmy Lin
• Abstract要約: 本稿では,Human-in-the-loop Attributable Generative Retrieval for Information-seeking dataset(Human-in-the-loop Attributable Generative Retrieval for Information-seeking dataset)を提案する。 ブラックボックスプロプライエタリな検索エンジンに焦点を当てた最近の取り組みとは異なり、私たちはMIRACLの英語サブセットの上にデータセットを構築しました。
• 参考スコア（独自算出の注目度）: 46.41448772928026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of large language models (LLMs) had a transformative impact on search, ushering in a new era of search engines that are capable of generating search results in natural language text, imbued with citations for supporting sources. Building generative information-seeking models demands openly accessible datasets, which currently remain lacking. In this paper, we introduce a new dataset, HAGRID (Human-in-the-loop Attributable Generative Retrieval for Information-seeking Dataset) for building end-to-end generative information-seeking models that are capable of retrieving candidate quotes and generating attributed explanations. Unlike recent efforts that focus on human evaluation of black-box proprietary search engines, we built our dataset atop the English subset of MIRACL, a publicly available information retrieval dataset. HAGRID is constructed based on human and LLM collaboration. We first automatically collect attributed explanations that follow an in-context citation style using an LLM, i.e. GPT-3.5. Next, we ask human annotators to evaluate the LLM explanations based on two criteria: informativeness and attributability. HAGRID serves as a catalyst for the development of information-seeking models with better attribution capabilities.
• Abstract（参考訳）: 大規模言語モデル(英語版)(llms)の台頭は、自然言語テキストで検索結果を生成できる新しい時代の検索エンジンとして、検索エンジンに革命的な影響を与えた。 生成的な情報参照モデルの構築には、オープンアクセス可能なデータセットが必要である。 本稿では,情報検索用Human-in-the-loop Attributable Generative Retrieval(Human-in-the-loop Attributable Generative Retrieval for Information-seeking Dataset)という新たなデータセットを提案する。 ブラックボックスプロプライエタリな検索エンジンの人間による評価に焦点を当てた最近の取り組みとは異なり、我々はMIRACLの英語サブセットの上にデータセットを構築した。 HAGRIDは人間とLLMの協調に基づいて構築される。 まず,LLM,すなわちGPT-3.5を用いて,文脈内引用スタイルに従う属性付き説明を自動的に収集する。 次に,人間のアノテータに,情報性と帰属性という2つの基準に基づいてLCMの説明を評価するよう依頼する。 HAGRIDは、より良い属性能力を持つ情報探索モデルを開発する触媒となる。

関連論文リスト

• Synthetic Data Generation with Large Language Models for Personalized Community Question Answering [47.300506002171275]
  既存のデータセットであるSE-PQAに基づいてSy-SE-PQAを構築します。 以上の結果から,LCMはユーザのニーズに合わせてデータを生成する可能性が高いことが示唆された。 合成データは、たとえ生成されたデータが誤った情報を含むとしても、人書きのトレーニングデータを置き換えることができる。
  論文  参考訳（メタデータ） (2024-10-29T16:19:08Z)
• Beyond Retrieval: Generating Narratives in Conversational Recommender Systems [4.912663905306209]
  本稿では,会話レコメンデーションにおける自然言語生成タスクのための新しいデータセット(REGEN)を提案する。 我々は、よく知られた生成指標を用いてベンチマークを作成し、レーダLEMを用いて新しいデータセットの自動評価を行う。 そして、私たちの知る限りでは、レコメンデーター信号を理解し、リッチな物語を生成することにおけるLLMの能力を分析する最初の試みである。
  論文  参考訳（メタデータ） (2024-10-22T07:53:41Z)
• Leveraging Large Language Models for Web Scraping [0.0]
  本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。 よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
  論文  参考訳（メタデータ） (2024-06-12T14:15:15Z)
• Cocktail: A Comprehensive Information Retrieval Benchmark with LLM-Generated Documents Integration [60.535793237063885]
  LLM(Large Language Models)の普及は、インターネット上のAIGC(AIGC)の流入につながっている。 AIGCの急増が情報検索システムに与える影響は、まだ明らかな疑問である。 我々は、この混合ソースデータランドスケープでIRモデルを評価するのに適したベンチマークであるCocktailを紹介した。
  論文  参考訳（メタデータ） (2024-05-26T12:30:20Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
  大規模言語モデル (LLM) は情報検索のツールとして広く使われている。 我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。 自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:53:49Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。