論文の概要: The Extractive-Abstractive Spectrum: Uncovering Verifiability Trade-offs in LLM Generations

• arxiv url: http://arxiv.org/abs/2411.17375v1
• Date: Tue, 26 Nov 2024 12:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:04.931592
• Title: The Extractive-Abstractive Spectrum: Uncovering Verifiability Trade-offs in LLM Generations
• Title（参考訳）: 抽出抽象スペクトル:LLM生成における可逆性トレードオフの発見
• Authors: Theodora Worledge, Tatsunori Hashimoto, Carlos Guestrin,
• Abstract要約: 情報共有ツールの妥当性と実用性の間の相互作用について検討する。 ユーザは,大規模言語モデルよりも検索エンジンの方が高いクエリを好んでいることがわかった。
• 参考スコア（独自算出の注目度）: 40.498553309980764
• License:
• Abstract: Across all fields of academic study, experts cite their sources when sharing information. While large language models (LLMs) excel at synthesizing information, they do not provide reliable citation to sources, making it difficult to trace and verify the origins of the information they present. In contrast, search engines make sources readily accessible to users and place the burden of synthesizing information on the user. Through a survey, we find that users prefer search engines over LLMs for high-stakes queries, where concerns regarding information provenance outweigh the perceived utility of LLM responses. To examine the interplay between verifiability and utility of information-sharing tools, we introduce the extractive-abstractive spectrum, in which search engines and LLMs are extreme endpoints encapsulating multiple unexplored intermediate operating points. Search engines are extractive because they respond to queries with snippets of sources with links (citations) to the original webpages. LLMs are abstractive because they address queries with answers that synthesize and logically transform relevant information from training and in-context sources without reliable citation. We define five operating points that span the extractive-abstractive spectrum and conduct human evaluations on seven systems across four diverse query distributions that reflect real-world QA settings: web search, language simplification, multi-step reasoning, and medical advice. As outputs become more abstractive, we find that perceived utility improves by as much as 200%, while the proportion of properly cited sentences decreases by as much as 50% and users take up to 3 times as long to verify cited information. Our findings recommend distinct operating points for domain-specific LLM systems and our failure analysis informs approaches to high-utility LLM systems that empower users to verify information.
• Abstract（参考訳）: 学術研究のあらゆる分野において、専門家は情報を共有する際に情報源を引用する。 大規模言語モデル(LLM)は情報合成に優れるが、情報源への信頼できる引用は提供せず、情報の起源を追跡・検証することが困難である。 対照的に、検索エンジンはソースを利用者に容易にアクセスしやすくし、利用者に情報を合成する負担を負わせる。 調査の結果,利用者はLLMよりも検索を好み,情報提供に関する懸念がLLM応答の認知的有用性を上回ることがわかった。 情報共有ツールの妥当性と実用性を両立させるため,複数の未探索中間点を包含する極端終端を検索エンジンとLLMが有する抽出-吸収スペクトルを導入する。 検索エンジンは、元のWebページへのリンク(引用)のあるソースのスニペットでクエリに応答するため、抽出される。 LLMは、信頼できる引用なしに、関連する情報をトレーニングやコンテキスト内のソースから合成し、論理的に変換する応答でクエリに対処するため、抽象的である。 実世界のQA設定を反映した4つの多様なクエリ分布(Web検索,言語単純化,多段階推論,医療アドバイス)の7つのシステムに対して,抽出・吸収スペクトルにまたがる5つの操作点を定義し,人間による評価を行う。 アウトプットが抽象的になると,有効性が最大200%向上し,適切な引用文の割合が最大50%減少し,ユーザが参照情報を確認するのに最大3倍の時間を要することがわかった。 本研究は,ドメイン固有のLCMシステムに対して,異なる動作ポイントを推奨すると共に,ユーザによる情報検証を支援する高ユーティリティLCMシステムへのアプローチを通知する。

関連論文リスト

• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation [6.676337039829463]
  ミス情報ガイド検索抽出パラダイム(MIGRES)を提案する。 欠落した情報の識別を利用して、その後の知識検索を操縦するターゲットクエリを生成する。 複数の公開データセットに対して行われた大規模な実験は、提案したMIGRES法の優位性を明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:56:59Z)
• WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations [34.99831757956635]
  我々は,属性付きクエリ中心要約 (AQFS) のタスクを定式化するとともに,7kの人称注釈の要約を引用した中国語データセットであるWebCiteSを提示する。 これらの課題に対処するために、詳細なメトリクスを開発し、自動評価器が文を細かな検証のためにサブステートに分解できるようにする。
  論文  参考訳（メタデータ） (2024-03-04T07:06:41Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• ReSLLM: Large Language Models are Strong Resource Selectors for Federated Search [35.44746116088232]
  フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。 現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。 ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-31T07:58:54Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
  大規模言語モデル (LLM) は情報検索のツールとして広く使われている。 我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。 自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:53:49Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。