論文の概要: Attributed Question Answering: Evaluation and Modeling for Attributed
Large Language Models
- arxiv url: http://arxiv.org/abs/2212.08037v1
- Date: Thu, 15 Dec 2022 18:45:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 16:41:11.582446
- Title: Attributed Question Answering: Evaluation and Modeling for Attributed
Large Language Models
- Title(参考訳): Atributed Question Answering: Attributed Large Language Modelsの評価とモデリング
- Authors: Bernd Bohnet, Vinh Q. Tran, Pat Verga, Roee Aharoni, Daniel Andor,
Livio Baldini Soares, Jacob Eisenstein, Kuzman Ganchev, Jonathan Herzig, Kai
Hui, Tom Kwiatkowski, Ji Ma, Jianmo Ni, Tal Schuster, William W. Cohen,
Michael Collins, Dipanjan Das, Donald Metzler, Slav Petrov, Kellie Webster
- Abstract要約: 大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。
我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
- 参考スコア(独自算出の注目度): 68.37431984231338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown impressive results across a variety
of tasks while requiring little or no direct supervision. Further, there is
mounting evidence that LLMs may have potential in information-seeking
scenarios. We believe the ability of an LLM to attribute the text that it
generates is likely to be crucial for both system developers and users in this
setting. We propose and study Attributed QA as a key first step in the
development of attributed LLMs. We develop a reproducable evaluation framework
for the task, using human annotations as a gold standard and a correlated
automatic metric that we show is suitable for development settings. We describe
and benchmark a broad set of architectures for the task. Our contributions give
some concrete answers to two key questions (How to measure attribution?, and
How well do current state-of-the-art methods perform on attribution?), and give
some hints as to how to address a third key question (How to build LLMs with
attribution?).
- Abstract(参考訳): 大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。
さらに、LLMが情報検索のシナリオに潜在的な可能性があるという証拠もいくつかある。
LLMが生成するテキストを属性付ける能力は、この設定ではシステム開発者とユーザの両方にとって不可欠であると考えています。
我々は、属性付きLLMの開発における第一歩として、Attributed QAを提案し、研究する。
我々は、人間のアノテーションをゴールドスタンダードとして使用し、開発環境に適した相関した自動指標を用いて再現可能なタスク評価フレームワークを開発する。
我々は、タスクの幅広いアーキテクチャを記述し、ベンチマークする。
私たちのコントリビュートでは、2つの重要な質問(アトリビューションの計測方法?,現在の最先端メソッドがアトリビューションでどのように動作するか?)に対する具体的な回答と,第3の重要な質問への対処方法(アトリビューションでllmを構築する方法)に関するヒントを提供しています。
関連論文リスト
- Harnessing Multi-Role Capabilities of Large Language Models for
Open-Domain Question Answering [40.2758450304531]
オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。
本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。
我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
論文 参考訳(メタデータ) (2024-03-08T11:09:13Z) - Benchmarking Large Language Models on Controllable Generation under
Diversified Instructions [34.89012022437519]
大型言語モデル (LLM) は命令追従能力に優れていた。
様々な命令に関係のある明示的な制約にどの程度対応できるかは、いまだに不明である。
命令に対するLLMの応答を様々な制約で評価する新しいベンチマークであるCoDI-Evalを提案する。
論文 参考訳(メタデータ) (2024-01-01T07:35:31Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:23:08Z) - Table Meets LLM: Can Large Language Models Understand Structured Table
Data? A Benchmark and Empirical Study [47.6239689986714]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
我々は,LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで,これを理解しようとしている。
その結果、テーブル入力形式、コンテンツ順序、ロールプロンプト、パーティションマークなど、いくつかの入力選択によってパフォーマンスが変化していることが判明した。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [84.1784903043884]
Open-Domain Question Answering (ODQA) は、背景文書を明示的に提供せずにファクトイドの質問に答えることを目的としている。
ゼロショット設定では、Retriever-Readersのようなカスタマイズされたモデルをトレーニングするデータがないため、このタスクはより難しい。
本稿では,大規模言語モデルのパラメータに格納された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。