論文の概要: cTBLS: Augmenting Large Language Models with Conversational Tables
- arxiv url: http://arxiv.org/abs/2303.12024v3
- Date: Wed, 31 May 2023 00:44:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 23:15:52.133065
- Title: cTBLS: Augmenting Large Language Models with Conversational Tables
- Title(参考訳): cTBLS:会話テーブルによる大規模言語モデルの拡張
- Authors: Anirudh S Sundar, Larry Heck
- Abstract要約: 会話表(英語: Conversational Tables、cTBLS)は、検索した表情報に基づいて対話応答を検索して生成する3段階アーキテクチャである。
人間の評価者は、cTBLs+80%の時間(コヒーレンシー、流派)を好んでおり、以前の最先端よりも4倍良いと判断する。
- 参考スコア(独自算出の注目度): 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing accuracy and performance while eliminating hallucinations of
open-domain conversational large language models (LLMs) is an open research
challenge. A particularly promising direction is to augment and ground LLMs
with information from structured sources. This paper introduces Conversational
Tables (cTBLS), a three-step architecture to retrieve and generate dialogue
responses grounded on retrieved tabular information. cTBLS uses Transformer
encoder embeddings for Dense Table Retrieval and obtains up to 125% relative
improvement over the retriever in the previous state-of-the-art system on the
HyrbiDialogue dataset. cTBLS then uses a shared process between encoder and
decoder models to perform a coarse+fine tabular knowledge (e.g., cell) ranking
combined with a GPT-3.5 LLM response generator to yield a 2x relative
improvement in ROUGE scores. Finally, human evaluators prefer cTBLs +80% of the
time (coherency, fluency) and judge informativeness to be 4x better than the
previous state-of-the-art.
- Abstract(参考訳): オープンドメイン会話型大言語モデル(llms)の幻覚を排除しつつ、正確性とパフォーマンスを最適化することは、オープンリサーチの課題である。
特に有望な方向は、構造化されたソースからの情報でLLMを増強および接地することである。
本稿では,検索した表情報に基づいて対話応答を検索・生成する3段階アーキテクチャである会話表(cTBLS)を提案する。
cTBLSは、Dense Table RetrievalにTransformerエンコーダの埋め込みを使用しており、HirbiDialogueデータセットの以前の最先端システムで、レトリバーよりも最大125%改善されている。
cTBLSは、エンコーダとデコーダモデル間の共有プロセスを使用して、粗い+細い表の知識(例えばセル)とGPT-3.5 LLM応答生成器を組み合わせてROUGEスコアを2倍改善する。
最後に、人間の評価者は、cTBLs+80%の時間(コヒーレンシー、流派)を好み、以前の最先端よりも4倍良いと判断する。
関連論文リスト
- CURATRON: Complete Robust Preference Data for Robust Alignment of Large
Language Models [1.7849982327883962]
本稿では,大規模言語モデル(LLM)と人間の価値観を協調させる上での課題について,嗜好学習(PL)を用いて検討する。
そこで本研究では,これらのデータセット内での値の頑健かつ完全再検討を行う新しい手法を提案する。
我々のアルゴリズムは、一般と選好の両方のデータセット設定において、逆ノイズと観測されていない比較をうまく処理する。
論文 参考訳(メタデータ) (2024-03-05T07:58:12Z) - Ask Optimal Questions: Aligning Large Language Models with Retriever's
Preference in Conversational Search [25.16282868262589]
RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。
我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。
このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳(メタデータ) (2024-02-19T04:41:31Z) - Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge
Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。
従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。
本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文 参考訳(メタデータ) (2023-08-30T02:22:40Z) - Multilingual Controllable Transformer-Based Lexical Simplification [4.718531520078843]
本稿では,制御可能なトランスフォーマーを用いたLexical Simplification(LS)システムであるmTLSを提案する。
この研究の新規性は、複雑な単語のより単純な代替法を学ぶために、事前訓練されたマスキング言語モデルから抽出された言語固有の接頭辞、制御トークン、および候補を使用することにある。
論文 参考訳(メタデータ) (2023-07-05T08:48:19Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z) - Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。
query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。
また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文 参考訳(メタデータ) (2023-03-14T07:27:30Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳(メタデータ) (2022-10-28T02:57:40Z) - Leveraging Advantages of Interactive and Non-Interactive Models for
Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。
非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。
本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
論文 参考訳(メタデータ) (2021-11-03T03:03:19Z) - Contextual Fine-to-Coarse Distillation for Coarse-grained Response
Selection in Open-Domain Conversations [48.046725390986595]
オープンドメイン会話における粗粒度応答選択のための文脈ファイン・ツー・コアス(CFC)蒸留モデルを提案する。
提案モデルの性能を評価するため,RedditコメントダンプとTwitterコーパスに基づく2つの新しいデータセットを構築した。
論文 参考訳(メタデータ) (2021-09-24T08:22:35Z) - SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。
我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。
全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文 参考訳(メタデータ) (2021-09-21T10:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。