論文の概要: dIR -- Discrete Information Retrieval: Conversational Search over Unstructured (and Structured) Data with Large Language Models

• arxiv url: http://arxiv.org/abs/2312.13264v1
• Date: Wed, 20 Dec 2023 18:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 14:29:15.565307
• Title: dIR -- Discrete Information Retrieval: Conversational Search over Unstructured (and Structured) Data with Large Language Models
• Title（参考訳）: dIR -- 離散情報検索: 大規模言語モデルを用いた非構造化(および構造化)データの会話検索
• Authors: Pablo M. Rodriguez Bertorello and Jean Rodmond Junior Laguerre (Computer Science Department, Stanford University)
• Abstract要約: 本稿では,自由テキストと構造化知識の両方を問う統一インターフェースとして,dIR,disrete Information Retrievalを提案する。 我々は、独自の質問/回答データセットを用いて、我々のアプローチを検証し、dIRがフリーテキスト上で全く新しいクエリーのクラスを作成できると結論付けた。
• 参考スコア（独自算出の注目度）: 0.16060477887377675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data is stored in both structured and unstructured form. Querying both, to power natural language conversations, is a challenge. This paper introduces dIR, Discrete Information Retrieval, providing a unified interface to query both free text and structured knowledge. Specifically, a Large Language Model (LLM) transforms text into expressive representation. After the text is extracted into columnar form, it can then be queried via a text-to-SQL Semantic Parser, with an LLM converting natural language into SQL. Where desired, such conversation may be effected by a multi-step reasoning conversational agent. We validate our approach via a proprietary question/answer data set, concluding that dIR makes a whole new class of queries on free text possible when compared to traditionally fine-tuned dense-embedding-model-based Information Retrieval (IR) and SQL-based Knowledge Bases (KB). For sufficiently complex queries, dIR can succeed where no other method stands a chance.
• Abstract（参考訳）: データは構造化および非構造化の形式で格納される。 自然言語の会話をパワーアップするために、両方を問うことは難しい。 本稿では,自由テキストと構造化知識の両方を問う統一インターフェースとして,dIR,disrete Information Retrievalを提案する。 具体的には、Large Language Model (LLM) はテキストを表現表現に変換する。 テキストがコラム形式に抽出されると、テキストからSQLへのセマンティックパーザを通じてクエリされ、LLMが自然言語をSQLに変換する。 必要に応じて、そのような会話は多段階の推論的会話エージェントによってもたらされる。 従来の微調整された密埋め込みモデルに基づく情報検索 (IR) やSQLベースの知識ベース (KB) と比較すると, dIR はフリーテキスト上で全く新しいクエリのクラスを作成できる,という結論に達した。 十分に複雑なクエリでは、他のメソッドがチャンスのない場合にdIRが成功する。

関連論文リスト

• Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
  Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。 我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
  論文  参考訳（メタデータ） (2024-08-27T00:50:14Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• Semantic Parsing for Complex Data Retrieval: Targeting Query Plans vs. SQL for No-Code Access to Relational Databases [2.933060994339853]
  より単純な構文と複雑なクエリのモジュール仕様を備えた代替クエリ言語の可能性について検討する。 提案されている代替クエリ言語はQuery Plan Language (QPL) と呼ばれる。 複雑なクエリの課題に対して,反復的かつユーザ制御的な方法で対処する方法を提案する。
  論文  参考訳（メタデータ） (2023-12-22T16:16:15Z)
• QURG: Question Rewriting Guided Context-Dependent Text-to-SQL Semantic Parsing [46.05006486399823]
  本稿では,モデルが適切な文脈理解を実現するのに役立つ新しい質問書き直し指導手法であるQURGを提案する。 まず、質問コンテキストに基づいて現在の質問を完了させるために質問書き換えモデルを訓練し、それらを書き換え編集行列に変換する。 さらに、2ストリームの行列エンコーダを設計し、質問とコンテキスト間の書き直し関係と、自然言語と構造化スキーマの関係をリンクするスキーマを共同でモデル化する。
  論文  参考訳（メタデータ） (2023-05-11T08:45:55Z)
• Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval [17.747079214502673]
  Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。 本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。 我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
  論文  参考訳（メタデータ） (2023-04-26T06:02:01Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)
• "What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL [49.85635994436742]
  ループ内に人間を包含し,複数質問を用いてユーザと対話する,新規非依存型対話型アプローチ(PIIA)を提案する。 PIIAは、シミュレーションと人的評価の両方を用いて、限られたインタラクションターンでテキストとドメインのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-11-09T02:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。