論文の概要: Keyword Augmented Retrieval: Novel framework for Information Retrieval
integrated with speech interface
- arxiv url: http://arxiv.org/abs/2310.04205v2
- Date: Sun, 29 Oct 2023 09:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:47:17.160442
- Title: Keyword Augmented Retrieval: Novel framework for Information Retrieval
integrated with speech interface
- Title(参考訳): キーワード強化検索:音声インタフェースを統合した情報検索のための新しいフレームワーク
- Authors: Anupam Purwar and Rahul Sundar
- Abstract要約: 言語モデルを使って幻覚なしで素早く低コストで回答を取得することは大きなハードルです。
これは知識検索自動化における言語モデルの利用を防止するためである。
商用検索やチャットボットアプリケーションでは、GPT 3.5などの商用大規模言語モデル(LLM)への完全依存は非常にコストがかかる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Retrieving answers in a quick and low cost manner without hallucinations from
a combination of structured and unstructured data using Language models is a
major hurdle. This is what prevents employment of Language models in knowledge
retrieval automation. This becomes accentuated when one wants to integrate a
speech interface on top of a text based knowledge retrieval system. Besides,
for commercial search and chat-bot applications, complete reliance on
commercial large language models (LLMs) like GPT 3.5 etc. can be very costly.
In the present study, the authors have addressed the aforementioned problem by
first developing a keyword based search framework which augments discovery of
the context from the document to be provided to the LLM. The keywords in turn
are generated by a relatively smaller LLM and cached for comparison with
keywords generated by the same smaller LLM against the query raised. This
significantly reduces time and cost to find the context within documents. Once
the context is set, a larger LLM uses that to provide answers based on a prompt
tailored for Q\&A. This research work demonstrates that use of keywords in
context identification reduces the overall inference time and cost of
information retrieval. Given this reduction in inference time and cost with the
keyword augmented retrieval framework, a speech based interface for user input
and response readout was integrated. This allowed a seamless interaction with
the language model.
- Abstract(参考訳): 言語モデルを用いた構造化データと非構造化データの組み合わせによる幻覚なしに、迅速かつ低コストで回答を得ることは大きなハードルです。
これは知識検索自動化における言語モデルの利用を妨げる。
これは、テキストベースの知識検索システムの上に音声インターフェイスを統合しようとすると強調される。
さらに、商用検索やチャットボットアプリケーションでは、GPT 3.5などの商用大規模言語モデル(LLM)への完全依存は非常にコストがかかる。
本研究では,LLMに提供すべき文書からコンテキストの発見を補助するキーワードベースの検索フレームワークを最初に開発することにより,上記の問題に対処した。
キーワードは比較的小さな LLM で生成され、同じ小さな LLM で生成されたキーワードとクエリの上昇に対してキャッシュされる。
これはドキュメント内のコンテキストを見つけるための時間とコストを大幅に削減する。
コンテキストが設定されると、より大きなllmがq\&a用に調整されたプロンプトに基づいて回答を提供する。
本研究は,コンテキスト識別におけるキーワードの使用が,情報検索の全体的な推論時間とコストを減少させることを示す。
このキーワード拡張検索フレームワークによる推論時間とコストの削減により、ユーザの入力と応答の読み出しのための音声ベースのインタフェースが統合された。
これにより言語モデルとのシームレスなインタラクションが可能になった。
関連論文リスト
- Effective and Efficient Conversation Retrieval for Dialogue State
Tracking with Implicit Text Summaries [51.11997829609478]
LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。
従来は検索キーやクエリとして生の対話コンテキストを使用していた。
会話のテキスト要約に基づいて会話検索を行う。
LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
論文 参考訳(メタデータ) (2024-02-20T14:31:17Z) - Retrieval Augmented End-to-End Spoken Dialog Models [20.896330994089283]
音声信号から直接ダイアログ状態が推測される音声対話アプリケーションにSLMを適用する。
RAG(retrieval-augmented generation)パラダイムにヒントを得て,この弱点を克服する検索拡張SLM(ReSLM)を提案する。
音声MultipleWozタスク(DSTC-11チャレンジ)を用いてReSLMを評価し,この検索によりモデル性能が向上することを確認した。
論文 参考訳(メタデータ) (2024-02-02T18:23:09Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - Dense X Retrieval: What Retrieval Granularity Should We Use? [59.359325855708974]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。
提案手法はテキスト内の原子式として定義され,それぞれが別個のファクトイドをカプセル化している。
その結果,命題に基づく検索は,従来の通訳法や文による検索方法よりも格段に優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-11T18:57:35Z) - LLM-TAKE: Theme Aware Keyword Extraction Using Large Language Models [10.640773460677542]
項目のテキストメタデータから推測される項目のキーワードを生成するために,Large Language Models (LLMs) を用いて検討する。
我々のモデリングフレームワークは、非情報的またはセンシティブなキーワードを出力することを避けて結果を微粒化するいくつかの段階を含む。
本稿では,Eコマース環境における商品の抽出的および抽象的テーマを生成するための2つのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-01T20:13:08Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - End-to-End Open Vocabulary Keyword Search With Multilingual Neural
Representations [7.780766187171571]
競合性能を実現するニューラルネットワークによるASRフリーキーワード検索モデルを提案する。
本研究は,多言語事前学習と詳細なモデル解析により拡張する。
実験の結果,提案した多言語学習はモデルの性能を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-08-15T20:33:25Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。