論文の概要: Reading with Intent
- arxiv url: http://arxiv.org/abs/2408.11189v1
- Date: Tue, 20 Aug 2024 20:47:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 21:06:50.022455
- Title: Reading with Intent
- Title(参考訳): Intentで読む
- Authors: Benjamin Reichman, Kartik Talamadupula, Toshish Jawale, Larry Heck,
- Abstract要約: オープンインターネットを知識源として依存するRAGシステムは、人間が生成するコンテンツの複雑さと競合する必要がある。
本稿では,サルカズムの存在下での応答の解釈・生成能力を高めるプロンプトシステムを提案する。
- 参考スコア(独自算出の注目度): 7.623508712778745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval augmented generation (RAG) systems augment how knowledge language models are by integrating external information sources such as Wikipedia, internal documents, scientific papers, or the open internet. RAG systems that rely on the open internet as their knowledge source have to contend with the complexities of human-generated content. Human communication extends much deeper than just the words rendered as text. Intent, tonality, and connotation can all change the meaning of what is being conveyed. Recent real-world deployments of RAG systems have shown some difficulty in understanding these nuances of human communication. One significant challenge for these systems lies in processing sarcasm. Though the Large Language Models (LLMs) that make up the backbone of these RAG systems are able to detect sarcasm, they currently do not always use these detections for the subsequent processing of text. To address these issues, in this paper, we synthetically generate sarcastic passages from Natural Question's Wikipedia retrieval corpus. We then test the impact of these passages on the performance of both the retriever and reader portion of the RAG pipeline. We introduce a prompting system designed to enhance the model's ability to interpret and generate responses in the presence of sarcasm, thus improving overall system performance. Finally, we conduct ablation studies to validate the effectiveness of our approach, demonstrating improvements in handling sarcastic content within RAG systems.
- Abstract(参考訳): Retrieval augmented generation (RAG) システムは、ウィキペディア、内部文書、科学論文、オープンインターネットなどの外部情報ソースを統合することで、知識言語モデルがどのようになっているかを強化する。
オープンインターネットを知識源として依存するRAGシステムは、人間が生成するコンテンツの複雑さと競合する必要がある。
人間のコミュニケーションは、単にテキストとして表現された単語よりもずっと深い。
インテント、トナリティ、意味はすべて、伝えられている意味を変えることができる。
近年のRAGシステムの実際の展開は、人間のコミュニケーションのこれらのニュアンスを理解するのに困難を呈している。
これらのシステムにとって重要な課題の1つは、サルカズムの処理である。
これらのRAGシステムのバックボーンを構成するLarge Language Models (LLM) は、サルカズムを検出することができるが、現在、テキストの処理にこれらの検出を常に使用するわけではない。
本稿では,これらの問題に対処するため,Nature Questionのウィキペディア検索コーパスから皮肉文を合成的に生成する。
次に、これらのパスがRAGパイプラインのレトリバーおよび読取部の性能に与える影響を検証した。
本研究では,サルカズムの存在下での応答の解釈と生成能力を高めるために設計されたプロンプトシステムを導入し,システム全体の性能を向上する。
最後に,本手法の有効性を検証するためにアブレーション研究を行い,RAGシステムにおけるサーカシックコンテンツ処理の改善を実証した。
関連論文リスト
- Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
論文 参考訳(メタデータ) (2024-09-26T21:44:11Z) - A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning [13.112610550392537]
Retrieval-augmented Generation (RAG) は、大規模言語モデルでその精度を高め、外部知識ベースを統合することで幻覚を低減できるフレームワークである。
本稿では,検索品質,拡張推論能力,精巧な数値能力など,総合的な最適化によって強化されたハイブリッドRAGシステムを提案する。
論文 参考訳(メタデータ) (2024-08-09T15:53:55Z) - Seven Failure Points When Engineering a Retrieval Augmented Generation
System [1.8776685617612472]
RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
論文 参考訳(メタデータ) (2024-01-11T12:04:11Z) - Large Language Models for Information Retrieval: A Survey [58.30439850203101]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-08T17:34:32Z) - How to Describe Images in a More Funny Way? Towards a Modular Approach
to Cross-Modal Sarcasm Generation [62.89586083449108]
本稿では,CMSG(Cross-modal sarcasm Generation)の新たな問題,すなわち,与えられた画像に対してサーカシックな記述を生成することについて検討する。
CMSGは、異なるモード間の相関だけでなく、サルカズムの特性をモデルが満たさなければならないため、困難である。
クロスモデルサルカズム生成のための抽出・生成・生成に基づくモジュール法(EGRM)を提案する。
論文 参考訳(メタデータ) (2022-11-20T14:38:24Z) - A Survey on Automated Sarcasm Detection on Twitter [0.0]
短いテキストメッセージは、特にTwitterのようなソーシャルメディアプラットフォーム上でのコミュニケーションにますます利用されている。
これらのメッセージの統一された皮肉は、文の意味を逆転させ、混乱とコミュニケーションの失敗につながる。
本稿では,文脈による検出,投稿履歴,機械学習モデルなど,現在使われているさまざまな手法について述べる。
論文 参考訳(メタデータ) (2022-02-05T08:38:38Z) - Addressing Issues of Cross-Linguality in Open-Retrieval Question
Answering Systems For Emergent Domains [67.99403521976058]
新型コロナウイルスの緊急ドメインに対する言語横断的オープン検索型質問応答システムについて紹介する。
本システムでは,検索した文書の信頼性を確保するために,学術論文のコーパスを採用している。
深いセマンティック・レトリバーは、我々の英語からすべてのデータに対するトレーニングの恩恵が大きく、言語横断環境ではBM25ベースラインを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-01-26T19:27:32Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳(メタデータ) (2020-08-21T20:59:34Z) - Sarcasm Detection using Context Separators in Online Discourse [3.655021726150369]
サルカズム(Sarcasm)は、意味が暗黙的に伝えられる複雑な形態の言語である。
本研究では,RoBERTa_largeを用いて2つのデータセットの皮肉を検出する。
また,文脈単語埋め込みモデルの性能向上における文脈の重要性を主張する。
論文 参考訳(メタデータ) (2020-06-01T10:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。