論文の概要: Retrieval-Augmented Thought Process as Sequential Decision Making

• arxiv url: http://arxiv.org/abs/2402.07812v1
• Date: Mon, 12 Feb 2024 17:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:33:37.943381
• Title: Retrieval-Augmented Thought Process as Sequential Decision Making
• Title（参考訳）: 逐次意思決定としての検索提示思考過程
• Authors: Thomas Pouplin, Hao Sun, Samuel Holt, Mihaela van der Schaar
• Abstract要約: Retrieval-Augmented Thought Process (RATP)を紹介する。 RATPは、多段階決定プロセスとして、大規模言語モデルの思考生成を定式化する。 既存のテキスト内検索拡張言語モデルよりも50%改善されている。
• 参考スコア（独自算出の注目度）: 58.87539195379386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated their strong ability to assist people and show "sparks of intelligence". However, several open challenges hinder their wider application: such as concerns over privacy, tendencies to produce hallucinations, and difficulties in handling long contexts. In this work, we address those challenges by introducing the Retrieval-Augmented Thought Process (RATP). Given access to external knowledge, RATP formulates the thought generation of LLMs as a multiple-step decision process. To optimize such a thought process, RATP leverages Monte-Carlo Tree Search, and learns a Q-value estimator that permits cost-efficient inference. In addressing the task of question-answering with private data, where ethical and security concerns limit LLM training methods, RATP achieves a 50% improvement over existing in-context retrieval-augmented language models.
• Abstract（参考訳）: 大規模言語モデル(llm)は、人々を支援し、「知性」を示す強力な能力を示している。 しかし、プライバシに対する懸念、幻覚を生み出す傾向、長いコンテキストを扱うことの難しさなど、いくつかのオープンな課題が彼らの幅広い応用を妨げる。 本稿では,Retrieval-Augmented Thought Process (RATP)を導入することで,これらの課題に対処する。 外部知識にアクセスすると、RATPは多段階決定プロセスとしてLLMの思考生成を定式化する。 このような思考プロセスを最適化するために、ratpはモンテカルロ木探索を活用し、コスト効率のよい推論を可能にするq値推定器を学習する。 倫理的およびセキュリティ上の懸念がLLMの訓練方法を制限しているプライベートデータによる質問応答の課題に対処するため、RATPは既存の文脈内検索強化言語モデルよりも50%改善されている。

関連論文リスト

• CurateGPT: A flexible language-model assisted biocuration tool [0.6425885600880427]
  ジェネレーティブAIは、人間主導のキュレーションを支援する新しい可能性を開いた。 CurateGPTはキュレーションプロセスの合理化を図り、共同作業と効率性の向上を図っている。 これにより、キュレーター、研究者、エンジニアがキュレーションの取り組みを拡大し、科学データ量の増加に追随するのに役立つ。
  論文  参考訳（メタデータ） (2024-10-29T20:00:04Z)
• Boosting Healthcare LLMs Through Retrieved Context [0.6144680854063939]
  本研究では,医療領域におけるコンテキスト検索手法の境界について検討する。 以上の結果から,LLMが確立した医療ベンチマークにおいて,最大規模のプライベートソリューションに匹敵するパフォーマンスを達成できることが判明した。 特に,より信頼性の高いオープンエンド回答の生成を改善するために,OpenMedPromptを提案する。
  論文  参考訳（メタデータ） (2024-09-23T15:33:38Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• Large Language Models and User Trust: Consequence of Self-Referential Learning Loop and the Deskilling of Healthcare Professionals [1.6574413179773761]
  本稿では, LLMにおける臨床医の信頼と, 主に人間生成コンテンツからAI生成コンテンツへのデータソースの影響との関係について検討する。 主な懸念の1つは、LLMが学習のアウトプットにより依存するにつれて生じる潜在的なフィードバックループである。 調査から得られた重要なポイントは、ユーザの専門知識の重要な役割と、LCMのアウトプットを信頼し、検証するための差別化アプローチの必要性である。
  論文  参考訳（メタデータ） (2024-03-15T04:04:45Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
  本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。 このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
  論文  参考訳（メタデータ） (2024-01-25T17:45:34Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
  大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。 本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。 Vicuna-7Bは44.46%から48.54%の精度向上を示した。
  論文  参考訳（メタデータ） (2023-09-27T21:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。