論文の概要: Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.03271v3
• Date: Wed, 13 Nov 2024 17:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:46.579198
• Title: Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models
• Title（参考訳）: 思考の不確実性:不確実性を考慮した計画は大規模言語モデルにおける情報探索を促進する
• Authors: Zhiyuan Hu, Chumin Liu, Xidong Feng, Yilun Zhao, See-Kiong Ng, Anh Tuan Luu, Junxian He, Pang Wei Koh, Bryan Hooi,
• Abstract要約: Uncertainty of Thoughts (UoT) は、大きな言語モデルを拡張するアルゴリズムであり、効果的な質問をすることで積極的に情報を求めることができる。 医療診断、トラブルシューティング、および20の質問ゲームに関する実験において、UoTは、タスク完了の成功率において平均38.1%のパフォーマンス向上を達成した。
• 参考スコア（独自算出の注目度）: 73.79091519226026
• License:
• Abstract: In the face of uncertainty, the ability to *seek information* is of fundamental importance. In many practical applications, such as medical diagnosis and troubleshooting, the information needed to solve the task is not initially given and has to be actively sought by asking follow-up questions (for example, a doctor asking a patient for more details about their symptoms). In this work, we introduce Uncertainty of Thoughts (UoT), an algorithm to augment large language models with the ability to actively seek information by asking effective questions. UoT combines 1) an *uncertainty-aware simulation approach* which enables the model to simulate possible future scenarios and how likely they are to occur, 2) *uncertainty-based rewards* motivated by information gain which incentivizes the model to seek information, and 3) a *reward propagation scheme* to select the optimal question to ask in a way that maximizes the expected reward. In experiments on medical diagnosis, troubleshooting, and the `20 Questions` game, UoT achieves an average performance improvement of 38.1% in the rate of successful task completion across multiple LLMs compared with direct prompting and also improves efficiency (i.e., the number of questions needed to complete the task). Our code has been released [here](https://github.com/zhiyuanhubj/UoT)
• Abstract（参考訳）: 不確実性に直面している場合、情報を見る能力*は基本的な重要性です。 医療診断やトラブルシューティングなどの多くの実践的応用において、この課題を解決するために必要な情報は、当初は提供されず、フォローアップ質問(例えば、患者に症状の詳細を尋ねる医師)によって積極的に探さなければならない。 本研究では,大規模言語モデルを拡張するアルゴリズムであるUncertainty of Thoughts(UoT)を紹介する。 UoTが組み合わさる 1) *不確実性を考慮したシミュレーションアプローチ*により、モデルが将来のシナリオをシミュレートし、それがどの程度起こりうるかをシミュレートすることができる。 2)*不確実性に基づく報奨* 情報ゲインによって動機づけられたモデルに情報を求める動機を与え、 3) 期待される報酬を最大化する方法で質問する最適な質問を選択するための* 逆伝搬方式* である。 医療診断、トラブルシューティング、そして『20の質問』ゲームの実験において、UoTは、直接的プロンプトと比較すると、複数のLSMでタスク完了を成功させる確率が平均38.1%向上し、効率も向上する(すなわち、タスク完了に必要な質問数)。 私たちのコードはリリースされました(https://github.com/zhiyuanhubj/UoT)。

関連論文リスト

• Predicting Large Language Model Capabilities on Closed-Book QA Tasks Using Only Information Available Prior to Training [51.60874286674908]
  我々は,事前学習データと知識保持に密接に結びついているCBQAタスクの性能予測に焦点をあてる。 1)事前学習プロセス全体,特にデータ構築を習得すること,2)モデルの知識保持を評価すること,3)トレーニング前に利用可能な情報のみを使用してタスク固有の知識保持を予測すること,の3つの課題に対処する。 本稿では,事前学習データ,モデルサイズ,タスク固有の知識保持との関係を定量化する情報理論尺度であるSMIメトリクスを紹介する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Feedback-Aware Monte Carlo Tree Search for Efficient Information Seeking in Goal-Oriented Conversations [10.352944689413398]
  本稿では,情報ゲインを最大化する質問を生成するために,Large Language Models (LLM) を組み合わせた適応型質問応答手法を提案する。 本稿では,(1)潜在的な質問に対する探索と活用のバランスをとる適応MCTSアルゴリズム,(2)事前経験を生かして今後の対話を導くクラスタリングに基づくフィードバックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-25T03:42:22Z)
• LLM-MedQA: Enhancing Medical Question Answering through Case Studies in Large Language Models [18.6994780408699]
  大規模言語モデル (LLM) は、医学的質問応答において重大な課題に直面している。 マルチエージェント医療質問応答システムに類似の事例生成を取り入れた新しい手法を提案する。 本手法は, モデル固有の医療知識と推論能力を活用し, 追加のトレーニングデータの必要性を解消する。
  論文  参考訳（メタデータ） (2024-12-31T19:55:45Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• LaPA: Latent Prompt Assist Model For Medical Visual Question Answering [12.857747609666507]
  医学的視覚的質問応答(Med-VQA)は、医療画像や質問に対する正しい回答の予測を自動化することを目的としている。 医用視覚質問応答のための潜時プロンプトアシストモデル(LaPA)を提案する。 公開されている3つのMed-VQAデータセットの実験結果は、LaPAが最先端のARLより優れていることを示している。
  論文  参考訳（メタデータ） (2024-04-19T17:51:52Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models [42.360431316298204]
  我々は、VQAのオープン化に重点を置いており、近年の言語モデルの発展によって、VQAを生成タスクと見なされている。 医療画像を言語モデルに適切に伝達するために,抽出した視覚的特徴を学習可能なトークンの集合にマッピングするネットワークを開発する。 我々は、Slake、OVQA、PathVQAといった主要な医療用VQAベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-03-10T15:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。