論文の概要: Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information
Seeking in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.03271v1
- Date: Mon, 5 Feb 2024 18:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 14:20:13.436377
- Title: Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information
Seeking in Large Language Models
- Title(参考訳): 思考の不確実性:不確実性認識計画は大規模言語モデルにおける情報探索を強化する
- Authors: Zhiyuan Hu, Chumin Liu, Xidong Feng, Yilun Zhao, See-Kiong Ng, Anh
Tuan Luu, Junxian He, Pang Wei Koh, Bryan Hooi
- Abstract要約: Uncertainty of Thoughts (UoT) は、大きな言語モデルを拡張するアルゴリズムであり、効果的な質問をすることで積極的に情報を求めることができる。
医療診断、トラブルシューティング、そして'20 Questions'ゲームの実験において、UoTは57.8%の性能向上を達成している。
- 参考スコア(独自算出の注目度): 76.56588769677835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the face of uncertainty, the ability to seek information is of fundamental
importance. In many practical applications, such as medical diagnosis and
troubleshooting, the information needed to solve the task is not initially
given, and has to be actively sought by asking follow-up questions (for
example, a doctor asking a patient for more details about their symptoms). In
this work, we introduce Uncertainty of Thoughts (UoT), an algorithm to augment
large language models with the ability to actively seek information by asking
effective questions. UoT combines 1) an uncertainty-aware simulation approach
which enables the model to simulate possible future scenarios and how likely
they are to occur, 2) uncertainty-based rewards motivated by information gain
which incentivizes the model to seek information, and 3) a reward propagation
scheme to select the optimal question to ask in a way that maximizes the
expected reward. In experiments on medical diagnosis, troubleshooting and the
'20 Questions' game, UoT achieves an average performance improvement of 57.8%
in the rate of successful task completion across multiple LLMs compared with
direct prompting, and also improves efficiency (i.e., the number of questions
needed to complete the task).
- Abstract(参考訳): 不確実性に直面した場合、情報を求める能力は極めて重要である。
医療診断やトラブルシューティングなどの多くの実践的応用において、この課題を解決するために必要な情報は、当初は提供されず、フォローアップ質問(例えば、患者に症状の詳細を尋ねる医師)によって積極的に探さなければならない。
そこで本研究では,大規模言語モデルの拡張のためのアルゴリズムである「思考の不確実性(uot)」を紹介する。
UoTが組み合わさる
1)モデルが将来のシナリオをシミュレートすることを可能にする不確実性認識シミュレーションアプローチ。
2)情報獲得に動機づけられた不確実性に基づく報酬は、情報を求めるモデルにインセンティブを与え、
3)期待される報酬を最大化する方法で質問する最適な質問を選択するための報奨伝達方式。
医療診断、トラブルシューティング、および「20問」ゲームの実験において、uotは、複数のllmをまたいだタスク完了率の平均57.8%を、直接プロンプトと比較して達成し、効率(すなわち、タスク完了に必要な質問数)も向上させる。
関連論文リスト
- Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳(メタデータ) (2023-11-26T22:47:54Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳(メタデータ) (2023-11-16T00:18:50Z) - Medical Question Summarization with Entity-driven Contrastive Learning [12.008269098530386]
本稿では,エンティティ駆動型コントラスト学習(ECL)を用いた新しい医療質問要約フレームワークを提案する。
ECLは、しばしば質問される質問(FAQ)に医療機関を採用し、硬い負のサンプルを生成する効果的なメカニズムを考案している。
iCliniqデータセットの33%の重複率など、いくつかのMQAデータセットが深刻なデータ漏洩問題に悩まされていることが分かりました。
論文 参考訳(メタデータ) (2023-04-15T00:19:03Z) - Reinforcement Learning for Abstractive Question Summarization with
Question-aware Semantic Rewards [20.342580435464072]
本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。
i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。
これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
論文 参考訳(メタデータ) (2021-07-01T02:06:46Z) - Clinical Outcome Prediction from Admission Notes using Self-Supervised
Knowledge Integration [55.88616573143478]
臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。
退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。
複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
論文 参考訳(メタデータ) (2021-02-08T10:26:44Z) - FIT: a Fast and Accurate Framework for Solving Medical Inquiring and
Diagnosing Tasks [10.687562550605739]
自己診断(Self-diagnosis)は、患者をクエリーし、疾患の予測を行うエージェントを介して、低コストでアクセス可能な医療を提供する。
我々は、次に収集するデータを決定するために情報理論の報酬を使用するFITと呼ばれる競合フレームワークを提案する。
シミュレーションした2つのデータセットから、FITは大規模な検索空間問題に効果的に対処でき、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-02T10:12:49Z) - Reinforcement Learning with Efficient Active Feature Acquisition [59.91808801541007]
実生活では、情報取得は患者の医療検査に該当する可能性がある。
本稿では,アクティブな特徴獲得ポリシーを学習するモデルに基づく強化学習フレームワークを提案する。
この成功の鍵は、部分的に観察された状態から高品質な表現を学ぶ新しい逐次変分自動エンコーダである。
論文 参考訳(メタデータ) (2020-11-02T08:46:27Z) - Towards Causality-Aware Inferring: A Sequential Discriminative Approach
for Medical Diagnosis [142.90770786804507]
医学診断アシスタント(MDA)は、疾患を識別するための症状を逐次調査する対話型診断エージェントを構築することを目的としている。
この研究は、因果図を利用して、MDAにおけるこれらの重要な問題に対処しようとする。
本稿では,他の記録から知識を引き出すことにより,非記録的調査に効果的に答える確率に基づく患者シミュレータを提案する。
論文 参考訳(メタデータ) (2020-03-14T02:05:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。