論文の概要: Injecting knowledge into language generation: a case study in
auto-charting after-visit care instructions from medical dialogue
- arxiv url: http://arxiv.org/abs/2306.03652v1
- Date: Tue, 6 Jun 2023 13:13:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 15:24:42.603292
- Title: Injecting knowledge into language generation: a case study in
auto-charting after-visit care instructions from medical dialogue
- Title（参考訳）: 言語生成に知識を注入する:医療対話からの訪問後ケア指導のオートチャート化を事例として
- Authors: Maksim Eremeev, Ilya Valmianski, Xavier Amatriain, Anitha Kannan
- Abstract要約: 本稿では、ソースおよび参照シーケンスの両方に現れる稀なトークンに焦点を当てる。
知識に富む高額なドメインに対しては、どの希少なトークンが重要かを特定するために知識を使用する方法を示す。
本研究は,医療の知識に富む領域において,訪問後のケア指導を創出する問題に取り組むための研究である。
- 参考スコア（独自算出の注目度）: 3.1542695050861544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Factual correctness is often the limiting factor in practical applications of
natural language generation in high-stakes domains such as healthcare. An
essential requirement for maintaining factuality is the ability to deal with
rare tokens. This paper focuses on rare tokens that appear in both the source
and the reference sequences, and which, when missed during generation, decrease
the factual correctness of the output text. For high-stake domains that are
also knowledge-rich, we show how to use knowledge to (a) identify which rare
tokens that appear in both source and reference are important and (b) uplift
their conditional probability. We introduce the ``utilization rate'' that
encodes knowledge and serves as a regularizer by maximizing the marginal
probability of selected tokens. We present a study in a knowledge-rich domain
of healthcare, where we tackle the problem of generating after-visit care
instructions based on patient-doctor dialogues. We verify that, in our dataset,
specific medical concepts with high utilization rates are underestimated by
conventionally trained sequence-to-sequence models. We observe that correcting
this with our approach to knowledge injection reduces the uncertainty of the
model as well as improves factuality and coherence without negatively impacting
fluency.
- Abstract（参考訳）: 事実的正当性は、医療などの高度な領域における自然言語生成の実践的応用において、しばしば制限要因である。
事実性を維持するための必須要件は、まれなトークンを扱う能力である。
本稿では,ソースと参照シーケンスの両方に現れる稀なトークンに着目し,生成時に見逃された場合には,出力テキストの事実的正しさを低下させる。
知識に富む高い領域に対しては、知識の使い方を示す。
(a)ソースおよび参照の両方に現れる稀なトークンが重要であること。
(b)条件付き確率を引き上げる。
我々は,選択されたトークンの限界確率を最大化することにより,知識をエンコードし,正規化として機能する ``utilization rate''' を導入する。
本稿では,患者と医師の対話に基づく訪問後のケア指導の課題に対処する,知識豊富な医療分野の研究を紹介する。
データセットでは、高い利用率を持つ特定の医療概念が、従来訓練されたシーケンス・ツー・シーケンスモデルによって過小評価されていることを検証します。
知識注入のアプローチでこれを修正することで、モデルの不確実性が減少し、フラレンシに悪影響を及ぼすことなく、事実性と一貫性が向上するのを観察します。
関連論文リスト
- Mitigating Hallucinations in Large Language Models via Self-Refinement-Enhanced Knowledge Retrieval [14.58181631462891]
大規模言語モデル(LLM)は、様々な領域で顕著な機能を示している。
幻覚への感受性は、医療などの重要な分野への展開に重大な課題をもたらす。
我々は,LLMの応答の事実性を高めるために,自己精製強化知識グラフ検索法(Re-KGR)を提案する。
論文 参考訳（メタデータ） (2024-05-10T15:40:50Z) - Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。
本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-03T11:19:26Z) - A Saliency-based Clustering Framework for Identifying Aberrant
Predictions [49.1574468325115]
本稿では, 異常予測の概念を導入し, 分類誤差の性質が頻度と同じくらい重要であることを強調した。
本稿では,誤分類率の低減と異常予測の識別を両立する,新しい,効率的なトレーニング手法を提案する。
本手法を獣医学の分野である獣医学の分野に応用し, 被曝率は高いが, 人体医学に比べて広く研究されていない。
論文 参考訳（メタデータ） (2023-11-11T01:53:59Z) - Knowledge-injected Prompt Learning for Chinese Biomedical Entity
Normalization [6.927883826415262]
本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。
具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。
医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
論文 参考訳（メタデータ） (2023-08-23T09:32:40Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - Navigating the Grey Area: How Expressions of Uncertainty and
Overconfidence Affect Language Models [74.07684768317705]
LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。
その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。
これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
論文 参考訳（メタデータ） (2023-02-26T23:46:29Z) - Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。
アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。
マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:35:38Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳（メタデータ） (2021-10-15T21:58:03Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳（メタデータ） (2020-12-19T23:23:40Z) - Medical Knowledge-enriched Textual Entailment Framework [5.493804101940195]
医用知識に富んだテキスト・エンタテインメント・フレームワークについて紹介する。
我々は、ベンチマークMEDIQA-RQEデータセット上でのフレームワークの評価を行い、知識の豊富な二重符号化機構を用いることで、SOTA言語モデルに対して8.27%の絶対的な改善が達成できることを示した。
論文 参考訳（メタデータ） (2020-11-10T17:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。