論文の概要: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling

• arxiv url: http://arxiv.org/abs/2411.17284v2
• Date: Tue, 10 Dec 2024 11:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:08.494472
• Title: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling
• Title（参考訳）: 予測モデルにおけるエキスパート事前引用のための大規模言語モデルの利用
• Authors: Alexander Capstick, Rahul G. Krishnan, Payam Barnaghi,
• Abstract要約: 本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。 事前の推論も一貫して優れており、低コストでテキスト内学習よりも信頼性が高いことが証明されている。
• 参考スコア（独自算出の注目度）: 53.54623137152208
• License:
• Abstract: Large language models (LLMs), trained on diverse data effectively acquire a breadth of information across various domains. However, their computational complexity, cost, and lack of transparency hinder their direct application for specialised tasks. In fields such as clinical research, acquiring expert annotations or prior knowledge about predictive models is often costly and time-consuming. This study proposes the use of LLMs to elicit expert prior distributions for predictive models. This approach also provides an alternative to in-context learning, where language models are tasked with making predictions directly. In this work, we compare LLM-elicited and uninformative priors, evaluate whether LLMs truthfully generate parameter distributions, and propose a model selection strategy for in-context learning and prior elicitation. Our findings show that LLM-elicited prior parameter distributions significantly reduce predictive error compared to uninformative priors in low-data settings. Applied to clinical problems, this translates to fewer required biological samples, lowering cost and resources. Prior elicitation also consistently outperforms and proves more reliable than in-context learning at a lower cost, making it a preferred alternative in our setting. We demonstrate the utility of this method across various use cases, including clinical applications. For infection prediction, using LLM-elicited priors reduced the number of required labels to achieve the same accuracy as an uninformative prior by 55%, 200 days earlier in the study.
• Abstract（参考訳）: 多様なデータに基づいて訓練された大規模言語モデル(LLM)は、様々な領域にまたがる情報を効果的に取得する。 しかし、計算の複雑さ、コスト、透明性の欠如は、専門的なタスクへの直接的な適用を妨げる。 臨床研究などの分野では、専門家のアノテーションや予測モデルに関する事前知識を取得することは、しばしばコストと時間を要する。 本研究では,LLMを用いて予測モデルの事前分布を推定する手法を提案する。 このアプローチはまた、言語モデルが直接予測を行うタスクを行う、コンテキスト内学習に代わるものを提供する。 本研究では, LLM がパラメータ分布を真に生成するかどうかを, LLM-elicited と uninformative を比較検討し, 文脈内学習と事前帰納のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。 臨床的問題に適用すると、必要な生物学的サンプルが少なくなり、コストとリソースが低下する。 事前の推論も一貫して上回り、低コストでテキスト内学習よりも信頼性が高いことが証明され、私たちの設定では好都合な代替手段となります。 本手法の有用性を臨床応用を含む様々なユースケースで実証する。 感染予測では, LLMを欠損した前駆体を用いて, 必要なラベル数を55%, 200日前に不整形前駆体と同じ精度で減らした。

関連論文リスト

• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
  メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。 我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。 モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
  論文  参考訳（メタデータ） (2023-04-21T17:58:31Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
  この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。 ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。 我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:22:01Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。