論文の概要: Eliciting the Priors of Large Language Models using Iterated In-Context Learning

• arxiv url: http://arxiv.org/abs/2406.01860v1
• Date: Tue, 4 Jun 2024 00:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:32:51.347473
• Title: Eliciting the Priors of Large Language Models using Iterated In-Context Learning
• Title（参考訳）: 反復型インコンテキスト学習を用いた大規模言語モデルの事前学習
• Authors: Jian-Qiao Zhu, Thomas L. Griffiths,
• Abstract要約: 本研究では,大規模言語モデルから事前分布を抽出するためのプロンプトベースのワークフローを開発する。 実験では, 従来, 反復学習を用いて, 被験者の先行する超人格を推定する手法を検証した。 そこで我々は,AIの開発時期など,さまざまな投機的事象に対して,GPT-4から先行情報を抽出するために,同じ手法を用いた。
• 参考スコア（独自算出の注目度）: 4.307483901449801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed in real-world settings, understanding the knowledge they implicitly use when making decisions is critical. One way to capture this knowledge is in the form of Bayesian prior distributions. We develop a prompt-based workflow for eliciting prior distributions from LLMs. Our approach is based on iterated learning, a Markov chain Monte Carlo method in which successive inferences are chained in a way that supports sampling from the prior distribution. We validated our method in settings where iterated learning has previously been used to estimate the priors of human participants -- causal learning, proportion estimation, and predicting everyday quantities. We found that priors elicited from GPT-4 qualitatively align with human priors in these settings. We then used the same method to elicit priors from GPT-4 for a variety of speculative events, such as the timing of the development of superhuman AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実の環境でますます多くデプロイされているため、意思決定に暗黙的に使用する知識を理解することが重要である。 この知識を捉える方法の1つは、ベイズ以前の分布である。 LLMから事前分布を抽出するためのプロンプトベースのワークフローを開発する。 提案手法は,マルコフ連鎖モンテカルロ法(マルコフ連鎖モンテカルロ法)の反復学習に基づく。 我々は,これまで反復学習を用いて,因果学習,比率推定,日々の量の予測といった,人間の前兆を推定した環境で,本手法を検証した。 これらの設定では,GPT-4から抽出した先行情報が人間の先行と定性的に一致していることが判明した。 そこで我々は,この手法を用いて,超人的AIの開発時期など,様々な投機的事象について,GPT-4から先行情報を抽出した。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Large Language Models are Effective Priors for Causal Graph Discovery [6.199818486385127]
  専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。 近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。
  論文  参考訳（メタデータ） (2024-05-22T11:39:11Z)
• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• To Know by the Company Words Keep and What Else Lies in the Vicinity [0.0]
  本稿では,GloVe や Word2Vec など,セミナルアルゴリズムによって学習された統計データの解析モデルを提案する。 われわれの知る限りでは、Word2Vecのソフトマックス最適化、スキップグラムアルゴリズムの最初の既知のソリューションである。
  論文  参考訳（メタデータ） (2022-04-30T03:47:48Z)
• Does Pre-training Induce Systematic Inference? How Masked Language Models Acquire Commonsense Knowledge [91.15301779076187]
  プレトレーニング中のBERTモデルのミニバッチに言語知識を導入し、モデルがサポート対象の推論にどの程度うまく一般化するかを評価する。 一般化は事前学習の過程では改善せず, 帰納的, 体系的推論ではなく, 表面的, 共起的パターンからコモンセンス知識が獲得されることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T03:13:04Z)
• Metalearning Linear Bandits by Prior Update [7.519872646378836]
  完全なベイズ的アプローチは、問題のパラメータは既知の事前から生成されると仮定するが、実際にはそのような情報は欠落することが多い。 この問題は、ある部分的な情報を持つ意思決定設定において悪化し、不特定事前の使用は、探索の質が悪く、性能が劣る可能性がある。 この研究において、線形帯域幅とガウス事前の文脈において、事前推定が真の事前に十分近い限り、不特定事前を用いたアルゴリズムの性能は真の先行を用いたアルゴリズムのそれに近いことを証明した。
  論文  参考訳（メタデータ） (2021-07-12T11:17:01Z)
• Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization [0.0]
  メタラーニングを用いて情報共役の事前分布の推定を自動化する新しい手法を提案する。 このプロセスから、元のデータ分布の形状パラメータを推定するために、わずかなデータしか必要としない先行データを生成する。
  論文  参考訳（メタデータ） (2021-01-03T23:58:32Z)
• C-Learning: Learning to Achieve Goals via Recursive Classification [163.7610618571879]
  自律エージェントの将来の状態分布を予測・制御する問題について検討する。 我々の研究は、密度推定としてゴール条件付きRLの基礎を定めている。
  論文  参考訳（メタデータ） (2020-11-17T19:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。