論文の概要: Large Language Bayes

• arxiv url: http://arxiv.org/abs/2504.14025v1
• Date: Fri, 18 Apr 2025 18:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 05:51:21.761343
• Title: Large Language Bayes
• Title（参考訳）: 大言語ベイズ
• Authors: Justin Domke,
• Abstract要約: 本稿では,大言語モデルと確率型プログラミング言語を組み合わせた非公式な問題記述を入力として取り上げる。 後続の潜伏変数は、観測されたデータに条件付けし、形式的モデルを越えて統合することによって従う。 これにより,形式モデルを指定する必要がなく,合理的な予測が可能であることを示す。
• 参考スコア（独自算出の注目度）: 22.372504018202154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many domain experts do not have the time or training to write formal Bayesian models. This paper takes an informal problem description as input, and combines a large language model and a probabilistic programming language to create a joint distribution over formal models, latent variables, and data. A posterior over latent variables follows by conditioning on observed data and integrating over formal models. This presents a challenging inference problem. We suggest an inference recipe that amounts to generating many formal models from the large language model, performing approximate inference on each, and then doing a weighted average. This is justified an analyzed as a combination of self-normalized importance sampling, MCMC, and variational inference. We show that this produces sensible predictions without the need to specify a formal model.
• Abstract（参考訳）: 多くのドメインエキスパートは、正式なベイズ模型を書く時間や訓練を持っていない。 本稿では,形式モデル,潜伏変数,データに対する連立分布を生成するために,大言語モデルと確率的プログラミング言語を組み合わせた非公式な問題記述を入力として取り上げる。 後続の潜伏変数は、観測されたデータに条件付けし、形式的モデルを越えて統合することによって従う。 これは挑戦的な推論問題である。 本稿では,大規模言語モデルから多くの形式モデルを生成し,各モデルに対して近似的推論を行い,重み付き平均を実行する推論レシピを提案する。 これは、自己正規化重要度サンプリング、MCMC、変分推論の組み合わせとして分析された。 形式的なモデルを指定する必要なしに、合理的な予測が可能であることを示す。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• BayesBlend: Easy Model Blending using Pseudo-Bayesian Model Averaging, Stacking and Hierarchical Stacking in Python [0.0]
  重みを推定し、複数の(ベイジアン)モデルの予測分布をブレンドするために、BayesBlend Pythonパッケージを導入する。 ベイズブレンドは、モデルウェイトを推定するために擬ベイズモデルの平均化、積み重ね、一意的に階層的ベイズ積み重ねを実装している。 ベイズブレンドの保険損失モデリングの例を例に紹介する。
  論文  参考訳（メタデータ） (2024-04-30T19:15:33Z)
• Forcing Diffuse Distributions out of Language Models [70.28345569190388]
  ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の命令付き言語モデルは、ランダムな出力を生成するように指示された場合、性能が良くない。 本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:17:23Z)
• Multilingual Mathematical Autoformalization [14.433478397963123]
  オートフォーマル化(Autoformalization)は、自然言語を機械で検証可能な形式に変換するタスクである。 既存の方法は、手動で小さなコーパスをキュレートすることで、この課題を回避する傾向がある。 本研究では,大容量でフレキシブルで多言語で多ドメインのデータセットである$textttMMA$を作成する。
  論文  参考訳（メタデータ） (2023-11-07T06:42:15Z)
• PAMI: partition input and aggregate outputs for model interpretation [69.42924964776766]
  本研究では、深層学習モデルが局所的な特徴を集約してモデル予測を行うという観察に基づいて、PAMIと呼ばれるシンプルで効果的な可視化フレームワークを提案する。 基本的な考え方は、入力の大多数を隠蔽し、元のモデル予測に対する保存された入力部の相対的な寄与として対応するモデル出力を使用することである。 複数のタスクに対する大規模な実験により,提案手法は,クラス固有の入力領域をより正確に見つけるために,既存の可視化手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-02-07T08:48:34Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• A Gamma-Poisson Mixture Topic Model for Short Text [0.0]
  ほとんどのトピックモデルは、文書が多項分布に従うという仮定のもとに構築される。 トピックモデリングでは、ポアソン分布は一定長さの文書中の単語の発生回数を記述する。 文学における数少ないPoissonトピックモデルは、アドミクチャーモデルであり、ドキュメントがトピックの混合から生成されると仮定する。
  論文  参考訳（メタデータ） (2020-04-23T21:13:53Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。