Fugu-MT 論文翻訳(概要): Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses

論文の概要: Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses

arxiv url: http://arxiv.org/abs/2607.22961v1
Date: Sat, 25 Jul 2026 00:04:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:14.949843
Title: Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
Title（参考訳）: 動詞化粒子後部:自然言語仮説に対するベイズ的推論
Abstract要約: Verbalized Machine Learning (VML)は、LLMがf(x;theta)として評価する自然言語プロンプトとしてモデルをパラメータ化する。本稿では,言語学習をベイズ推論問題として扱う動詞化粒子ポストリア(VPP)を提案する。
参考スコア（独自算出の注目度）: 8.864909622103388
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Verbalized Machine Learning (VML) parameterizes a model as a natural-language prompt that an LLM evaluates as f(x; theta). The framework is interpretable, but it commits to a single hypothesis with no measure of uncertainty, and that hypothesis varies substantially across optimization runs on the same data. We propose the Verbalized Particle Posterior (VPP), which treats verbalized learning as a Bayesian inference problem: maintain a population of natural-language hypotheses as particles, update them with Metropolis-Hastings (VPP-MH) or Sequential Monte Carlo (VPP-SMC), and predict by Bayesian model averaging. Both algorithms treat the LLM as a black box, requiring no access to logits or gradients. A distinctive consequence follows. In classical Bayesian learning, model selection sits outside the posterior; in VPP both model structure and parameters share a single language space, and the posterior ranges over both. We evaluate VPP on regression, classification, and rule-discovery benchmarks. It improves over a single VML run on every benchmark and matches or exceeds an oracle-best ensemble of independent VML runs on most, while eliminating the catastrophic single-run failures that VML occasionally produces. Because each particle is a human-readable hypothesis, the posterior is itself something a reader can inspect, seeing in plain text which explanations the data supported and which it ruled out.
Abstract（参考訳）: Verbalized Machine Learning (VML)は、LLMがf(x;theta)として評価する自然言語プロンプトとしてモデルをパラメータ化する。フレームワークは解釈可能であるが、不確実性の尺度を持たない単一の仮説にコミットし、その仮説は同じデータ上で実行される最適化によって大きく異なる。本稿では,言語学習をベイズ的推論問題として扱い,自然言語仮説の集団を粒子として維持し,メトロポリス・ハスティングス (VPP-MH) やシークエンシャルモンテカルロ (VPP-SMC) で更新し,ベイズ的モデル平均化によって予測する。どちらのアルゴリズムもLSMをブラックボックスとして扱い、ログや勾配へのアクセスは不要である。顕著な結果は次の通りである。古典的ベイズ学習では、モデル選択は後部外にあり、VPPではモデル構造とパラメータの両方が単一の言語空間を共有し、後部の範囲は両方にまたがる。我々は、回帰、分類、ルール発見ベンチマークでVPPを評価する。すべてのベンチマークで1つのVMLを実行し、VMLが時折発生する破滅的な単一実行障害を排除しながら、独立したVMLの託主最強のアンサンブルをほとんどのベンチマークで実行し、あるいは超過します。それぞれの粒子は人間の読みやすい仮説なので、後部は読者が検査できるものである。

関連論文リスト

Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models [45.42736932931535]
総確率の法則は、事前重み付けされた条件分布は、人口の有効な分割について、人口レベルの限界に集約されると主張している。我々は二分木を評価用足場として,個体群を細粒度に分割する。言語化されたサブポピュレーション記述を文脈で実行し、その結果の見積もりを集団レベルの推定に集約し、異なる粒度のパーティション間で比較する。
論文参考訳（メタデータ） (2026-07-16T17:59:31Z)
Hypothesis generation and updating in large language models [0.0]
大規模言語モデル(LLM)は、人々が問題を解決するのにますます役立っているが、どのように推論を行うかは、まだ不明である。本稿では,数ゲームにおいて,学習者がいくつかの正の整数によって支持される仮説を推測する制御された設定について検討する。 3つの補足的プローブ(後部予測、仮説評価、仮説生成)を用いて後部仮説を測定する。
論文参考訳（メタデータ） (2026-05-07T08:24:54Z)
How Large Language Models Get Stuck: Early structure with persistent errors [0.0]
我々は,100MワードのBabyLMデータセット上でMetaのOPTモデルを訓練した。 67のクラスからなるBLiMPベンチマークで評価した。非文法的文よりも文法的文を好むモデルの選好を検証した。
論文参考訳（メタデータ） (2026-02-27T22:49:11Z)
Leveraging Large Language Models for Predictive Analysis of Human Misery [1.2458057399345226]
本研究では,Large Language Models (LLMs) を用いて,人間に知覚された悲惨なスコアを予測する。我々は、ゼロショット、固定コンテキスト、検索に基づくプロンプトを含む複数のプロンプト戦略を評価する。静的評価を超えて,テレビフォーマットに触発された新たなゲーム化フレームワークである"Misery Game Show"を導入する。
論文参考訳（メタデータ） (2025-08-18T07:02:59Z)
Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文参考訳（メタデータ） (2024-06-06T17:59:56Z)
Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。 Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文参考訳（メタデータ） (2023-12-16T19:12:45Z)
Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
論文参考訳（メタデータ） (2023-11-14T23:40:22Z)
Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。標準共形予測は厳密で統計的に保証された予測セットを生成する。我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文参考訳（メタデータ） (2023-06-16T21:55:08Z)
Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文参考訳（メタデータ） (2023-05-22T06:45:02Z)
Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
論文参考訳（メタデータ） (2022-05-25T18:00:09Z)
Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
論文参考訳（メタデータ） (2020-06-11T20:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。