論文の概要: LLM-Prior: A Framework for Knowledge-Driven Prior Elicitation and Aggregation

• arxiv url: http://arxiv.org/abs/2508.03766v1
• Date: Tue, 05 Aug 2025 01:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.379165
• Title: LLM-Prior: A Framework for Knowledge-Driven Prior Elicitation and Aggregation
• Title（参考訳）: LLM-Prior: 知識駆動による事前引用と集約のためのフレームワーク
• Authors: Yongchao Huang,
• Abstract要約: textttLLMPriorは、自然言語記述やデータ、図形などのリッチで非構造化されたコンテキストを、有効な、抽出可能な確率分布に変換する。 我々はこの枠組みを、分散知識によって引き起こされる事前分布を集約するために対数オピニオンプールを用いるマルチエージェントシステムに拡張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The specification of prior distributions is fundamental in Bayesian inference, yet it remains a significant bottleneck. The prior elicitation process is often a manual, subjective, and unscalable task. We propose a novel framework which leverages Large Language Models (LLMs) to automate and scale this process. We introduce \texttt{LLMPrior}, a principled operator that translates rich, unstructured contexts such as natural language descriptions, data or figures into valid, tractable probability distributions. We formalize this operator by architecturally coupling an LLM with an explicit, tractable generative model, such as a Gaussian Mixture Model (forming a LLM based Mixture Density Network), ensuring the resulting prior satisfies essential mathematical properties. We further extend this framework to multi-agent systems where Logarithmic Opinion Pooling is employed to aggregate prior distributions induced by decentralized knowledge. We present the federated prior aggregation algorithm, \texttt{Fed-LLMPrior}, for aggregating distributed, context-dependent priors in a manner robust to agent heterogeneity. This work provides the foundation for a new class of tools that can potentially lower the barrier to entry for sophisticated Bayesian modeling.
• Abstract（参考訳）: 事前分布の仕様はベイズ予想において基本的なものであるが、依然として重要なボトルネックである。 以前の勧誘プロセスは、しばしば手動、主観的、そして計算不能なタスクである。 本稿では,LLM(Large Language Models)を利用した新しいフレームワークを提案する。 本稿では,自然言語記述やデータ,図形などのリッチで非構造化のコンテキストを,有効かつ抽出可能な確率分布に変換する,原則付き演算子である‘texttt{LLMPrior} を紹介する。 本研究では, LLM とガウス混合モデル(LLM をベースとした混合密度ネットワークを形成する)のような明示的かつトラクタブルな生成モデルとをアーキテクチャ的に結合させることにより, この演算子を形式化する。 我々はさらに、このフレームワークを、分散知識によって引き起こされる事前分布を集約するために対数オピニオンプールが使用されるマルチエージェントシステムに拡張する。 我々は、分散した文脈依存の事前情報をヘテロジニティに頑健な方法で集約するために、フェデレートされた事前集約アルゴリズムである \texttt{Fed-LLMPrior} を提案する。 この研究は、洗練されたベイズモデリングの参入障壁を低くすることができる新しい種類のツールの基礎を提供する。

関連論文リスト

• Federated Majorize-Minimization: Beyond Parameter Aggregation [27.52398073700742]
  本稿では,フェデレートされた学習環境に頑健にスケールする最適化アルゴリズムを設計するための統一的なアプローチを提案する。 本フレームワークは,スムーズな目的のための(近似的な)勾配に基づくアルゴリズム,期待最大化アルゴリズム,および変分代理MMとして見られる多くの問題を含む。 本稿では,従来の MM プロシージャを特別な例として含む Approximation Surrogate MM (SSMM) と呼ばれる統一アルゴリズムを動機付けていることを示す。
  論文  参考訳（メタデータ） (2025-07-23T14:13:19Z)
• FuDoBa: Fusing Document and Knowledge Graph-based Representations with Bayesian Optimisation [43.56253799373878]
  本稿では,LLMに基づく埋め込みとドメイン固有の構造化知識を統合したベイズ最適化に基づくFuDoBaを紹介する。 この融合は、訓練の複雑さを減らし、解釈可能な早期融合重みを生み出すとともに、低次元のタスク関連表現を生成する。 2つの領域における6つのデータセットに対するアプローチの有効性を実証し、提案した表現学習アプローチが、プロプライエタリなLCMベースの埋め込みベースラインでのみ生成されるものと同程度に、あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2025-07-09T07:49:55Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [50.19188692497892]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Unconstrained Model Merging for Enhanced LLM Reasoning [42.079040543428036]
  複数のエキスパートモデルをひとつの大きな言語モデルにマージする可能性について検討する。 等質なモデルアーキテクチャと異質なモデルアーキテクチャの両方に対応可能な,制約のないモデルマージフレームワークを提案する。 7つのベンチマークと9つの推論最適化LDMで、推論がマージから出現する重要な発見を明らかにする。
  論文  参考訳（メタデータ） (2024-10-17T16:04:07Z)
• Context-Aware Clustering using Large Language Models [20.971691166166547]
  CACTUS (Context-Aware ClusTering with aUgmented triplet losS) を提案する。 本稿では,大規模言語モデル(LLM)を用いたクラスタリングエンティティサブセットへの新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-02T03:50:31Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
  シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。 この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。 私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
  論文  参考訳（メタデータ） (2022-02-02T08:00:21Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Struct-MMSB: Mixed Membership Stochastic Blockmodels with Interpretable Structured Priors [13.712395104755783]
  混合メンバシップブロックモデル(MMSB)は、コミュニティ検出とネットワーク生成のための一般的なフレームワークである。 最近開発された統計リレーショナル学習モデルであるヒンジロスマルコフ確率場(HL-MRF)を用いた柔軟なMMSBモデル、textitStruct-MMSBを提案する。 我々のモデルは、観測された特徴と会員分布の複雑な組み合わせとして符号化された有意義な潜伏変数を用いて、実世界のネットワークにおける潜伏特性を学習することができる。
  論文  参考訳（メタデータ） (2020-02-21T19:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。