論文の概要: Structured Inference with Large Language Gibbs

• arxiv url: http://arxiv.org/abs/2606.19264v1
• Date: Wed, 17 Jun 2026 16:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.277007
• Title: Structured Inference with Large Language Gibbs
• Title（参考訳）: 大規模言語ギブを用いた構造化推論
• Authors: Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer,
• Abstract要約: 大規模言語ギブズ(Large Language Gibbs)は、構造化確率的推論のスキームである。 我々は LLM の次点条件を用いて, 他者に対して条件付き変数を反復的に再サンプリングする。 以上の結果から, LLMコンディショナーの利用は, ワンパス生成の代替となることが示唆された。
• 参考スコア（独自算出の注目度）: 7.957316189858324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The knowledge encoded in large language models (LLMs) can serve as a substrate for structured reasoning over variables describing a complex world, but accessing this knowledge in a probabilistically coherent manner poses a difficult inference problem. We propose Large Language Gibbs, a scheme for structured probabilistic inference that uses conditional distributions of an LLM as transition operators. Rather than sampling structured objects through single-pass autoregressive generation, we iteratively resample individual variables conditioned on others using an LLM's next-token conditionals. This approach avoids order-dependent biases and produces a stationary distribution that reflects a compromise between all local conditionals. We apply this approach to sampling from synthetic distributions, consistent reasoning tasks, and Bayesian structure learning. The results suggest that the use of LLM conditionals in MCMC is a practical alternative to one-pass generation for structured probabilistic inference under a world prior accessible through noisy LLM conditionals.
• Abstract（参考訳）: 大規模言語モデル(LLM)で符号化された知識は、複素世界を記述する変数に対する構造化推論の基盤として機能するが、確率論的に一貫性のある方法でこの知識にアクセスすることは、難しい推論問題を引き起こす。 LLMの条件分布を遷移演算子として用いた構造的確率的推論手法であるLarge Language Gibbsを提案する。 単一パス自己回帰生成により構造化対象をサンプリングする代わりに、LLMの次トーケン条件を用いて、他者に条件付けられた個々の変数を反復的に再サンプリングする。 このアプローチは順序依存バイアスを回避し、すべての局所条件間の妥協を反映した定常分布を生成する。 本稿では,合成分布のサンプリング,一貫した推論タスク,ベイズ構造学習に適用する。 その結果, MCMCにおけるLLM条件は, 雑音の多いLLM条件によって先行的にアクセス可能な世界における構造的確率推論のための1パス生成の代替となることが示唆された。

関連論文リスト

• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• Combinatorial Optimization via LLM-driven Iterated Fine-tuning [47.66752049943335]
  我々は,Large Language Models (LLMs) を利用して,柔軟で文脈に依存しない制約を最適化に統合する新しい方法を提案する。 本フレームワークは, 局所的制約と厳密なグローバル最適化とのバランスを, ベースラインサンプリング法よりも効率的に行う。
  論文  参考訳（メタデータ） (2025-03-10T04:58:18Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Deep de Finetti: Recovering Topic Distributions from Large Language Models [10.151434138893034]
  大規模言語モデル(LLM)は長く一貫性のあるテキストを生成できる。 LLMは文書を特徴付ける潜在構造を表現する必要がある。 本稿では,文書のトピック構造を補完する側面について考察する。
  論文  参考訳（メタデータ） (2023-12-21T16:44:39Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。