論文の概要: Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/2404.17546v1
• Date: Fri, 26 Apr 2024 17:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 12:25:41.811883
• Title: Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo
• Title（参考訳）: ツイスト列モンテカルロによる言語モデルの確率的推論
• Authors: Stephen Zhao, Rob Brekelmans, Alireza Makhzani, Roger Grosse,
• Abstract要約: 我々は、確率的推論問題にSequential Monte Carlo (SMC) のリッチツールキットを利用する。 学習されたツイスト関数を用いて、各時点におけるポテンシャルの将来的価値を推定する。 本稿では,言語モデル推論手法の精度を評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.182174507225034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous capability and safety techniques of Large Language Models (LLMs), including RLHF, automated red-teaming, prompt engineering, and infilling, can be cast as sampling from an unnormalized target distribution defined by a given reward or potential function over the full sequence. In this work, we leverage the rich toolkit of Sequential Monte Carlo (SMC) for these probabilistic inference problems. In particular, we use learned twist functions to estimate the expected future value of the potential at each timestep, which enables us to focus inference-time computation on promising partial sequences. We propose a novel contrastive method for learning the twist functions, and establish connections with the rich literature of soft reinforcement learning. As a complementary application of our twisted SMC framework, we present methods for evaluating the accuracy of language model inference techniques using novel bidirectional SMC bounds on the log partition function. These bounds can be used to estimate the KL divergence between the inference and target distributions in both directions. We apply our inference evaluation techniques to show that twisted SMC is effective for sampling undesirable outputs from a pretrained model (a useful component of harmlessness training and automated red-teaming), generating reviews with varied sentiment, and performing infilling tasks.
• Abstract（参考訳）: RLHF, 自動リピート, プロンプトエンジニアリング, インフィルなど, 大規模言語モデル (LLM) の多くの機能と安全性技術は, 与えられた報酬やポテンシャル関数によって定義された正規化対象分布からのサンプリングとして, フルシーケンス上でのサンプリングとして利用することができる。 本研究では、これらの確率論的推論問題に対して、Sequential Monte Carlo (SMC) のリッチツールキットを利用する。 特に,学習されたツイスト関数を用いて各時刻におけるポテンシャルの将来的価値を推定し,予測された部分列に推論時間計算を集中させることができる。 本稿では、ツイスト関数を学習するための新しいコントラスト法を提案し、ソフト強化学習の豊かな文献との結びつきを確立する。 本稿では, 対数分割関数上の新たな双方向SMC境界を用いて, 言語モデル推論手法の精度を評価する手法を提案する。 これらの境界は、両方の方向における推定と目標分布の間のKLのばらつきを推定するために用いられる。 予測評価手法を適用し, 予め訓練したモデルから望ましくない出力(無害トレーニングや自動リピートに有用な要素)を抽出し, 様々な感情でレビューを生成し, 入力タスクを実行するのに有効であることを示す。

関連論文リスト

• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling [7.179313063022576]
  本稿では,ニューラルネットワーク上に構築された現在の確率モデルベース強化学習(MBRL)の予測安定性,予測精度,制御能力について述べる。 トラジェクトリサンプリング(DPETS)を用いた新しいアプローチであるドロップアウト型確率アンサンブルを提案する。
  論文  参考訳（メタデータ） (2023-09-20T06:39:19Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• Cheap and Deterministic Inference for Deep State-Space Models of Interacting Dynamical Systems [38.23826389188657]
  本稿では,基礎となる相互作用力学系をモデル化するために,グラフニューラルネットワークを用いた深部状態空間モデルを提案する。 予測分布はマルチモーダルであり、ガウス混合モデルの形をしており、ガウス成分のモーメントは決定論的モーメントマッチングルールによって計算できる。 我々のモーメントマッチングスキームはサンプルのない推論に利用でき、モンテカルロの代替案と比較してより効率的で安定した訓練がもたらされる。
  論文  参考訳（メタデータ） (2023-05-02T20:30:23Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Learning Operators with Coupled Attention [9.715465024071333]
  本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。 我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。 これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
  論文  参考訳（メタデータ） (2022-01-04T08:22:03Z)
• Nonparametric Conditional Density Estimation In A Deep Learning Framework For Short-Term Forecasting [0.34410212782758043]
  多くの機械学習技術は、対象変数の条件分布の単一点予測を与える。 本研究では,条件分布全体を同時に推定し,柔軟に機械学習技術を組み込む技術を提案する。
  論文  参考訳（メタデータ） (2020-08-17T22:31:19Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。