論文の概要: Amortizing intractable inference in large language models

• arxiv url: http://arxiv.org/abs/2310.04363v1
• Date: Fri, 6 Oct 2023 16:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 14:58:50.984422
• Title: Amortizing intractable inference in large language models
• Title（参考訳）: 大規模言語モデルにおける難解推論の補正
• Authors: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Nikolay Malkin
• Abstract要約: 難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
• 参考スコア（独自算出の注目度）: 59.77924190534093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive large language models (LLMs) compress knowledge from their training data through next-token conditional distributions. This limits tractable querying of this knowledge to start-to-end autoregressive sampling. However, many tasks of interest -- including sequence continuation, infilling, and other forms of constrained generation -- involve sampling from intractable posterior distributions. We address this limitation by using amortized Bayesian inference to sample from these intractable posteriors. Such amortization is algorithmically achieved by fine-tuning LLMs via diversity-seeking reinforcement learning algorithms: generative flow networks (GFlowNets). We empirically demonstrate that this distribution-matching paradigm of LLM fine-tuning can serve as an effective alternative to maximum-likelihood training and reward-maximizing policy optimization. As an important application, we interpret chain-of-thought reasoning as a latent variable modeling problem and demonstrate that our approach enables data-efficient adaptation of LLMs to tasks that require multi-step rationalization and tool use.
• Abstract（参考訳）: 自己回帰型大言語モデル (LLM) は、学習データから次の条件分布を通して知識を圧縮する。 これにより、この知識の抽出可能なクエリは、開始から終了までの自動回帰サンプリングに制限される。 しかし、シーケンス継続、補充、その他の制約された生成を含む多くのタスクは、難解な後続分布からのサンプリングを含む。 これらの難解な後方からサンプルを取るために、償却ベイズ推論を用いることで、この制限に対処します。 このような償却は、ダイバーシティシーキング強化学習アルゴリズム:生成フローネットワーク(gflownets)を介してllmを微調整することでアルゴリズム的に達成される。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大自由度トレーニングや報酬最大化ポリシ最適化の効果的な代替手段として有効であることを示す。 重要な応用として,連鎖的思考推論を潜在変数モデリング問題として解釈し,多段階の合理化とツール利用を必要とするタスクに対して,llmをデータ効率良く適用できることを実証する。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• P-TA: Using Proximal Policy Optimization to Enhance Tabular Data Augmentation via Large Language Models [15.969452637480167]
  我々は、GAN(Generative Adversarial Networks)を適用するために、PPO(Maximal Policy Optimization)を提案する。 PPOは、最先端のデータセットに対して合成生成されたデータに基づいてトレーニングされたモデルの精度を約4%向上させる。
  論文  参考訳（メタデータ） (2024-06-17T10:22:00Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。