論文の概要: What Are the Odds? Language Models Are Capable of Probabilistic Reasoning

• arxiv url: http://arxiv.org/abs/2406.12830v3
• Date: Mon, 30 Sep 2024 11:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:17.304839
• Title: What Are the Odds? Language Models Are Capable of Probabilistic Reasoning
• Title（参考訳）: 言語モデルは確率論的推論が可能に
• Authors: Akshay Paruchuri, Jake Garrison, Shun Liao, John Hernandez, Jacob Sunshine, Tim Althoff, Xin Liu, Daniel McDuff,
• Abstract要約: 本稿では,言語モデル(LM)の確率論的推論能力を,理想化および実世界の統計分布を用いて評価することに集中する。 本研究では,パーセンタイルの推定,サンプルの描画,確率の計算という3つのタスクにおいて,最先端のLMの体系的評価を行う。
• 参考スコア（独自算出の注目度）: 23.487484744911995
• License:
• Abstract: Language models (LM) are capable of remarkably complex linguistic tasks; however, numerical reasoning is an area in which they frequently struggle. An important but rarely evaluated form of reasoning is understanding probability distributions. In this paper, we focus on evaluating the probabilistic reasoning capabilities of LMs using idealized and real-world statistical distributions. We perform a systematic evaluation of state-of-the-art LMs on three tasks: estimating percentiles, drawing samples, and calculating probabilities. We evaluate three ways to provide context to LMs 1) anchoring examples from within a distribution or family of distributions, 2) real-world context, 3) summary statistics on which to base a Normal approximation. Models can make inferences about distributions, and can be further aided by the incorporation of real-world context, example shots and simplified assumptions, even if these assumptions are incorrect or misspecified. To conduct this work, we developed a comprehensive benchmark distribution dataset with associated question-answer pairs that we have released publicly.
• Abstract（参考訳）: 言語モデル (LM) は極めて複雑な言語処理を行うことができるが、数値推論はそれらがしばしば苦労する分野である。 推論の重要であるが稀に評価される形式は確率分布の理解である。 本稿では,理想化および実世界の統計分布を用いたLMの確率論的推論能力の評価に焦点をあてる。 本研究では,パーセンタイルの推定,サンプルの描画,確率の計算という3つのタスクにおいて,最先端のLMの体系的評価を行う。 LMにコンテキストを提供する3つの方法を評価する。 1) 配当又は配当系統の例を固定すること。 2)現実世界の文脈。 3) 正規近似を基礎とする統計の要約。 モデルは分布に関する推論を行うことができ、たとえこれらの仮定が間違っていたり間違っていたとしても、実世界の文脈、例えばショットや単純化された仮定を組み込むことによってさらに助けられる。 そこで我々は,これまでに公開してきた質問応答ペアを用いた総合的なベンチマーク分布データセットを開発した。

関連論文リスト

• Domain Generalization with Small Data [27.040070085669086]
  我々は,各データポイントを確率的埋め込みにマッピングすることで,確率的フレームワークに基づくドメイン不変表現を学習する。 提案手法は,分布上のテクスト分布の測定値(大域的視点アライメント)と分布に基づくコントラスト的セマンティックアライメント(コントラスト的セマンティックアライメント)を結合することができる。
  論文  参考訳（メタデータ） (2024-02-09T02:59:08Z)
• Numerically assisted determination of local models in network scenarios [55.2480439325792]
  統計的振る舞いを再現する明示的な局所モデルを見つけるための数値ツールを開発する。 グリーンベルガー・ホルン・ザイリンガー(GHZ)およびW分布の臨界振動性に関する予想を提供する。 開発されたコードとドキュメントは、281.com/mariofilho/localmodelsで公開されている。
  論文  参考訳（メタデータ） (2023-03-17T13:24:04Z)
• Learning and Predicting Multimodal Vehicle Action Distributions in a Unified Probabilistic Model Without Labels [26.303522885475406]
  本稿では、個別の車両行動の代表集合を学習し、特定のシナリオに応じて各行動の確率を予測する統一確率モデルを提案する。 我々のモデルはまた、シナリオ上で条件付けられた連続的な軌道上の分布を推定することができ、そのシナリオで実行された場合、それぞれの離散アクションがどのように見えるかを表現します。
  論文  参考訳（メタデータ） (2022-12-14T04:01:19Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Mandoline: Model Evaluation under Distribution Shift [8.007644303175395]
  マシンラーニングモデルは、トレーニングや検証対象と異なる設定でデプロイされることが多い。 これらの問題を緩和する新しい評価フレームワークであるMandolineを開発した。 ユーザーは単純な"スライシング関数" - ノイズがあり、分散シフトの可能な軸をキャプチャすることを目的とした、潜在的に相関したバイナリ関数を書く。
  論文  参考訳（メタデータ） (2021-07-01T17:57:57Z)
• A Brief Introduction to Generative Models [8.031257560764336]
  我々は、機械学習の中心課題として生成モデリングを導入し、動機づける。 KL-発散の最小化としてどのように解釈できるかを概説する。 本稿では,推定分布と実データ分布の差異を考察する代替逆アプローチを検討する。
  論文  参考訳（メタデータ） (2021-02-27T16:49:41Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Contextuality scenarios arising from networks of stochastic processes [68.8204255655161]
  経験的モデルは、その分布が X 上の合同分布を極小化することができなければ文脈的と言える。 我々は、多くのプロセス間の相互作用という、文脈的経験的モデルの異なる古典的な源泉を示す。 長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。
  論文  参考訳（メタデータ） (2020-06-22T16:57:52Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。