論文の概要: Dutch Books for Language Models

• arxiv url: http://arxiv.org/abs/2609.02797v1
• Date: Wed, 02 Sep 2026 16:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.471676
• Title: Dutch Books for Language Models
• Title（参考訳）: オランダ語の言語モデルに関する書籍
• Abstract要約: デ・フィネッティによる定理に基づく手法を用いて,言語モデル確率予測のコヒーレンスを評価する。 ストックリターンデータから生成されたイベントの言語モデルから予測を抽出する。 言語モデル予測における不整合性の相当な証拠を見いだす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People increasingly use language models to support life decisions. Many such decisions involve a probabilistic forecast: How likely is a major life event, a natural disaster, or an economic outcome? Users of language models may implicitly trust that these forecasts fall out of a coherent world model. In this paper, we evaluate the coherence of language model probabilistic forecasts through a procedure that builds on a theorem due to de Finetti. We elicit forecasts from language models across events generated from stock returns data. We then use linear programs to compute the largest Dutch-book profit - the profit an arbitrageur could guarantee by betting against model-generated probabilities - which we use as a measure of incoherence. Our procedure does not require outcome labels, so we can evaluate coherence even in settings where outcomes are not observed or have not yet resolved. We find substantial evidence of incoherence in language model forecasts. Such incoherence increases when there are richer logical relationships between events, and irrelevant contextual details can increase incoherence by an order of magnitude. We conclude by discussing how alternative training strategies may improve probabilistic coherence.
• Abstract（参考訳）: 人々は人生の意思決定をサポートするために言語モデルをますます使います。 そのような決定の多くは確率的予測(probabilistic forecast)を含む: 主要な生命現象や自然災害、経済的な結果など、どの程度の確率で起こり得るか? 言語モデルのユーザーは、これらの予測が一貫性のある世界モデルから外れると暗黙に信じているかもしれない。 本稿では,デ・フィネッティによる定理に基づく手法を用いて,言語モデル確率予測のコヒーレンスを評価する。 ストックリターンデータから生成されたイベントの言語モデルから予測を抽出する。 次に、線形プログラムを使用して、オランダ製本で最大の利益を計算します - 仲裁人の利益は、モデル生成確率に対して賭けることによって保証され、不整合の尺度として使用します。 提案手法は結果ラベルを必要としないため,結果が観察されていない,あるいはまだ解決されていない状況でもコヒーレンスを評価することができる。 言語モデル予測における不整合性の相当な証拠を見いだす。 このような不整合は、事象の間によりリッチな論理的関係があるときに増加し、無関係な文脈的詳細は桁違いに不整合を増大させる。 我々は、代替トレーニング戦略が確率的コヒーレンスをどのように改善するかを議論することで締めくくります。

関連論文リスト

• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Evaluating language models as risk scores [23.779329697527054]
  質問応答 LLM を用いてリスクスコアを生成するソフトウェアパッケージである folktexts を紹介する。 提案した5つのベンチマークタスクにまたがって17の最近のLCMを評価した。 複数選択質問応答によるゼロショットリスクスコアは高い予測信号を持つが、広く誤校正されている。
  論文  参考訳（メタデータ） (2024-07-19T18:13:37Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Locally Typical Sampling [84.62530743899025]
  我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。 本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。