論文の概要: A statistically consistent measure of semantic uncertainty using Language Models

• arxiv url: http://arxiv.org/abs/2502.00507v3
• Date: Sat, 24 May 2025 13:27:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.264467
• Title: A statistically consistent measure of semantic uncertainty using Language Models
• Title（参考訳）: 言語モデルを用いた意味的不確実性の統計的一貫した尺度
• Authors: Yi Liu,
• Abstract要約: 本稿では,意味的不確実性,意味的スペクトルエントロピーの新たな尺度を提案する。 この尺度は、標準の事前訓練された言語モデルのみに依存する単純なアルゴリズムによって実装される。
• 参考スコア（独自算出の注目度）: 3.4933610074113464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the challenge of quantifying uncertainty in the outputs generated by language models, we propose a novel measure of semantic uncertainty, semantic spectral entropy, that is statistically consistent under mild assumptions. This measure is implemented through a straightforward algorithm that relies solely on standard, pretrained language models, without requiring access to the internal generation process. Our approach imposes minimal constraints on the choice of language models, making it broadly applicable across different architectures and settings. Through comprehensive simulation studies, we demonstrate that the proposed method yields an accurate and robust estimate of semantic uncertainty, even in the presence of the inherent randomness characteristic of generative language model outputs.
• Abstract（参考訳）: 言語モデルが生成するアウトプットの不確実性の定量化という課題に対処するため,軽度な仮定の下で統計的に一貫した意味的不確実性,意味的スペクトルエントロピーの新たな尺度を提案する。 この尺度は、内部生成プロセスへのアクセスを必要とせずに、標準で事前訓練された言語モデルのみに依存する単純なアルゴリズムによって実装される。 私たちのアプローチでは、言語モデルの選択に最小限の制約を課し、異なるアーキテクチャや設定に広く適用できます。 包括的シミュレーション研究を通じて,生成言語モデル出力の固有ランダム性特性の存在下においても,提案手法が意味的不確実性の正確かつ堅牢な推定を導出することを示した。

関連論文リスト

• Modelled Multivariate Overlap: A method for measuring vowel merger [0.0]
  本稿では,母音重複の定量化手法を提案する。 英語の4方言におけるPIN-PEN統合をターゲットとしたコーパス音声データの評価を行った。
  論文  参考訳（メタデータ） (2024-06-24T04:56:26Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation [37.37606905433334]
  我々は,「意味的同値性」により,自然言語の不確実性の測定が困難であることを示す。 意味的エントロピー(semantic entropy)は、共有された意味によって生成される言語的不変性を含むエントロピーである。 本手法は教師なしで,単一のモデルのみを使用し,既製の言語モデルの変更は不要である。
  論文  参考訳（メタデータ） (2023-02-19T20:10:07Z)
• Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
  連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T09:10:05Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
  厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。 本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
  論文  参考訳（メタデータ） (2021-05-27T00:59:29Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。