Fugu-MT 論文翻訳(概要): A statistically consistent measure of semantic uncertainty using Language Models

論文の概要: A statistically consistent measure of semantic uncertainty using Language Models

arxiv url: http://arxiv.org/abs/2502.00507v3
Date: Sat, 24 May 2025 13:27:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 14:32:53.264467
Title: A statistically consistent measure of semantic uncertainty using Language Models
Title（参考訳）: 言語モデルを用いた意味的不確実性の統計的一貫した尺度
Authors: Yi Liu,
Abstract要約: 本稿では,意味的不確実性,意味的スペクトルエントロピーの新たな尺度を提案する。この尺度は、標準の事前訓練された言語モデルのみに依存する単純なアルゴリズムによって実装される。
参考スコア（独自算出の注目度）: 3.4933610074113464
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To address the challenge of quantifying uncertainty in the outputs generated by language models, we propose a novel measure of semantic uncertainty, semantic spectral entropy, that is statistically consistent under mild assumptions. This measure is implemented through a straightforward algorithm that relies solely on standard, pretrained language models, without requiring access to the internal generation process. Our approach imposes minimal constraints on the choice of language models, making it broadly applicable across different architectures and settings. Through comprehensive simulation studies, we demonstrate that the proposed method yields an accurate and robust estimate of semantic uncertainty, even in the presence of the inherent randomness characteristic of generative language model outputs.
Abstract（参考訳）: 言語モデルが生成するアウトプットの不確実性の定量化という課題に対処するため,軽度な仮定の下で統計的に一貫した意味的不確実性,意味的スペクトルエントロピーの新たな尺度を提案する。この尺度は、内部生成プロセスへのアクセスを必要とせずに、標準で事前訓練された言語モデルのみに依存する単純なアルゴリズムによって実装される。私たちのアプローチでは、言語モデルの選択に最小限の制約を課し、異なるアーキテクチャや設定に広く適用できます。包括的シミュレーション研究を通じて,生成言語モデル出力の固有ランダム性特性の存在下においても,提案手法が意味的不確実性の正確かつ堅牢な推定を導出することを示した。

関連論文リスト

Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-30T04:41:46Z)
On Uncertainty In Natural Language Processing [2.5076643086429993]
この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
論文参考訳（メタデータ） (2024-10-04T14:08:02Z)
Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Modelled Multivariate Overlap: A method for measuring vowel merger [0.0]
本稿では,母音重複の定量化手法を提案する。英語の4方言におけるPIN-PEN統合をターゲットとしたコーパス音声データの評価を行った。
論文参考訳（メタデータ） (2024-06-24T04:56:26Z)
On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。この研究はベイズ決定論の観点からこれらの課題に対処する。本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。提案手法はブラックボックス言語モデルに適用できる。
論文参考訳（メタデータ） (2024-06-07T18:54:40Z)
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文参考訳（メタデータ） (2024-05-30T12:42:05Z)
Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
論文参考訳（メタデータ） (2024-05-17T17:49:44Z)
Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation [12.921225188504643]
本稿では,ペア応答の品質に対するロバストな不確実性推定を導入した不確実性認識リワードモデル(URM)を提案する。実験結果から,提案したプロキシを言語モデルトレーニングに組み込むことによる大きなメリットが示された。
論文参考訳（メタデータ） (2024-05-10T12:14:11Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文参考訳（メタデータ） (2023-08-03T12:43:21Z)
Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。言語生成に適用するための実践的境界を開発する。本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文参考訳（メタデータ） (2023-02-26T16:32:52Z)
Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation [37.37606905433334]
我々は,「意味的同値性」により,自然言語の不確実性の測定が困難であることを示す。意味的エントロピー(semantic entropy)は、共有された意味によって生成される言語的不変性を含むエントロピーである。本手法は教師なしで,単一のモデルのみを使用し,既製の言語モデルの変更は不要である。
論文参考訳（メタデータ） (2023-02-19T20:10:07Z)
Uncertainty Quantification for Rule-Based Models [0.03807314298073299]
ルールベースの分類モデルは、確率をモデル化し、統計モデルのように予測に変換するのではなく、直接値を予測する。本稿では,二項出力を持つ二項分類器をブラックボックスとして扱うメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力におけるそのベースモデルの予測精度を推定する。
論文参考訳（メタデータ） (2022-11-03T15:50:09Z)
Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文参考訳（メタデータ） (2021-11-22T08:54:10Z)
Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
論文参考訳（メタデータ） (2021-09-15T09:10:05Z)
Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
論文参考訳（メタデータ） (2021-06-06T06:36:52Z)
Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
論文参考訳（メタデータ） (2021-05-27T00:59:29Z)
Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文参考訳（メタデータ） (2020-12-30T20:40:48Z)
Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文参考訳（メタデータ） (2020-05-22T22:30:52Z)
Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文参考訳（メタデータ） (2020-05-21T16:08:38Z)
Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。