論文の概要: A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2603.26363v1
- Date: Fri, 27 Mar 2026 12:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.506409
- Title: A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたテキスト生成の不確かさ解析のための形式的枠組み
- Abstract要約: LLM(Large Language Models)を用いたテキスト生成は本質的に不確実である。
これらの異なる側面を考慮に入れた不確実性の測定のための公式なフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 4.554894288663752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generation of texts using Large Language Models (LLMs) is inherently uncertain, with sources of uncertainty being not only the generation of texts, but also the prompt used and the downstream interpretation. Within this work, we provide a formal framework for the measurement of uncertainty that takes these different aspects into account. Our framework models prompting, generation, and interpretation as interconnected autoregressive processes that can be combined into a single sampling tree. We introduce filters and objective functions to describe how different aspects of uncertainty can be expressed over the sampling tree and demonstrate how to express existing approaches towards uncertainty through these functions. With our framework we show not only how different methods are formally related and can be reduced to a common core, but also point out additional aspects of uncertainty that have not yet been studied.
- Abstract（参考訳）: LLM(Large Language Models)を用いたテキストの生成は本質的に不確実であり、不確実性の原因はテキストの生成だけでなく、即時使用と下流解釈である。
この研究の中で、これらの異なる側面を考慮に入れた不確実性の測定のための正式なフレームワークを提供する。
我々のフレームワークモデルでは、相互接続された自己回帰プロセスとして、単一のサンプリングツリーに組み合わせられるようにし、生成し、解釈します。
サンプリングツリー上で不確実性の異なる側面をどう表現できるかを説明するためにフィルタと目的関数を導入し、これらの関数を通して既存の不確実性に対するアプローチを表現する方法を示す。
我々のフレームワークでは、どのように異なるメソッドが公式に関連付けられ、共通のコアに還元できるかを示すだけでなく、まだ研究されていない不確実性についても指摘しています。
関連論文リスト
- Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。
準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。
このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
論文 参考訳（メタデータ） (2025-04-16T11:27:47Z) - A Causal Lens for Evaluating Faithfulness Metrics [11.80379109128303]
因果診断(Causal Diagnosticity)は、自然言語の説明のための忠実度指標を評価するための共通のテストベッドとして機能するフレームワークである。
我々のフレームワークは診断の概念を採用し、モデル編集手法を用いて忠実で不誠実な説明ペアを生成する。
我々は,ポストホックな説明やチェーン・オブ・ソート・ベースの手法を含む,顕著な忠実度指標を評価した。
論文 参考訳（メタデータ） (2025-02-26T05:35:53Z) - A statistically consistent measure of semantic uncertainty using Language Models [3.4933610074113464]
本稿では,意味的不確実性,意味的スペクトルエントロピーの新たな尺度を提案する。
この尺度は、標準の事前訓練された言語モデルのみに依存する単純なアルゴリズムによって実装される。
論文 参考訳（メタデータ） (2025-02-01T17:55:58Z) - CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。
LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。
我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
論文 参考訳（メタデータ） (2024-09-04T18:27:12Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳（メタデータ） (2024-02-15T18:46:24Z) - Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。
凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。
我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:22:49Z) - Modeling Uncertainty in Personalized Emotion Prediction with Normalizing
Flows [6.32047610997385]
本研究では,条件付き正規化フローを用いて予測の不確かさを捉える新しい手法を提案する。
感情認識とヘイトスピーチを含む3つの主観的NLP課題に対して,本手法の有効性を検証した。
開発した手法によって得られた情報により,従来の手法を超越したハイブリッドモデルの構築が可能となった。
論文 参考訳（メタデータ） (2023-12-10T23:21:41Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳（メタデータ） (2023-06-06T11:37:46Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳（メタデータ） (2021-04-18T09:19:44Z) - Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。
情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。
我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
論文 参考訳（メタデータ） (2020-10-24T03:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。