論文の概要: A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2603.26363v1
- Date: Fri, 27 Mar 2026 12:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.506409
- Title: A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたテキスト生成の不確かさ解析のための形式的枠組み
- Authors: Steffen Herbold, Florian Lemmerich,
- Abstract要約: LLM(Large Language Models)を用いたテキスト生成は本質的に不確実である。
これらの異なる側面を考慮に入れた不確実性の測定のための公式なフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 4.554894288663752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generation of texts using Large Language Models (LLMs) is inherently uncertain, with sources of uncertainty being not only the generation of texts, but also the prompt used and the downstream interpretation. Within this work, we provide a formal framework for the measurement of uncertainty that takes these different aspects into account. Our framework models prompting, generation, and interpretation as interconnected autoregressive processes that can be combined into a single sampling tree. We introduce filters and objective functions to describe how different aspects of uncertainty can be expressed over the sampling tree and demonstrate how to express existing approaches towards uncertainty through these functions. With our framework we show not only how different methods are formally related and can be reduced to a common core, but also point out additional aspects of uncertainty that have not yet been studied.
- Abstract（参考訳）: LLM(Large Language Models)を用いたテキストの生成は本質的に不確実であり、不確実性の原因はテキストの生成だけでなく、即時使用と下流解釈である。
この研究の中で、これらの異なる側面を考慮に入れた不確実性の測定のための正式なフレームワークを提供する。
我々のフレームワークモデルでは、相互接続された自己回帰プロセスとして、単一のサンプリングツリーに組み合わせられるようにし、生成し、解釈します。
サンプリングツリー上で不確実性の異なる側面をどう表現できるかを説明するためにフィルタと目的関数を導入し、これらの関数を通して既存の不確実性に対するアプローチを表現する方法を示す。
我々のフレームワークでは、どのように異なるメソッドが公式に関連付けられ、共通のコアに還元できるかを示すだけでなく、まだ研究されていない不確実性についても指摘しています。
関連論文リスト
- Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。
準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。
このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
論文 参考訳（メタデータ） (2025-04-16T11:27:47Z) - A Causal Lens for Evaluating Faithfulness Metrics [11.80379109128303]
因果診断(Causal Diagnosticity)は、自然言語の説明のための忠実度指標を評価するための共通のテストベッドとして機能するフレームワークである。
我々のフレームワークは診断の概念を採用し、モデル編集手法を用いて忠実で不誠実な説明ペアを生成する。
我々は,ポストホックな説明やチェーン・オブ・ソート・ベースの手法を含む,顕著な忠実度指標を評価した。
論文 参考訳（メタデータ） (2025-02-26T05:35:53Z) - CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。
LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。
我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
論文 参考訳（メタデータ） (2024-09-04T18:27:12Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳（メタデータ） (2024-02-15T18:46:24Z) - Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。
凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。
我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:22:49Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳（メタデータ） (2023-06-06T11:37:46Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。
これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。
これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文 参考訳（メタデータ） (2021-04-18T09:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。