論文の概要: Conformal Linguistic Calibration: Trading-off between Factuality and Specificity

• arxiv url: http://arxiv.org/abs/2502.19110v1
• Date: Wed, 26 Feb 2025 13:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:09.582374
• Title: Conformal Linguistic Calibration: Trading-off between Factuality and Specificity
• Title（参考訳）: Conformal Linguistic Calibration: Factuality と Specificity のトレードオフ
• Authors: Zhengping Jiang, Anqi Liu, Benjamin Van Durme,
• Abstract要約: 本稿では,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する統一的な枠組みを提案する。 本稿では,モデル応答における不正確度を制御できる実装について述べる。 提案手法は,不確実性を考慮した適応的クレーム書き換えを微調整モデルで実現し,事実性と特異性の間に制御可能なバランスを与える。
• 参考スコア（独自算出の注目度）: 41.45862052156885
• License:
• Abstract: Language model outputs are not always reliable; this prompts research into methods for adapting model responses based on uncertainty. Common approaches include: \emph{abstention}, where models refrain from generating responses when uncertain; and \emph{linguistic calibration}, where models hedge their statements using uncertainty quantifiers. However, abstention can withhold valuable information, while linguistically calibrated responses are often challenging to leverage in downstream tasks. We propose a unifying view of both approaches, Conformal Linguistic Calibration (CLC), reinterpreting linguistic calibration as answer set prediction. We begin by presenting a unified framework that connects abstention and linguistic calibration through the lens of linguistic pragmatics. We then describe an implementation that allows for controlling the level of imprecision in model responses. Experimental results show that our method produces calibrated outputs with conformal guarantees on factual accuracy. Furthermore, our approach enables fine-tuning models to perform uncertainty-aware adaptive claim rewriting, offering a controllable balance between factuality and specificity.
• Abstract（参考訳）: 言語モデルの出力は必ずしも信頼できないため、不確実性に基づいたモデル応答の適応方法の研究が促される。 一般的なアプローチとしては、モデルが不確実な場合に応答を生成するのを控える \emph{abstention} と、不確実な量化子を使用してステートメントをヘッジする \emph{linguistic calibration} がある。 しかし, 言語的に校正された応答は, 下流タスクの活用が困難な場合が多い。 本稿では,両アプローチの統一的な視点として,言語キャリブレーションを解答集合予測として再解釈するCLC(Conformal Linguistic Calibration)を提案する。 我々はまず,言語プラグマティクスのレンズを通して,抑止と言語キャリブレーションを結合する統一的な枠組みを提示することから始める。 次に,モデル応答における不正確性のレベルを制御する実装について述べる。 実験結果から,本手法は実精度に適合した精度でキャリブレーションされた出力を生成することがわかった。 さらに,本手法では,不確実性を考慮した適応的クレーム書き換えを微調整モデルで実現し,事実性と特異性の間に制御可能なバランスを与える。

関連論文リスト

• COPU: Conformal Prediction for Uncertainty Quantification in Natural Language Generation [14.461333001997449]
  大規模言語モデル(LLM)の性能評価には,自然言語生成のための不確実性定量化(UQ)が不可欠である。 提案手法は,候補出力に基底真理を明示的に付加し,ロジットスコアを用いて非整合性を測定する手法である。
  論文  参考訳（メタデータ） (2025-02-18T07:25:12Z)
• The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration [5.616884466478886]
  プレトレーニング言語モデル(PLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、PLMは誤校正に悩まされており、これらのモデルによる信頼度推定の精度の欠如が示唆されている。 本稿では,低校正誤差が言語モデルの信頼性決定ルールを意味するか否かを考察する。
  論文  参考訳（メタデータ） (2024-12-17T08:04:28Z)
• Finetuning Language Models to Emit Linguistic Expressions of Uncertainty [5.591074369497796]
  大規模言語モデル(LLM)は情報検索や意思決定のタスクにますます採用されている。 LLMは現実世界の事実と矛盾する情報を生成する傾向があり、その説得的なスタイルはこれらの不正確さを自信と説得力に見せかける。 本研究では,不確実性の言語表現を生成するモデルを開発する手法として,不確実性拡張予測の教師付き微調整について検討する。
  論文  参考訳（メタデータ） (2024-09-18T17:52:53Z)
• On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
  大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。 この研究はベイズ決定論の観点からこれらの課題に対処する。 本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。 提案手法はブラックボックス言語モデルに適用できる。
  論文  参考訳（メタデータ） (2024-06-07T18:54:40Z)
• Absolute convergence and error thresholds in non-active adaptive sampling [0.27624021966289597]
  非アクティブ適応サンプリングは、トレーニングベースから機械学習モデルを構築する方法である。 絶対収束と誤差しきい値を計算するための提案について述べる。 テストは私たちの期待に応え、自然言語処理の領域における提案を説明する。
  論文  参考訳（メタデータ） (2024-02-04T15:10:34Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。