論文の概要: Credence Calibration Game? Calibrating Large Language Models through Structured Play

• arxiv url: http://arxiv.org/abs/2508.14390v1
• Date: Wed, 20 Aug 2025 03:33:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.327358
• Title: Credence Calibration Game? Calibrating Large Language Models through Structured Play
• Title（参考訳）: クレデンス校正ゲーム : 構造化遊びによる大規模言語モデルの校正
• Authors: Ke Fang, Tianyi Zhao, Lu Cheng,
• Abstract要約: 大きな言語モデル(LLM)は、決定クリティカルなドメインにますますデプロイされています。 既存の校正法は主にポストホック調整や補助モデル訓練に重点を置いている。 クレデンスゲームに触発された新しいプロンプトベースのキャリブレーションフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.618123969871241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed in decision-critical domains, it becomes essential to ensure that their confidence estimates faithfully correspond to their actual correctness. Existing calibration methods have primarily focused on post-hoc adjustments or auxiliary model training; however, many of these approaches necessitate additional supervision or parameter updates. In this work, we propose a novel prompt-based calibration framework inspired by the Credence Calibration Game. Our method establishes a structured interaction loop wherein LLMs receive feedback based on the alignment of their predicted confidence with correctness. Through feedback-driven prompting and natural language summaries of prior performance, our framework dynamically improves model calibration. Extensive experiments across models and game configurations demonstrate consistent improvements in evaluation metrics. Our results highlight the potential of game-based prompting as an effective strategy for LLM calibration. Code and data are available at https://anonymous.4open.science/r/LLM-Calibration/.
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます決定クリティカルな領域に展開されているため、信頼度推定が実際の正確性に忠実に対応していることを保証することが不可欠である。 既存のキャリブレーション手法は、主にポストホック調整や補助モデルトレーニングに重点を置いているが、これらのアプローチの多くは追加の監督やパラメータ更新を必要としている。 本研究では,Credence Calibration Gameに触発された新しいプロンプトベースのキャリブレーションフレームワークを提案する。 提案手法は,LLMが予測された信頼度と正しさのアライメントに基づいてフィードバックを受け取る構造的相互作用ループを確立する。 フィードバック駆動のプロンプトと先行性能の自然言語要約により、我々のフレームワークはモデル校正を動的に改善する。 モデルとゲーム構成にわたる大規模な実験は、評価指標の一貫性のある改善を示している。 LLMキャリブレーションの効果的な戦略としてゲームベースのプロンプトの可能性を強調した。 コードとデータはhttps://anonymous.4open.science/r/LLM-Calibration/で公開されている。

関連論文リスト

• Restoring Calibration for Aligned Large Language Models: A Calibration-Aware Fine-Tuning Approach [29.069314998955676]
  大言語モデル(LLM)の成功のための重要な技術である選好アライメント 本稿では,リコメンデーションアライメントがキャリブレーションになぜ影響するか,この問題にどう対処するかを検討する。
  論文  参考訳（メタデータ） (2025-05-04T05:42:51Z)
• Influences on LLM Calibration: A Study of Response Agreement, Loss Functions, and Prompt Styles [4.477423478591491]
  Calib-nは、信頼度推定のための補助モデルをトレーニングする新しいフレームワークである。 補助的なモデルベース手法では,数発のプロンプトが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2025-01-07T18:48:42Z)
• Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
  RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。 調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。 本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:36:12Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibrating Long-form Generations from Large Language Models [34.72041258464477]
  大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。 現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。 本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T17:00:32Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。