論文の概要: A Survey of Calibration Process for Black-Box LLMs

• arxiv url: http://arxiv.org/abs/2412.12767v1
• Date: Tue, 17 Dec 2024 10:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:46.490578
• Title: A Survey of Calibration Process for Black-Box LLMs
• Title（参考訳）: ブラックボックスLCMの校正過程に関する調査
• Authors: Liangru Xie, Hui Liu, Jingying Zeng, Xianfeng Tang, Yan Han, Chen Luo, Jing Huang, Zhen Li, Suhang Wang, Qi He,
• Abstract要約: 大規模言語モデル(LLM)は意味理解と生成において顕著な性能を示す。 出力の信頼性を正確に評価することは 重要な課題です Black-Box LLMは、APIのみのインタラクション制約のため、キャリブレーションテクニックの要求が高められている。
• 参考スコア（独自算出の注目度）: 32.911426143682334
• License:
• Abstract: Large Language Models (LLMs) demonstrate remarkable performance in semantic understanding and generation, yet accurately assessing their output reliability remains a significant challenge. While numerous studies have explored calibration techniques, they primarily focus on White-Box LLMs with accessible parameters. Black-Box LLMs, despite their superior performance, pose heightened requirements for calibration techniques due to their API-only interaction constraints. Although recent researches have achieved breakthroughs in black-box LLMs calibration, a systematic survey of these methodologies is still lacking. To bridge this gap, we presents the first comprehensive survey on calibration techniques for black-box LLMs. We first define the Calibration Process of LLMs as comprising two interrelated key steps: Confidence Estimation and Calibration. Second, we conduct a systematic review of applicable methods within black-box settings, and provide insights on the unique challenges and connections in implementing these key steps. Furthermore, we explore typical applications of Calibration Process in black-box LLMs and outline promising future research directions, providing new perspectives for enhancing reliability and human-machine alignment. This is our GitHub link: https://github.com/LiangruXie/Calibration-Process-in-Black-Box-LLMs
• Abstract（参考訳）: 大規模言語モデル(LLM)はセマンティック理解と生成において顕著な性能を示すが、その出力信頼性を正確に評価することは大きな課題である。 多くの研究が校正技法を探求してきたが、それらは主にアクセス可能なパラメータを持つWhite-Box LLMに焦点を当てている。 Black-Box LLMは、優れた性能にもかかわらず、APIのみのインタラクション制約のため、キャリブレーションテクニックの要求が高められている。 最近の研究は、ブラックボックスLSMの校正において画期的な成果を上げているが、これらの方法論の体系的な調査はいまだに不足している。 このギャップを埋めるために,ブラックボックスLCMの校正技術に関する総合的な調査を行った。 まず, LLMの校正過程を, 信頼度推定と校正の2つの重要なステップからなるものとして定義する。 第2に、ブラックボックス設定における適用方法の体系的なレビューを行い、これらの重要なステップを実装する上での固有の課題とコネクションについて考察する。 さらに,ブラックボックスLCMにおける校正プロセスの典型的応用について検討し,将来的な研究の方向性を概説し,信頼性の向上と人間機械の整合性向上に向けた新たな視点を提供する。 https://github.com/LiangruXie/Calibration-Process-in-Black-Box-LLMs

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Influences on LLM Calibration: A Study of Response Agreement, Loss Functions, and Prompt Styles [4.477423478591491]
  Calib-nは、信頼度推定のための補助モデルをトレーニングする新しいフレームワークである。 補助的なモデルベース手法では,数発のプロンプトが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2025-01-07T18:48:42Z)
• Unveiling Uncertainty: A Deep Dive into Calibration and Performance of Multimodal Large Language Models [36.81503322875839]
  MLLM(Multimodal large language model)は、画像キャプションや視覚的質問応答といったタスクの視覚的データとテキスト的データを組み合わせたモデルである。 本稿では,MLLMの代表例について,様々なシナリオにおけるキャリブレーションに着目して検討する。 その結果, キャリブレーションの相違は認められなかったが, キャリブレーションの相違は認められなかった。
  論文  参考訳（メタデータ） (2024-12-19T09:10:07Z)
• Does Alignment Tuning Really Break LLMs' Internal Confidence? [5.893124686141782]
  大規模言語モデル(LLM)は目覚ましい進歩を見せているが、実際の応用には信頼性の高い校正が必要である。 本研究は, モデル, キャリブレーション指標, タスク, 信頼抽出方法の4次元にわたるLCMのキャリブレーション劣化の包括的解析を行う。
  論文  参考訳（メタデータ） (2024-08-31T05:12:36Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Thermometer: Towards Universal Calibration for Large Language Models [22.03852781949075]
  大規模言語モデル(LLM)に適したキャリブレーション手法であるOMETERを提案する。 OMETERは、複数のタスクから与えられたデータに基づいて補助モデルを学び、LLMを校正する。 計算効率が高く、LLMの精度を保ち、新しいタスクに対してより良い校正された応答を生成する。
  論文  参考訳（メタデータ） (2024-02-20T04:13:48Z)
• Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering [12.348320788446841]
  Batch (BC) は、バッチ入力からコンテキストバイアスを制御する、単純だが直感的な手法である。 BCはゼロショットであり、推論のみであり、追加コストは無視できない。 10以上の自然言語理解および画像分類タスクにおいて,従来のキャリブレーションベースラインに対する最先端性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T13:55:45Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。