論文の概要: Evaluating language models as risk scores

• arxiv url: http://arxiv.org/abs/2407.14614v2
• Date: Tue, 17 Sep 2024 17:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 21:29:24.989419
• Title: Evaluating language models as risk scores
• Title（参考訳）: リスクスコアとしての言語モデルの評価
• Authors: André F. Cruz, Moritz Hardt, Celestine Mendler-Dünner,
• Abstract要約: 言語モデルを用いてリスクスコアを生成するソフトウェアパッケージであるフォークテキストを紹介する。 フレキシブルなAPIは、異なるプロンプトスキーム、ローカルまたはWebホストモデル、多様な国勢調査コラムの使用を可能にする。 複数選択質問応答によるゼロショットリスクスコアは高い予測信号を持つが、広く誤校正されている。
• 参考スコア（独自算出の注目度）: 23.779329697527054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current question-answering benchmarks predominantly focus on accuracy in realizable prediction tasks. Conditioned on a question and answer-key, does the most likely token match the ground truth? Such benchmarks necessarily fail to evaluate language models' ability to quantify outcome uncertainty. In this work, we focus on the use of language models as risk scores for unrealizable prediction tasks. We introduce folktexts, a software package to systematically generate risk scores using language models, and evaluate them against US Census data products. A flexible API enables the use of different prompting schemes, local or web-hosted models, and diverse census columns that can be used to compose custom prediction tasks. We demonstrate the utility of folktexts through a sweep of empirical insights into the statistical properties of 17 recent large language models across five natural text benchmark tasks. We find that zero-shot risk scores produced by multiple-choice question-answering have high predictive signal but are widely miscalibrated. Base models consistently overestimate outcome uncertainty, while instruction-tuned models underestimate uncertainty and produce over-confident risk scores. In fact, instruction-tuning polarizes answer distribution regardless of true underlying data uncertainty. Conversely, verbally querying models for probability estimates results in substantially improved calibration across all instruction-tuned models. These differences in ability to quantify data uncertainty cannot be revealed in realizable settings, and highlight a blind-spot in the current evaluation ecosystem that \folktexts covers.
• Abstract（参考訳）: 現在の質問回答ベンチマークは主に、実現可能な予測タスクの正確性に焦点を当てている。 質問と回答キーを条件に、最も可能性の高いトークンは、基礎的な真実と一致しているか? このようなベンチマークは、結果の不確実性を定量化する言語モデルの能力を評価するのに失敗する。 本研究では,非実現不可能な予測タスクのリスクスコアとして,言語モデルの利用に焦点を当てる。 言語モデルを用いてリスクスコアを体系的に生成するソフトウェアパッケージであるフォークテキストを導入し,米国国勢調査データ製品に対して評価する。 フレキシブルなAPIは、さまざまなプロンプトスキーム、ローカルまたはWebホストモデル、カスタム予測タスクを構成するために使用できる多様な国勢調査列の使用を可能にする。 我々は,5つの自然テキストベンチマークタスクにわたる17の大規模言語モデルの統計特性に関する実証的な知見を網羅して,フォークテキストの有用性を実証する。 複数選択質問応答によるゼロショットリスクスコアは高い予測信号を持つが、広く誤校正されている。 ベースモデルは相変わらず結果の不確実性を過小評価する一方、命令付きモデルは不確実性を過小評価し、過信リスクスコアを生成する。 実際、命令チューニングは真の根底にあるデータ不確実性に関係なく、回答分布を分極する。 逆に、確率推定のための言語クエリモデルでは、全ての命令調整されたモデルに対するキャリブレーションが大幅に改善される。 データの不確実性を定量化するこれらの違いは、実現可能な設定では明らかにできず、‘folktexts’がカバーしている現在の評価エコシステムにおける盲点を浮き彫りにする。

関連論文リスト

• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness [16.35655151252159]
  本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。 我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
  論文  参考訳（メタデータ） (2023-08-30T17:53:25Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。