論文の概要: Defining and Evaluating Decision and Composite Risk in Language Models Applied to Natural Language Inference

• arxiv url: http://arxiv.org/abs/2408.01935v1
• Date: Sun, 4 Aug 2024 05:24:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 17:51:14.410790
• Title: Defining and Evaluating Decision and Composite Risk in Language Models Applied to Natural Language Inference
• Title（参考訳）: 自然言語推論に応用した言語モデルにおける決定と複合的リスクの定義と評価
• Authors: Ke Shen, Mayank Kejriwal,
• Abstract要約: ChatGPTのような大規模言語モデル(LLM)は、重大なリスクをもたらすことが知られている。 モデルが推論に持っている過信または過信から、誤った信頼が生じる。 本稿では,2段階の推論アーキテクチャと,そのようなリスクを測定するための適切な指標からなる実験フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.422309388045878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their impressive performance, large language models (LLMs) such as ChatGPT are known to pose important risks. One such set of risks arises from misplaced confidence, whether over-confidence or under-confidence, that the models have in their inference. While the former is well studied, the latter is not, leading to an asymmetry in understanding the comprehensive risk of the model based on misplaced confidence. In this paper, we address this asymmetry by defining two types of risk (decision and composite risk), and proposing an experimental framework consisting of a two-level inference architecture and appropriate metrics for measuring such risks in both discriminative and generative LLMs. The first level relies on a decision rule that determines whether the underlying language model should abstain from inference. The second level (which applies if the model does not abstain) is the model's inference. Detailed experiments on four natural language commonsense reasoning datasets using both an open-source ensemble-based RoBERTa model and ChatGPT, demonstrate the practical utility of the evaluation framework. For example, our results show that our framework can get an LLM to confidently respond to an extra 20.1% of low-risk inference tasks that other methods might misclassify as high-risk, and skip 19.8% of high-risk tasks, which would have been answered incorrectly.
• Abstract（参考訳）: 優れたパフォーマンスにもかかわらず、ChatGPTのような大きな言語モデル(LLM)は重要なリスクを生じさせることが知られている。 このようなリスクのセットの1つは、モデルが推論に持っている過信または過信であっても、誤った信頼から生じます。 前者はよく研究されているが、後者はそうではない。 本稿では,2種類のリスク(決定リスクと複合リスク)を定義して,この非対称性に対処する。 最初のレベルは、下層の言語モデルが推論を控えるべきかどうかを決定する決定ルールに依存している。 第2のレベル(モデルを棄却しない場合は適用される)はモデルの推論である。 オープンソースのアンサンブルベースのRoBERTaモデルとChatGPTを用いた4つの自然言語コモンセンス推論データセットに関する詳細な実験により、評価フレームワークの実用性を実証した。 例えば、我々のフレームワークは、他のメソッドがハイリスクと誤分類する可能性のある20.1%の低リスク推論タスクに自信を持って対応でき、19.8%のハイリスクタスクをスキップできる。

関連論文リスト

• Sample then Identify: A General Framework for Risk Control and Assessment in Multimodal Large Language Models [46.56041622514975]
  リスク管理とアセスメントのための2段階のフレームワークであるTRONを紹介する。 TRONは、2つのユーザ特定リスクレベルに制限された所望のエラー率を達成する。 重複予測セットは適応性を維持しつつ、異なるリスクレベルのリスク評価に対してより効率的で安定である。
  論文  参考訳（メタデータ） (2024-10-10T17:50:42Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• CRiskEval: A Chinese Multi-Level Risk Evaluation Benchmark Dataset for Large Language Models [46.93425758722059]
  CRiskEvalは、大規模言語モデル(LLM)に固有のリスク確率を正確に計測するために設計された中国のデータセットである。 7種類のフロンティアリスクと4つの安全性レベルを持つ新たなリスク分類を定義する。 データセットは、事前に定義された7種類のフロンティアリスクに関連するシナリオをシミュレートする14,888の質問で構成されている。
  論文  参考訳（メタデータ） (2024-06-07T08:52:24Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• A Formalism and Approach for Improving Robustness of Large Language Models Using Risk-Adjusted Confidence Scores [4.043005183192123]
  大規模言語モデル(LLM)は自然言語処理(NLP)において驚くべきマイルストーンを達成した 優れた性能にもかかわらず、モデルには重要なリスクが伴うことが知られている。 意思決定リスクと複合リスクという,2つの異なるタイプのリスクを定義し,形式化する。
  論文  参考訳（メタデータ） (2023-10-05T03:20:41Z)
• On (assessing) the fairness of risk score models [2.0646127669654826]
  リスクモデルは、ユーザに対して潜在的な結果について不確実性を伝えるという事実など、さまざまな理由から関心を集めている。 リスクスコアフェアネスの鍵となるデシダータムとして,異なるグループに類似した価値を提供する。 本稿では,従来提案されていた基準値よりも試料径バイアスが少ない新しい校正誤差指標を提案する。
  論文  参考訳（メタデータ） (2023-02-17T12:45:51Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。