論文の概要: Eliciting Uncertainty in Chain-of-Thought to Mitigate Bias against Forecasting Harmful User Behaviors

• arxiv url: http://arxiv.org/abs/2410.14744v1
• Date: Thu, 17 Oct 2024 15:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:33.227322
• Title: Eliciting Uncertainty in Chain-of-Thought to Mitigate Bias against Forecasting Harmful User Behaviors
• Title（参考訳）: 有害ユーザ行動の予測に対するバイアス軽減のためのチェーン・オブ・サードの不確かさの回避
• Authors: Anthony Sicilia, Malihe Alikhani,
• Abstract要約: 会話予測タスクは、展開された会話の結果を予測するモデルである。 ソーシャルメディアのモデレーションに応用すれば、有害なユーザーの行動を予測することができる。 本稿では,潜在的なバイアスを軽減するツールとして,モデルの不確実性がどの程度有効かを検討する。
• 参考スコア（独自算出の注目度）: 29.892041865029803
• License:
• Abstract: Conversation forecasting tasks a model with predicting the outcome of an unfolding conversation. For instance, it can be applied in social media moderation to predict harmful user behaviors before they occur, allowing for preventative interventions. While large language models (LLMs) have recently been proposed as an effective tool for conversation forecasting, it's unclear what biases they may have, especially against forecasting the (potentially harmful) outcomes we request them to predict during moderation. This paper explores to what extent model uncertainty can be used as a tool to mitigate potential biases. Specifically, we ask three primary research questions: 1) how does LLM forecasting accuracy change when we ask models to represent their uncertainty; 2) how does LLM bias change when we ask models to represent their uncertainty; 3) how can we use uncertainty representations to reduce or completely mitigate biases without many training data points. We address these questions for 5 open-source language models tested on 2 datasets designed to evaluate conversation forecasting for social media moderation.
• Abstract（参考訳）: 会話予測タスクは、展開された会話の結果を予測するモデルである。 例えば、ソーシャルメディアのモデレーションでは、発生前に有害なユーザーの行動を予測し、予防的介入を可能にする。 大規模言語モデル(LLM)は近年、会話予測の効果的なツールとして提案されているが、どのようなバイアスがあるのかは明らかになっていない。 本稿では,潜在的なバイアスを緩和するためのツールとして,モデルの不確実性がどの程度利用されているかを検討する。 具体的には3つの主要な研究課題を問う。 1) モデルに不確実性を示すよう依頼した場合, LLMの精度はどのように変化するか。 2 LLMバイアスは、モデルに不確実性を表すためにどのように変化するか。 3) 多くのトレーニングデータポイントを使わずに、不確実性表現を使ってバイアスを減らしたり、完全に軽減したりする方法。 ソーシャルメディアのモデレーションのための会話予測を評価するために設計された2つのデータセット上でテストされた5つのオープンソース言語モデルに対して,これらの疑問に対処する。

関連論文リスト

• Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method [11.794628063040108]
  マルチスパン質問回答(Multi-Span Question Answering、MSQA)は、ある質問に答えるために、与えられたコンテキストから1つまたは複数の回答スパンを抽出するモデルを必要とする。 本稿では,不正確な予測処理に後処理戦略を用いるAnswering-Classifying-Correcting(ACC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-22T08:04:32Z)
• Evaluating Theory of (an uncertain) Mind: Predicting the Uncertain Beliefs of Others in Conversation Forecasting [29.892041865029803]
  対話における他者の不確実性をモデル化するために,新たなタスクスイート,挑戦言語モデル(LM)を提案する。 我々は、インターロケータ自体を予測者とみなし、インターロケータの不確実性を予測するようLMに求めている。 LMは、他者の不確実性に最大7%のばらつきを説明できるが、タスクの難しさと将来の仕事の余地を強調している。
  論文  参考訳（メタデータ） (2024-09-23T13:05:25Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Language Models (Mostly) Know What They Know [10.836210010868932]
  言語モデルが自身の主張の有効性を評価し,どの疑問に正しく答えられるかを予測する。 モデルが「P(IK)」を予測できるかどうか,質問に対する「私が知っている」確率を,特定の回答に言及せずに検討する。
  論文  参考訳（メタデータ） (2022-07-11T22:59:39Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Quantifying sources of uncertainty in drug discovery predictions with probabilistic models [0.0]
  予測の不確実性を知ることは、高価な投資決定を行い、患者の安全が最重要である場合に重要である。 薬物発見における機械学習(ML)モデルは、通常、単一の最良の見積もりのみを提供し、不確実性のすべての源を無視します。 確率的予測モデル(PPM)は、データとモデルの両方に不確実性を取り入れ、予測値の分布を返すことができる。
  論文  参考訳（メタデータ） (2021-05-18T18:54:54Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Estimating predictive uncertainty for rumour verification models [24.470032028639107]
  我々は,不確実性推定を用いてモデル予測が誤っている可能性が示唆された。 本稿では,不確実性に基づくインスタンス拒絶の2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-05-14T17:42:25Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。