論文の概要: Why Would You Suggest That? Human Trust in Language Model Responses

• arxiv url: http://arxiv.org/abs/2406.02018v2
• Date: Fri, 04 Oct 2024 16:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:47.575476
• Title: Why Would You Suggest That? Human Trust in Language Model Responses
• Title（参考訳）: なぜそれを提案するのか? 言語モデルに対する人間の信頼
• Authors: Manasi Sharma, Ho Chit Siu, Rohan Paleja, Jaime D. Peña,
• Abstract要約: フレーミングと説明の存在がユーザ信頼とモデルパフォーマンスにどのように影響するかを分析する。 今後の研究は、人間と機械のチームリングシステムにおける信頼度の評価を、より深く掘り下げることを目的としている。
• 参考スコア（独自算出の注目度）: 0.3749861135832073
• License:
• Abstract: The emergence of Large Language Models (LLMs) has revealed a growing need for human-AI collaboration, especially in creative decision-making scenarios where trust and reliance are paramount. Through human studies and model evaluations on the open-ended News Headline Generation task from the LaMP benchmark, we analyze how the framing and presence of explanations affect user trust and model performance. Overall, we provide evidence that adding an explanation in the model response to justify its reasoning significantly increases self-reported user trust in the model when the user has the opportunity to compare various responses. Position and faithfulness of these explanations are also important factors. However, these gains disappear when users are shown responses independently, suggesting that humans trust all model responses, including deceptive ones, equitably when they are shown in isolation. Our findings urge future research to delve deeper into the nuanced evaluation of trust in human-machine teaming systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、特に信頼と信頼が最重要である創造的な意思決定シナリオにおいて、人間とAIのコラボレーションの必要性が高まっていることを明らかにしている。 本研究では,LaMPベンチマークを用いたオープンエンドニュース見出し生成タスクの人間による研究とモデル評価を通じて,フレーミングと説明の存在がユーザ信頼とモデルパフォーマンスに与える影響を分析する。 全体として、モデル応答に説明を加えて推論を正当化する証拠は、ユーザが様々な応答を比較する機会がある場合に、モデルに対する自己報告されたユーザ信頼を著しく増大させる。 これらの説明の位置と忠実性もまた重要な要素である。 しかし,ユーザが個別に反応を見せると,これらの利得は消失し,人間が独立して表示した場合に等しく,偽りを含むすべてのモデル応答を信頼する可能性が示唆された。 今後の研究は、人間と機械のチームリングシステムにおける信頼度の評価を、より深く掘り下げることを目的としている。

関連論文リスト

• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour [0.8133739801185272]
  主観的意見と文を含む問合せに対して,Large Language Models (LLMs) がサイコファン傾向を示すことを示す。 様々なスケールのLCMは、正しい回答を提供する自信を示すことによって、ユーザのヒントに従わないように思われる。
  論文  参考訳（メタデータ） (2023-11-15T22:18:33Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Why not both? Complementing explanations with uncertainty, and the role of self-confidence in Human-AI collaboration [12.47276164048813]
  本研究では,不確実性評価とモデル説明がモデルに対するユーザの信頼,理解,信頼にどのように影響するかを明らかにするための実証的研究を行う。 また,合意と切り換え率に基づいて,後者が分析結果を歪める可能性についても論じる。
  論文  参考訳（メタデータ） (2023-04-27T12:24:33Z)
• Explaining Model Confidence Using Counterfactuals [4.385390451313721]
  人間とAIのインタラクションにおける信頼スコアの表示は、人間とAIシステムの信頼構築に役立つことが示されている。 既存の研究のほとんどは、信頼スコアのみをコミュニケーションの形式として用いている。 信頼性スコアの反実的な説明は、参加者が機械学習モデルの予測をよりよく理解し、より信頼するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-10T06:22:13Z)
• Improving Model Understanding and Trust with Counterfactual Explanations of Model Confidence [4.385390451313721]
  人間とエージェントのインタラクションシステムにおける信頼度を示すことは、人間とAIシステムの信頼を構築するのに役立つ。 既存の研究の多くは、信頼度スコアをコミュニケーションの形式としてのみ用いた。 本稿では, モデル信頼度を理解するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-06-06T04:04:28Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。