論文の概要: Fool Me, Fool Me: User Attitudes Toward LLM Falsehoods

• arxiv url: http://arxiv.org/abs/2412.11625v1
• Date: Mon, 16 Dec 2024 10:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:58:35.864868
• Title: Fool Me, Fool Me: User Attitudes Toward LLM Falsehoods
• Title（参考訳）: Fool Me, Fool Me: LLM Falsehoodsに対するユーザの態度
• Authors: Diana Bar-Or Nirman, Ariel Weizman, Amos Azaria,
• Abstract要約: 本研究では,Large Language Models (LLMs) による偽造応答に関するユーザの嗜好について検討する。 意外なことに、ユーザの61%は、マークされたものよりも、マークされていない偽りの応答を好む。 以上の結果から,LLM学習に影響を及ぼすユーザの嗜好が不注意に偽造を促進させる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 13.62116438805314
• License:
• Abstract: While Large Language Models (LLMs) have become central tools in various fields, they often provide inaccurate or false information. This study examines user preferences regarding falsehood responses from LLMs. Specifically, we evaluate preferences for LLM responses where false statements are explicitly marked versus unmarked responses and preferences for confident falsehoods compared to LLM disclaimers acknowledging a lack of knowledge. Additionally, we investigate how requiring users to assess the truthfulness of statements influences these preferences. Surprisingly, 61\% of users prefer unmarked falsehood responses over marked ones, and 69\% prefer confident falsehoods over LLMs admitting lack of knowledge. In all our experiments, a total of 300 users participated, contributing valuable data to our analysis and conclusions. When users are required to evaluate the truthfulness of statements, preferences for unmarked and falsehood responses decrease slightly but remain high. These findings suggest that user preferences, which influence LLM training via feedback mechanisms, may inadvertently encourage the generation of falsehoods. Future research should address the ethical and practical implications of aligning LLM behavior with such preferences.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な分野で中心的なツールとなっているが、不正確な情報や誤った情報を提供することが多い。 本研究は,LSMからの偽装反応に関するユーザの嗜好について検討する。 具体的には, 偽文が明示的にマークされている LLM 応答に対する嗜好と, 疑わしい偽文に対する嗜好を, 知識の欠如を認めている LLM 宣言者と比較して評価した。 さらに,ユーザの主張の真偽評価が,これらの嗜好にどのように影響するかを検討する。 驚くべきことに、ユーザの61%はマークされていない偽造反応を、69パーセントは知識の欠如を認めているLCMよりも自信ある偽造反応を好んでいる。 すべての実験で、合計300人のユーザが参加し、分析と結論に貴重なデータを提供しました。 ユーザが文の真偽を評価する必要がある場合、無記名と虚偽の反応の嗜好はわずかに減少するが、高いままである。 以上の結果から,LLM学習に影響を及ぼすユーザの嗜好が不注意に偽造を促進させる可能性が示唆された。 今後の研究は、LLM行動とそのような嗜好を一致させる倫理的・実践的な意味に対処すべきである。

関連論文リスト

• On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback [7.525470776920495]
  人間のフィードバックを最大限にするためのトレーニングは、AIの逆インセンティブ構造を生み出します。 操作や騙しといった極端な形式の「フィードバックゲーム」が確実に学習されていることがわかった。 ユーザフィードバックなどゲーム可能なフィードバックソースをRLのターゲットとして使用するリスクを、私たちの結果が強調できることを願っています。
  論文  参考訳（メタデータ） (2024-11-04T17:31:02Z)
• Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions [45.04582353648683]
  今後,予測結果のシミュレーションにより,選好ラベルを割り当てることを提案する。 これにより、LLMは、将来の順番で各ユーザの解釈に合わせた応答を生成することができるとき、明確な質問をすることを学ぶことができる。 我々は,各ユーザの解釈と期待された回答を再現できる質問を明確にする能力に基づいて,システム評価を行う。
  論文  参考訳（メタデータ） (2024-10-17T17:29:04Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• Truth-Aware Context Selection: Mitigating Hallucinations of Large Language Models Being Misled by Untruthful Contexts [31.769428095250912]
  大規模言語モデル(LLM)は、ユーザや知識強化ツールが提供する非現実的なコンテキストによって容易に誤解される。 本稿では,入力から非現実的コンテキストを適応的に認識し,マスクするために,TACS(Trath-Aware Context Selection)を提案する。 TACSは,非現実的な文脈を効果的にフィルタリングし,誤解を招く情報を提示した場合のLLMの応答の全体的な品質を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T11:40:44Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong [35.64962031447787]
  大規模言語モデル(LLM)は、Web上の情報へのアクセスにますます使われています。 80人のクラウドワーカーによる実験では,事実チェックを容易にするために,言語モデルと検索エンジン(情報検索システム)を比較した。 LLMの説明を読むユーザーは、類似の精度を保ちながら、検索エンジンを使用するものよりもはるかに効率的である。
  論文  参考訳（メタデータ） (2023-10-19T08:09:58Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。