論文の概要: LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users

• arxiv url: http://arxiv.org/abs/2406.17737v1
• Date: Tue, 25 Jun 2024 17:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 13:31:24.715549
• Title: LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users
• Title（参考訳）: LLMをターゲットとしたパフォーマンス不足は、脆弱性のあるユーザに影響を与える
• Authors: Elinor Poole-Dayan, Deb Roy, Jad Kabbara,
• Abstract要約: 本研究では,ユーザ特性に応じて,情報精度,真理性,拒絶といった観点から,大規模言語モデルの応答品質がどう変化するかを検討する。 本研究は, 英語能力の低い者, 教育水準の低い者, アメリカ合衆国国外出身者に対して, 最先端のLLMにおける望ましくない行動が不均等に起こることを示唆する。
• 参考スコア（独自算出の注目度）: 17.739596091065856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While state-of-the-art Large Language Models (LLMs) have shown impressive performance on many tasks, there has been extensive research on undesirable model behavior such as hallucinations and bias. In this work, we investigate how the quality of LLM responses changes in terms of information accuracy, truthfulness, and refusals depending on three user traits: English proficiency, education level, and country of origin. We present extensive experimentation on three state-of-the-art LLMs and two different datasets targeting truthfulness and factuality. Our findings suggest that undesirable behaviors in state-of-the-art LLMs occur disproportionately more for users with lower English proficiency, of lower education status, and originating from outside the US, rendering these models unreliable sources of information towards their most vulnerable users.
• Abstract（参考訳）: 最先端のLarge Language Models (LLM) は多くのタスクにおいて顕著な性能を示してきたが、幻覚や偏見のような望ましくないモデル行動について広範な研究がなされている。 本研究では,LLM応答の質が,英語の習熟度,教育水準,原産地の3つの特性によって,情報精度,真正性,拒絶の点でどのように変化するかを検討する。 真理と事実をターゲットとした3つの最先端LCMと2つの異なるデータセットについて広範な実験を行った。 現状のLLMにおける望ましくない行動は、英語の習熟度が低く、教育水準が低く、アメリカ国外から派生したユーザーにとって不適切であり、これらのモデルが信頼できない情報ソースを最も脆弱なユーザーに向けてレンダリングすることを示唆している。

関連論文リスト

• LUNAR: LLM Unlearning via Neural Activation Redirection [20.60687563657169]
  大規模言語モデル(LLM)は、はるかに大量のテキストデータのトレーニングの恩恵を受けるが、個人情報を漏洩するリスクはますます高まっている。 線形表現仮説に基づく新しいアンラーニング手法であるLUNARを提案する。 我々は,LUNARが,推論中の未学習モデルの制御性を著しく向上しつつ,最先端の未学習性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-02-11T03:23:22Z)
• LIBRA: Measuring Bias of Large Language Model from a Local Context [9.612845616659776]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理アプリケーションを持っている。 しかし、彼らの普及した利用は、特定の社会集団の実用性や害を減少させる固有のバイアスに関する懸念を提起する。 本研究は,これらの制約を,バイアス測定のためのローカル統合バイアス認識評価フレームワーク(LIBRA)を用いて解決する。
  論文  参考訳（メタデータ） (2025-02-02T04:24:57Z)
• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Testing and Evaluation of Large Language Models: Correctness, Non-Toxicity, and Fairness [30.632260870411177]
  大規模言語モデル(LLM)は、過去数年間、人々の仕事や日常生活に急速に浸透してきた。 この論文は、ソフトウェアテストと自然言語処理の両方の観点から、LSMの正当性、非毒性、公平性に焦点を当てている。
  論文  参考訳（メタデータ） (2024-08-31T22:21:04Z)
• Modulating Language Model Experiences through Frictions [56.17593192325438]
  言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
  論文  参考訳（メタデータ） (2024-06-24T16:31:11Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
  大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。 本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
  論文  参考訳（メタデータ） (2023-11-29T05:04:52Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task [10.597024796304016]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な能力を示している。 本報告では,中国語の文法的誤り訂正タスクにおける大規模言語モデルの性能について検討する。
  論文  参考訳（メタデータ） (2023-07-08T13:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。