論文の概要: I'm Spartacus, No, I'm Spartacus: Measuring and Understanding LLM Identity Confusion

• arxiv url: http://arxiv.org/abs/2411.10683v1
• Date: Sat, 16 Nov 2024 03:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:52.643651
• Title: I'm Spartacus, No, I'm Spartacus: Measuring and Understanding LLM Identity Confusion
• Title（参考訳）: I'm Spartacus, No, I'm Spartacus: Measurementing and Understanding LLM Identity Confusion
• Authors: Kun Li, Shichao Zhuang, Yue Zhang, Minghui Xu, Ruoxi Wang, Kaidi Xu, Xinwen Fu, Xiuzhen Cheng,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト生成、データ分析、ソフトウェア開発といった様々なタスクに優れています。 しかし、LSMの急速な普及は、その独創性と信頼性に関する懸念を引き起こしている。 本研究は,3つの研究課題を通じて,アイデンティティの混乱を系統的に検討する。
• 参考スコア（独自算出の注目度）: 33.80335805399509
• License:
• Abstract: Large Language Models (LLMs) excel in diverse tasks such as text generation, data analysis, and software development, making them indispensable across domains like education, business, and creative industries. However, the rapid proliferation of LLMs (with over 560 companies developing or deploying them as of 2024) has raised concerns about their originality and trustworthiness. A notable issue, termed identity confusion, has emerged, where LLMs misrepresent their origins or identities. This study systematically examines identity confusion through three research questions: (1) How prevalent is identity confusion among LLMs? (2) Does it arise from model reuse, plagiarism, or hallucination? (3) What are the security and trust-related impacts of identity confusion? To address these, we developed an automated tool combining documentation analysis, self-identity recognition testing, and output similarity comparisons--established methods for LLM fingerprinting--and conducted a structured survey via Credamo to assess its impact on user trust. Our analysis of 27 LLMs revealed that 25.93% exhibit identity confusion. Output similarity analysis confirmed that these issues stem from hallucinations rather than replication or reuse. Survey results further highlighted that identity confusion significantly erodes trust, particularly in critical tasks like education and professional use, with declines exceeding those caused by logical errors or inconsistencies. Users attributed these failures to design flaws, incorrect training data, and perceived plagiarism, underscoring the systemic risks posed by identity confusion to LLM reliability and trustworthiness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成、データ分析、ソフトウェア開発といった様々なタスクに優れており、教育、ビジネス、クリエイティブ産業といった分野において不可欠である。 しかし、LLMの急速な普及(2024年現在560社以上の企業が開発・展開している)は、その独創性と信頼性を懸念している。 アイデンティティ混乱と呼ばれる注目すべき問題が浮上し、LSMはその起源やアイデンティティを誤って表現している。 本研究は,(1)LLM間のアイデンティティの混同がどの程度有効か,という3つの研究課題を通じて,アイデンティティの混同を系統的に検討する。 (2)モデルの再利用、盗作、幻覚から生じるか? (3)アイデンティティの混乱によるセキュリティと信頼に関連する影響はどのようなものか? これらの問題に対処するために,文書解析,自己同一性認識テスト,出力類似度比較を組み合わせた自動ツールを開発した。 27個のLDMを解析した結果,25.93%が同一性混同を示した。 出力類似性分析により、これらの問題は複製や再利用よりも幻覚によるものであることが確認された。 調査の結果、アイデンティティの混乱は、特に教育や専門的利用といった重要なタスクにおいて、論理的誤りや矛盾によって引き起こされるものよりも低下し、信頼を著しく損なうことが強調された。 ユーザはこれらの失敗を、欠陥の設計、誤ったトレーニングデータ、そして認識された盗作行為によるものとみなし、LLMの信頼性と信頼性に対するアイデンティティの混乱によって引き起こされるシステム的リスクを浮き彫りにした。

関連論文リスト

• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation [15.184067502284007]
  もっとも先進的なLCMでさえ出力の不確実性を経験しており、異なるランニングや入力の微妙な変化に直面した時に、しばしば様々な結果を生み出す。 我々は,直接,逆,ハイブリッドの3つの識別的プロンプトを提案し,分析する。 私たちの洞察は、どの差別的プロンプトが最も有望か、いつ使うかを明らかにします。
  論文  参考訳（メタデータ） (2024-06-27T02:26:47Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration [39.603649838876294]
  本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。 保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-01T06:11:49Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
  本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T17:37:31Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。