論文の概要: A Comprehensive Analysis of Large Language Model Outputs: Similarity, Diversity, and Bias

• arxiv url: http://arxiv.org/abs/2505.09056v1
• Date: Wed, 14 May 2025 01:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.340216
• Title: A Comprehensive Analysis of Large Language Model Outputs: Similarity, Diversity, and Bias
• Title（参考訳）: 大規模言語モデル出力の包括的分析:類似性,多様性,バイアス
• Authors: Brandon Smith, Mohamed Reda Bouadjenek, Tahsin Alamgir Kheya, Phillip Dawson, Sunil Aryal,
• Abstract要約: 大規模言語モデル(LLM)は、人工知能への大きな一歩である。 アウトプットの類似性、多様性、倫理的意味について疑問が残る。
• 参考スコア（独自算出の注目度）: 1.7109513360384465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) represent a major step toward artificial general intelligence, significantly advancing our ability to interact with technology. While LLMs perform well on Natural Language Processing tasks -- such as translation, generation, code writing, and summarization -- questions remain about their output similarity, variability, and ethical implications. For instance, how similar are texts generated by the same model? How does this compare across different models? And which models best uphold ethical standards? To investigate, we used 5{,}000 prompts spanning diverse tasks like generation, explanation, and rewriting. This resulted in approximately 3 million texts from 12 LLMs, including proprietary and open-source systems from OpenAI, Google, Microsoft, Meta, and Mistral. Key findings include: (1) outputs from the same LLM are more similar to each other than to human-written texts; (2) models like WizardLM-2-8x22b generate highly similar outputs, while GPT-4 produces more varied responses; (3) LLM writing styles differ significantly, with Llama 3 and Mistral showing higher similarity, and GPT-4 standing out for distinctiveness; (4) differences in vocabulary and tone underscore the linguistic uniqueness of LLM-generated content; (5) some LLMs demonstrate greater gender balance and reduced bias. These results offer new insights into the behavior and diversity of LLM outputs, helping guide future development and ethical evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人工知能への大きな一歩であり、テクノロジーと対話する能力を大幅に向上させる。 LLMは、翻訳、生成、コード記述、要約といった自然言語処理タスクでよく機能するが、出力の類似性、可変性、倫理的意味について疑問が残る。 例えば、同じモデルで生成されたテキストは、どの程度似ていますか? これは、異なるモデル間でどのように比較されますか? そして、どのモデルが倫理基準を最も守っているか? 調査には5{,}000プロンプトを使用して,生成や説明,書き直しなど,さまざまなタスクを対象としました。 その結果、OpenAI、Google、Microsoft、Meta、Mistralのプロプライエタリおよびオープンソースシステムを含む12 LLMから約300万のテキストが得られた。 主な知見は,(1)同一のLLMからの出力は人文テキストよりも互いに類似している,(2) WizardLM-2-8x22bのようなモデルでは非常に類似した出力が生成され,(2) GPT-4はより多様な応答が生成され,(3) Llama 3とMistralは高い類似性を示す,(3) GPT-4は独特性を示す,(4) 語彙とトーンの違いは,LLM生成コンテンツの言語的特異性を示す,(5) 一部のLLMは男女バランスとバイアスの低下を示す。 これらの結果は、LCM出力の挙動と多様性に関する新たな洞察を与え、将来の発展と倫理的評価を導くのに役立つ。

関連論文リスト

• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text [1.1137087573421256]
  本研究では,生成型AI大言語モデルを用いて生成されたテキストコンテンツの検出と識別を支援することを目的とする。 我々はランダムフォレスト(RF)やリカレントニューラルネットワーク(RNN)などの機械学習アルゴリズムを利用して、属性の重要な特徴を理解する。 本手法は,1) 人文とAIテキストを区別するバイナリ分類と,2) 人文と5種類のLDMツールで生成するテキストを区別するマルチ分類に分けられる。
  論文  参考訳（メタデータ） (2025-01-06T18:46:53Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard [3.419330841031544]
  LLM(Large Language Model)は、人間の品質に類似したテキストを生成する能力を持つ。 我々は,最もポピュラーな3つのLLMから生成されるテキストの語彙,部分音声(POS)分布,依存性分布,感情を多様な入力と比較した。 その結果、言語学的に有意な変化を示し、88%の精度で所与のテキストをLLM起源とみなすことができた。
  論文  参考訳（メタデータ） (2024-02-22T13:25:17Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。