論文の概要: Global-Liar: Factuality of LLMs over Time and Geographic Regions
- arxiv url: http://arxiv.org/abs/2401.17839v1
- Date: Wed, 31 Jan 2024 13:57:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 14:27:58.766984
- Title: Global-Liar: Factuality of LLMs over Time and Geographic Regions
- Title(参考訳): グローバル・リアー:LLMの時間的・地理的特性
- Authors: Shujaat Mirza, Bruno Coelho, Yuyuan Cui, Christina P\"opper, Damon
McCoy
- Abstract要約: 本研究は, GPT-3.5 や GPT-4 を含む広く採用されている GPT モデルにおける実測精度, 安定性, バイアスを評価する。
地理的および時間的表現の観点から一意にバランスのとれたデータセットである「Global-Liar」を導入する。
- 参考スコア(独自算出の注目度): 3.715487408753612
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing reliance on AI-driven solutions, particularly Large Language
Models (LLMs) like the GPT series, for information retrieval highlights the
critical need for their factuality and fairness, especially amidst the rampant
spread of misinformation and disinformation online. Our study evaluates the
factual accuracy, stability, and biases in widely adopted GPT models, including
GPT-3.5 and GPT-4, contributing to reliability and integrity of AI-mediated
information dissemination.
We introduce 'Global-Liar,' a dataset uniquely balanced in terms of
geographic and temporal representation, facilitating a more nuanced evaluation
of LLM biases. Our analysis reveals that newer iterations of GPT models do not
always equate to improved performance. Notably, the GPT-4 version from March
demonstrates higher factual accuracy than its subsequent June release.
Furthermore, a concerning bias is observed, privileging statements from the
Global North over the Global South, thus potentially exacerbating existing
informational inequities. Regions such as Africa and the Middle East are at a
disadvantage, with much lower factual accuracy. The performance fluctuations
over time suggest that model updates may not consistently benefit all regions
equally.
Our study also offers insights into the impact of various LLM configuration
settings, such as binary decision forcing, model re-runs and temperature, on
model's factuality. Models constrained to binary (true/false) choices exhibit
reduced factuality compared to those allowing an 'unclear' option. Single
inference at a low temperature setting matches the reliability of majority
voting across various configurations. The insights gained highlight the need
for culturally diverse and geographically inclusive model training and
evaluation. This approach is key to achieving global equity in technology,
distributing AI benefits fairly worldwide.
- Abstract(参考訳): 情報検索におけるAI駆動ソリューション、特にGPTシリーズのような大規模言語モデル(LLM)への依存度の増加は、事実と公平性、特にオンラインでの誤情報や偽情報の拡散の中で重要なニーズを浮き彫りにしている。
本研究は, GPT-3.5 や GPT-4 を含む広く採用されている GPT モデルの事実精度,安定性,バイアスを評価し,AI による情報伝達の信頼性と完全性に寄与する。
地理的および時間的表現の観点から一意にバランスしたデータセット「Global-Liar」を導入し,LLMバイアスのより微妙な評価を容易にする。
解析の結果,GPTモデルの新たなイテレーションが必ずしも性能向上に等しいとは限らないことがわかった。
注目すべきは、3月のgpt-4バージョンは、その後の6月リリースよりも事実の正確性が高いことだ。
さらに、偏りが観察され、グローバル・ノースがグローバル・サウスを越え、既存の情報的不平等を悪化させる可能性がある。
アフリカや中東のような地域は不利であり、事実の正確さははるかに低い。
時間とともにパフォーマンスの変動は、モデル更新がすべてのリージョンに等しく利益をもたらすことはないことを示唆している。
また,二元決定強制,モデル再実行,温度といった様々なllm設定設定がモデルの事実性に与える影響についても考察する。
バイナリ(true/false)の選択に制約されたモデルは、'unclear'オプションを許容するモデルに比べて事実性が低下する。
低温設定での単一推論は、様々な構成で多数決の信頼性に合致する。
得られた洞察は、文化的に多様で地理的に包括的なモデルトレーニングと評価の必要性を浮き彫りにした。
このアプローチは、技術におけるグローバルエクイティを達成するための鍵であり、AIのメリットを世界中に分散する。
関連論文リスト
- Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - Feature Norm Regularized Federated Learning: Transforming Skewed
Distributions into Global Insights [16.039822050613022]
本研究は,FNR-FLアルゴリズムを紹介する。
FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。
その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
論文 参考訳(メタデータ) (2023-12-12T03:09:37Z) - FedSOL: Stabilized Orthogonal Learning in Federated Learning [29.273558804097075]
フェデレートラーニング(FL)は、個々のクライアントからローカルに訓練されたモデルを集約し、グローバルモデルを構築する。
FLは、クライアントが不均一なデータ分散を持つ場合、大きなパフォーマンス劣化に悩まされることが多い。
本稿では,2つの相反する目標のバランスをとるために,FedSOL(Federated Stabilized Orthogonal Learning)を提案する。
論文 参考訳(メタデータ) (2023-08-24T03:43:02Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳(メタデータ) (2023-01-21T16:20:57Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:52:39Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Jalisco's multiclass land cover analysis and classification using a
novel lightweight convnet with real-world multispectral and relief data [51.715517570634994]
本稿では、LC分類と解析を行うために、新しい軽量(89kパラメータのみ)畳み込みニューラルネットワーク(ConvNet)を提案する。
本研究では,実世界のオープンデータソースを3つ組み合わせて13のチャネルを得る。
組込み分析は、いくつかのクラスにおいて限られたパフォーマンスを期待し、最も類似したクラスをグループ化する機会を与えてくれます。
論文 参考訳(メタデータ) (2022-01-26T14:58:51Z) - Preservation of the Global Knowledge by Not-True Self Knowledge
Distillation in Federated Learning [8.474470736998136]
フェデレートラーニング(FL)では、強力なグローバルモデルが、クライアントのローカルにトレーニングされたモデルを集約することによって、協調的に学習される。
偏りのある地域分布への適応は、その特徴をグローバルな分布にシフトさせ、グローバルな知識を忘れる結果をもたらすことを観察する。
本稿では, ローカルデータに対するグローバルな知識を活用した, 簡便かつ効果的なフェデレートローカル自己蒸留(FedLSD)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-06T11:51:47Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-18T16:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。