論文の概要: Do ever larger octopi still amplify reporting biases? Evidence from
judgments of typical colour
- arxiv url: http://arxiv.org/abs/2209.12786v1
- Date: Mon, 26 Sep 2022 15:45:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:29:48.377381
- Title: Do ever larger octopi still amplify reporting biases? Evidence from
judgments of typical colour
- Title(参考訳): より大きなオクトピは、まだ報告バイアスを増幅しているか?
典型的な色彩の判断からの証拠
- Authors: Fangyu Liu, Julian Martin Eisenschlos, Jeremy R. Cole, Nigel Collier
- Abstract要約: 原文で訓練された言語モデル(LM)は、物理世界に直接アクセスすることができない。
より大きな言語モデルにおける色の観点からの報告バイアスについて検討する。
- 参考スコア(独自算出の注目度): 27.815149580168463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) trained on raw texts have no direct access to the
physical world. Gordon and Van Durme (2013) point out that LMs can thus suffer
from reporting bias: texts rarely report on common facts, instead focusing on
the unusual aspects of a situation. If LMs are only trained on text corpora and
naively memorise local co-occurrence statistics, they thus naturally would
learn a biased view of the physical world. While prior studies have repeatedly
verified that LMs of smaller scales (e.g., RoBERTa, GPT-2) amplify reporting
bias, it remains unknown whether such trends continue when models are scaled
up. We investigate reporting bias from the perspective of colour in larger
language models (LLMs) such as PaLM and GPT-3. Specifically, we query LLMs for
the typical colour of objects, which is one simple type of perceptually
grounded physical common sense. Surprisingly, we find that LLMs significantly
outperform smaller LMs in determining an object's typical colour and more
closely track human judgments, instead of overfitting to surface patterns
stored in texts. This suggests that very large models of language alone are
able to overcome certain types of reporting bias that are characterized by
local co-occurrences.
- Abstract(参考訳): 生のテキストでトレーニングされた言語モデル(lms)は、物理的世界に直接アクセスできない。
gordon and van durme (2013) は lms がバイアスを報告することに苦しむ可能性があることを指摘している。
LMがテキストコーパスでのみ訓練され、局所的共起統計を暗記している場合、自然界の偏見を学習することになる。
以前の研究では、小さなスケールのLM(例えばRoBERTa、GPT-2)が報告バイアスを増幅していることが繰り返し確認されているが、モデルがスケールアップされた後もそのような傾向が続くかどうかは不明である。
palm や gpt-3 のような大型言語モデル (llm) の色彩の観点からバイアスを報告している。
具体的には、知覚的に接地された物理的な常識の1つの単純なタイプのオブジェクトの典型的な色についてllmを問い合わせる。
驚いたことに、LLMはテキストに格納された表面パターンに過度に適合するのではなく、オブジェクトの典型的な色を判断し、人間の判断をより密に追跡する上で、より小さなLMよりもはるかに優れています。
これは、非常に大きな言語モデルだけで、局所的共起によって特徴づけられるある種の報告バイアスを克服できることを示している。
関連論文リスト
- Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models [79.5116305401044]
セルフフィードバックは、特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
近年の研究では、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善する一方で、他のタスクを悪化させることが示されている。
本稿は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
論文 参考訳(メタデータ) (2024-02-18T03:10:39Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - How Robust are LLMs to In-Context Majority Label Bias? [3.3577727874594654]
本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。
また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
論文 参考訳(メタデータ) (2023-12-27T12:20:12Z) - Language Models Hallucinate, but May Excel at Fact Verification [95.57276329141618]
大規模言語モデル(LLM)はしばしば「ハロシン化(hallucinate)」し、結果として非実効出力となる。
GPT-3.5でさえ、実際の出力は25%以下である。
これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
論文 参考訳(メタデータ) (2023-10-23T04:39:01Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z) - Impact of Co-occurrence on Factual Knowledge of Large Language Models [25.89517624732426]
大規模言語モデル(LLM)は、様々なアプリケーションで成功したにもかかわらず、事実的に誤った反応をすることが多い。
その結果,LLMは共起バイアスに弱いことが判明した。
論文 参考訳(メタデータ) (2023-10-12T12:01:32Z) - A Trip Towards Fairness: Bias and De-Biasing in Large Language Models [1.987426401990999]
安価なトレーニングを備えたCtB-LLM(Cheap-to-Build Very Large-Language Model)が、自然言語処理と理解における次の大きな革命として現れている。
本稿では,CtB-LLMの3家系の偏りを大規模に調査した。
脱バイアス技術は有効であり,有効であることを示す。
論文 参考訳(メタデータ) (2023-05-23T09:35:37Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - The World of an Octopus: How Reporting Bias Influences a Language
Model's Perception of Color [73.70233477125781]
報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。
次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
論文 参考訳(メタデータ) (2021-10-15T16:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。