論文の概要: Do ever larger octopi still amplify reporting biases? Evidence from judgments of typical colour

• arxiv url: http://arxiv.org/abs/2209.12786v1
• Date: Mon, 26 Sep 2022 15:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:29:48.377381
• Title: Do ever larger octopi still amplify reporting biases? Evidence from judgments of typical colour
• Title（参考訳）: より大きなオクトピは、まだ報告バイアスを増幅しているか? 典型的な色彩の判断からの証拠
• Authors: Fangyu Liu, Julian Martin Eisenschlos, Jeremy R. Cole, Nigel Collier
• Abstract要約: 原文で訓練された言語モデル(LM)は、物理世界に直接アクセスすることができない。 より大きな言語モデルにおける色の観点からの報告バイアスについて検討する。
• 参考スコア（独自算出の注目度）: 27.815149580168463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) trained on raw texts have no direct access to the physical world. Gordon and Van Durme (2013) point out that LMs can thus suffer from reporting bias: texts rarely report on common facts, instead focusing on the unusual aspects of a situation. If LMs are only trained on text corpora and naively memorise local co-occurrence statistics, they thus naturally would learn a biased view of the physical world. While prior studies have repeatedly verified that LMs of smaller scales (e.g., RoBERTa, GPT-2) amplify reporting bias, it remains unknown whether such trends continue when models are scaled up. We investigate reporting bias from the perspective of colour in larger language models (LLMs) such as PaLM and GPT-3. Specifically, we query LLMs for the typical colour of objects, which is one simple type of perceptually grounded physical common sense. Surprisingly, we find that LLMs significantly outperform smaller LMs in determining an object's typical colour and more closely track human judgments, instead of overfitting to surface patterns stored in texts. This suggests that very large models of language alone are able to overcome certain types of reporting bias that are characterized by local co-occurrences.
• Abstract（参考訳）: 生のテキストでトレーニングされた言語モデル(lms)は、物理的世界に直接アクセスできない。 gordon and van durme (2013) は lms がバイアスを報告することに苦しむ可能性があることを指摘している。 LMがテキストコーパスでのみ訓練され、局所的共起統計を暗記している場合、自然界の偏見を学習することになる。 以前の研究では、小さなスケールのLM(例えばRoBERTa、GPT-2)が報告バイアスを増幅していることが繰り返し確認されているが、モデルがスケールアップされた後もそのような傾向が続くかどうかは不明である。 palm や gpt-3 のような大型言語モデル (llm) の色彩の観点からバイアスを報告している。 具体的には、知覚的に接地された物理的な常識の1つの単純なタイプのオブジェクトの典型的な色についてllmを問い合わせる。 驚いたことに、LLMはテキストに格納された表面パターンに過度に適合するのではなく、オブジェクトの典型的な色を判断し、人間の判断をより密に追跡する上で、より小さなLMよりもはるかに優れています。 これは、非常に大きな言語モデルだけで、局所的共起によって特徴づけられるある種の報告バイアスを克服できることを示している。

関連論文リスト

• A Novel Interpretability Metric for Explaining Bias in Language Models: Applications on Multilingual Models from Southeast Asia [0.3376269351435396]
  事前学習言語モデル(PLM)におけるバイアス行動に対するトークンレベルの寄与を測定するための新しい指標を提案する。 東南アジアのPLMにおいて性差別と同性愛バイアスの存在が確認された。 解釈可能性と意味分析は、PLMバイアスが犯罪、親密な関係、助けに関する言葉によって強く引き起こされることを示している。
  論文  参考訳（メタデータ） (2024-10-20T18:31:05Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models [10.73340009530019]
  本研究は,Large Language Models (LLMs) における2つのバイアス,代表バイアスと親和性バイアスに対処する。 我々は,これらのバイアスを測定するために,代表バイアススコア(RBS)と親和性バイアススコア(ABS)の2つの新しい指標を導入する。 我々の分析では、白人、ストレート、男性と関連する身元を選好する著名なLSMにおいて、顕著な偏見が明らかとなった。 親和性バイアスによる各モデルにおける特徴的評価パターンの解明
  論文  参考訳（メタデータ） (2024-05-23T13:35:34Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• The Impact of Unstated Norms in Bias Analysis of Language Models [0.03495246564946556]
  事実バイアス評価はバイアスの定量化に広く用いられている手法である。 テンプレートベースのプローブは非現実的なバイアス測定につながる可能性がある。
  論文  参考訳（メタデータ） (2024-04-04T14:24:06Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Large Language Models are Geographically Biased [47.88767211956144]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• A Trip Towards Fairness: Bias and De-Biasing in Large Language Models [1.987426401990999]
  安価なトレーニングを備えたCtB-LLM(Cheap-to-Build Very Large-Language Model)が、自然言語処理と理解における次の大きな革命として現れている。 本稿では,CtB-LLMの3家系の偏りを大規模に調査した。 脱バイアス技術は有効であり,有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T09:35:37Z)
• The World of an Octopus: How Reporting Bias Influences a Language Model's Perception of Color [73.70233477125781]
  報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。 次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
  論文  参考訳（メタデータ） (2021-10-15T16:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。