論文の概要: More is More: Addition Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.02569v1
• Date: Wed, 4 Sep 2024 09:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 19:10:42.927247
• Title: More is More: Addition Bias in Large Language Models
• Title（参考訳）: さらに詳しく - 大規模言語モデルへの追加バイアス
• Authors: Luca Santagata, Cristiano De Nobili,
• Abstract要約: 大規模言語モデル(LLM)における付加的バイアスの存在について検討する。 以上の結果から, 試験対象モデル全体において, 付加的変化が顕著に好適であることが示唆された。 付加バイアスは資源利用と環境への影響を増大させ、経済コストを上昇させる可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the presence of additive bias in Large Language Models (LLMs), drawing a parallel to the cognitive bias observed in humans where individuals tend to favor additive over subtractive changes. Using a series of controlled experiments, we tested various LLMs, including GPT-3.5 Turbo, Claude 3.5 Sonnet, Mistral, Math$\Sigma$tral, and Llama 3.1, on tasks designed to measure their propensity for additive versus subtractive modifications. Our findings demonstrate a significant preference for additive changes across all tested models. For example, in a palindrome creation task, Llama 3.1 favored adding letters 97.85% of the time over removing them. Similarly, in a Lego tower balancing task, GPT-3.5 Turbo chose to add a brick 76.38% of the time rather than remove one. In a text summarization task, Mistral 7B produced longer summaries in 59.40% to 75.10% of cases when asked to improve its own or others' writing. These results indicate that, similar to humans, LLMs exhibit a marked additive bias, which might have implications when LLMs are used on a large scale. Addittive bias might increase resource use and environmental impact, leading to higher economic costs due to overconsumption and waste. This bias should be considered in the development and application of LLMs to ensure balanced and efficient problem-solving approaches.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における付加的バイアスの存在を考察し,個人が減量的変化よりも付加的バイアスを好む傾向にある人間において観察される認知的バイアスと平行に描いている。 GPT-3.5 Turbo、Claude 3.5 Sonnet、Mistral、Math$\Sigma$tral、Llama 3.1など、一連の制御された実験により、加算と減算の正当性を測定するために、様々なLCMを試験した。 以上の結果から, 試験対象モデル全体において, 付加的変化が顕著に好適であることが示唆された。 例えば、パリンドローム作成タスクでは、Llama 3.1 はそれらを除去する代わりに文字を97.85%追加することを好んだ。 同様に、レゴのタワーバランスタスクでは、GPT-3.5ターボはブロックの76.38%を外すのではなく追加することを選んだ。 テキスト要約タスクでは、Mistral 7Bは、自身の執筆を改善するよう依頼されたケースの59.40%から75.10%の長い要約を作成した。 これらの結果は、LLMがヒトと同様、顕著な添加バイアスを示しており、LLMを大規模に使用した場合に影響を及ぼす可能性があることを示唆している。 付加バイアスは資源利用と環境への影響を増大させ、過剰消費と廃棄物による経済的コストを上昇させる可能性がある。 このバイアスは、バランスよく効率的な問題解決アプローチを確保するため、LLMの開発と応用において考慮すべきである。

関連論文リスト

• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル(LLM)は、現実世界での利用が増えているが、その戦略能力はほとんど解明されていない。 戦略ゲーム,Stag Hunt と Prisoner Dilemma における LLM の動作について検討し,異なる設定とプロンプト下での性能変動を分析した。 以上の結果から,(1)位置バイアス,(2)支払いバイアス,(3)行動バイアスの少なくとも1つが評価された。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Large Language Models are Zero-Shot Next Location Predictors [4.315451628809687]
  大規模言語モデル(LLM)は、優れた一般化と推論能力を示している。 LLMは最大36.2%の精度を得ることができ、人間の移動性に特化して設計された他のモデルに比べて640%近く改善されている。
  論文  参考訳（メタデータ） (2024-05-31T16:07:33Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
  大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。 冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
  論文  参考訳（メタデータ） (2023-10-16T05:19:02Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• A Trip Towards Fairness: Bias and De-Biasing in Large Language Models [1.987426401990999]
  安価なトレーニングを備えたCtB-LLM(Cheap-to-Build Very Large-Language Model)が、自然言語処理と理解における次の大きな革命として現れている。 本稿では,CtB-LLMの3家系の偏りを大規模に調査した。 脱バイアス技術は有効であり,有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T09:35:37Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。