論文の概要: Compensatory Biases Under Cognitive Load: Reducing Selection Bias in
Large Language Models
- arxiv url: http://arxiv.org/abs/2402.01740v1
- Date: Mon, 29 Jan 2024 15:43:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 16:01:36.666065
- Title: Compensatory Biases Under Cognitive Load: Reducing Selection Bias in
Large Language Models
- Title(参考訳): 認知的負荷による補償バイアス:大規模言語モデルにおける選択バイアスの低減
- Authors: J. E. Eicher and R. F. Irgoli\v{c}
- Abstract要約: 大規模言語モデル(LLM)は意味に基づくタスクの解釈と実行に役立っている。
本研究は、これらのバイアスを批判的に検討し、代表リスト選択タスクへの影響を定量化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) like gpt-3.5-turbo and claude-instant-1.2 have
become instrumental in interpreting and executing semantic-based tasks.
Unfortunately, these models' inherent biases, akin to human cognitive biases,
adversely affect their performance. Particularly affected is object selection
from lists; a fundamental operation in digital navigation and decision-making.
This research critically examines these biases and quantifies the effects on a
representative list selection task. To explore these biases, we conducted a
series of controlled experiments, manipulating temperature, list length, object
identity, object type, prompt complexity, and model. This enabled us to isolate
and measure the influence of the biases on selection behavior. Our findings
show that bias structure is strongly dependent on the model, with object type
modulating the magnitude of the effect. With a strong primacy effect, causing
the first objects in a list to be disproprotionately represented in outputs.
Furthermore the usage of guard rails, a prompt engineering method of ensuring a
response structure, can increase bias and decrease instruction adherence when
combined with a selection task. The bias is ablated when the guard rail step is
separated from the list sampling step, lowering the complexity of each
individual task. The implications of this research are two-fold, practically
providing a guide for designing unbiased LLM applications and theoretically
suggesting that LLMs experience a form of cognitive load compensated for by
increasing bias.
- Abstract(参考訳): gpt-3.5-turboやclaude-instant-1.2のような大きな言語モデル(LLM)は意味に基づくタスクの解釈や実行に役立っている。
残念ながら、これらのモデル固有のバイアスは、人間の認知バイアスと同様に、パフォーマンスに悪影響を及ぼす。
特に影響を受けるのはリストからのオブジェクト選択であり、デジタルナビゲーションと意思決定における基本的な操作である。
本研究は,これらのバイアスを批判的に検証し,代表リスト選択タスクへの影響を定量化する。
これらのバイアスを探索するため,温度操作,リスト長,オブジェクト識別,オブジェクトタイプ,迅速な複雑性,モデルなど,一連の制御された実験を行った。
これにより,選択行動に対するバイアスの影響を分離し,測定することが可能となった。
以上の結果から, バイアス構造はモデルに大きく依存しており, 対象型は効果の大きさを調節していることがわかった。
強いプライマリー効果により、リストの最初のオブジェクトが出力で不均等に表現される。
さらに、応答構造を保証する素早いエンジニアリング手法であるガードレールの使用は、選択タスクと組み合わせることでバイアスを増大させ、命令の順守を低減することができる。
リストサンプリングステップからガードレールステップを分離し、個々のタスクの複雑さを低下させる場合には、バイアスをアブレーションする。
この研究の意味は2つあり、実質的には偏りのないLLMアプリケーションを設計するためのガイドを提供し、理論的にはLLMがバイアスの増加によって補償される認知的負荷の形式を経験することを示唆している。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Debiasing Algorithm through Model Adaptation [6.161975764126452]
因果解析を行い、問題のあるモデル成分を同定し、フィードフォワードの中間層が最もバイアスを伝達しやすいことを明らかにする。
解析結果に基づいて,これらの層を線形投影により乗算することでモデルを適応させる。
提案手法であるDAMAは,下流タスクにおけるモデルの性能を維持しながら,様々な指標によって測定されるバイアスを著しく低減する。
論文 参考訳(メタデータ) (2023-10-29T05:50:03Z) - Mind the instructions: a holistic evaluation of consistency and
interactions in prompt-based learning [14.569770617709073]
本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。
本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。
統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
論文 参考訳(メタデータ) (2023-10-20T13:25:24Z) - Loose lips sink ships: Mitigating Length Bias in Reinforcement Learning
from Human Feedback [55.78118035358662]
人間のフィードバックからの強化学習は、大きな言語モデルと人間と社会的価値を整合させる重要な橋として機能する。
報酬モデルが意図した目的を回避できるショートカットを見つけることがよくあります。
本稿では、報酬モデリングとシーケンス長の影響を分離するために、Product-of-Experts技術を適用した革新的なソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-08T15:14:39Z) - HANS, are you clever? Clever Hans Effect Analysis of Neural Systems [1.9217872171227137]
大規模言語モデル(It-LLM)は、認知状態、意図、そしてすべての人々の反応を推論する優れた能力を示しており、人間は日々の社会的相互作用を効果的にガイドし理解することができる。
モデル能力の確固たる評価を構築するために、MCQ(Multiple-choice Question)ベンチマークがいくつか提案されている。
しかし、初期の研究は、I-LLMに固有の「順序バイアス」があることを示しており、適切な評価に挑戦している。
論文 参考訳(メタデータ) (2023-09-21T20:52:18Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Learning Debiased Models with Dynamic Gradient Alignment and
Bias-conflicting Sample Mining [39.00256193731365]
ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。
難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
論文 参考訳(メタデータ) (2021-11-25T14:50:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。