論文の概要: Capturing Failures of Large Language Models via Human Cognitive Biases
- arxiv url: http://arxiv.org/abs/2202.12299v1
- Date: Thu, 24 Feb 2022 18:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 16:28:06.529669
- Title: Capturing Failures of Large Language Models via Human Cognitive Biases
- Title（参考訳）: 認知バイアスによる大規模言語モデルの故障の把握
- Authors: Erik Jones, Jacob Steinhardt
- Abstract要約: OpenAIのCodex errsは、入力プロンプトのフレーム化、アンカーへの出力の調整、頻繁なトレーニング例を模倣する出力へのバイアスなどに基づいている。
我々の実験は、認知科学が現代の機械学習システムがどのように振る舞うかをよりよく理解するために有用な跳躍点になり得ることを示唆している。
- 参考スコア（独自算出の注目度）: 18.397404180932373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models generate complex, open-ended outputs: instead of
outputting a single class, they can write summaries, generate dialogue, and
produce working code. In order to study the reliability of these open-ended
systems, we must understand not just when they fail, but also how they fail. To
approach this, we draw inspiration from human cognitive biases -- systematic
patterns of deviation from rational judgement. Specifically, we use cognitive
biases to (i) identify inputs that models are likely to err on, and (ii)
develop tests to qualitatively characterize their errors on these inputs. Using
code generation as a case study, we find that OpenAI's Codex errs predictably
based on how the input prompt is framed, adjusts outputs towards anchors, and
is biased towards outputs that mimic frequent training examples. We then use
our framework to uncover high-impact errors such as incorrectly deleting files.
Our experiments suggest that cognitive science can be a useful jumping-off
point to better understand how contemporary machine learning systems behave.
- Abstract（参考訳）: 大きな言語モデルは複雑なオープンエンドの出力を生成する。単一のクラスを出力する代わりに、要約を書き、対話を生成し、動作するコードを生成することができる。
これらのオープンエンドシステムの信頼性を調べるためには、いつ失敗したかだけでなく、どのように失敗したかを理解する必要がある。
これに取り組むには、人間の認知バイアスからインスピレーションを受けます -- 合理的判断から逸脱する体系的なパターンです。
具体的には認知バイアスを使って
(i)モデルがオンになりそうな入力を識別し、
(ii)これらの入力の誤りを定性的に特徴付けるテストを開発する。
ケーススタディとしてコード生成を使用することで、OpenAIのCodex errsが、入力プロンプトのフレーム化方法に基づいて予測可能であり、出力をアンカーに調整し、頻繁なトレーニング例を模倣する出力に偏っていることが分かりました。
次に、我々のフレームワークを使用して、ファイルの不正削除などの影響の大きいエラーを明らかにする。
我々の実験は、認知科学が現代の機械学習システムがどのように振る舞うかをよりよく理解するために有用な跳躍点になり得ることを示唆している。
関連論文リスト
- DISCERN: Decoding Systematic Errors in Natural Language for Text Classifiers [18.279429202248632]
本稿では,テキスト分類器における系統的バイアスを言語説明を用いて解釈するフレームワークであるdisCERNを紹介する。
DISCERNは、2つの大きな言語モデル間の対話ループを用いて、体系的エラーの正確な自然言語記述を反復的に生成する。
本研究では, クラスタを例に挙げるよりも, 言語説明を通して, 系統的バイアスをより効果的に(25%以上相対的に) 効率的に解釈できることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:04:55Z) - Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。
我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文 参考訳（メタデータ） (2024-10-06T13:09:48Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳（メタデータ） (2024-02-03T01:40:11Z) - Explore, Establish, Exploit: Red Teaming Language Models from Scratch [7.949645304649025]
我々は、相手が失敗を分類する方法から始めない「ゼロから」レッドチームを考える。
我々は,この手法を用いて,偽文を抽出する入力のクラスを発見する。
論文 参考訳（メタデータ） (2023-06-15T18:49:50Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳（メタデータ） (2022-12-07T18:17:56Z) - A Simple, Yet Effective Approach to Finding Biases in Code Generation [16.094062131137722]
この研究は、現在のコード生成システムが、彼らの大きな言語モデルバックボーンから受け継がれた望ましくないバイアスを示すことを示している。
コーディング課題のモジュラー分解と解析を可能にする「影響ブロック」の概念を提案する。
論文 参考訳（メタデータ） (2022-10-31T15:06:15Z) - Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。
我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。
この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
論文 参考訳（メタデータ） (2021-12-17T20:10:00Z) - Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。
また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。
半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
論文 参考訳（メタデータ） (2021-09-23T23:26:59Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。