論文の概要: "Flex Tape Can't Fix That": Bias and Misinformation in Edited Language
Models
- arxiv url: http://arxiv.org/abs/2403.00180v1
- Date: Thu, 29 Feb 2024 23:11:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:45:56.812214
- Title: "Flex Tape Can't Fix That": Bias and Misinformation in Edited Language
Models
- Title(参考訳): "Flex Tape Can't Fix that": 編集言語モデルにおけるバイアスと誤報
- Authors: Karina Halevy, Anna Sotnikova, Badr AlKhamissi, Syrielle Montariol,
Antoine Bosselut
- Abstract要約: モデル編集手法は,編集後のモデルバイアスを予期せず増幅する方法について検討する。
具体的には、人種、地理的起源、性別などの人口特性に関するバイアスに焦点を当てる。
編集されたモデルは、アジア、アフリカ、および南米の被験者の属性に対する信頼性が低下するにつれて、様々な程度にバイアスのかかる行動を示す。
- 参考スコア(独自算出の注目度): 19.068525916876023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model editing has emerged as a cost-effective strategy to update knowledge
stored in language models. However, model editing can have unintended
consequences after edits are applied: information unrelated to the edits can
also be changed, and other general behaviors of the model can be wrongly
altered. In this work, we investigate how model editing methods unexpectedly
amplify model biases post-edit. We introduce a novel benchmark dataset,
Seesaw-CF, for measuring bias-related harms of model editing and conduct the
first in-depth investigation of how different weight-editing methods impact
model bias. Specifically, we focus on biases with respect to demographic
attributes such as race, geographic origin, and gender, as well as qualitative
flaws in long-form texts generated by edited language models. We find that
edited models exhibit, to various degrees, more biased behavior as they become
less confident in attributes for Asian, African, and South American subjects.
Furthermore, edited models amplify sexism and xenophobia in text generations
while remaining seemingly coherent and logical. Finally, editing facts about
place of birth, country of citizenship, or gender have particularly negative
effects on the model's knowledge about unrelated features like field of work.
- Abstract(参考訳): モデル編集は、言語モデルに格納された知識を更新するためのコスト効率の良い戦略として登場した。
しかし、モデル編集は、編集に関係のない情報を変更したり、モデルの他の一般的な振る舞いを誤って変更したりすることで、意図しない結果をもたらす可能性がある。
本研究では,モデル編集手法が不意にモデルバイアスを増幅する方法について検討する。
本稿では,モデル編集のバイアス関連害を計測し,重み付け手法の違いがモデルバイアスに与える影響を初めて詳細に検討する,新たなベンチマークデータセットであるseesaw-cfを提案する。
具体的には、人種、地理的起源、性別などの人口特性に関するバイアスと、編集された言語モデルによって生成される長文の質的欠陥に焦点を当てる。
編集されたモデルは、アジア、アフリカ、および南米の被験者の属性に対する自信が薄れるにつれて、様々な程度に偏った行動を示すことがわかりました。
さらに、編集されたモデルは、一見コヒーレントで論理的なまま、テキスト世代における性差別と異種恐怖症を増幅する。
最後に、出生地、市民権国、性別に関する事実の編集は、特に労働分野のような無関係な特徴に関するモデルの知識に悪影響を及ぼす。
関連論文リスト
- Potential and Challenges of Model Editing for Social Debiasing [20.186721346693577]
巨大なコーパスで訓練された大言語モデル(LLM)は、避けられないステレオタイプバイアスに悩まされる。
これらのバイアスを微調整で緩和することは、費用もデータもかかる。
ポストホックな方法でLLMを変更することに焦点を当てたモデル編集手法は、デバイアスに対処する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-02-21T01:35:26Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
提案手法は,下流タスク性能と強い相関を示す広範な実験により検証され,サロゲート指標としてパープレキシティを用いる。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.887477629420772]
本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。
モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
論文 参考訳(メタデータ) (2024-01-15T03:57:15Z) - DUnE: Dataset for Unified Editing [3.7346004746366384]
自然言語文を編集するDUnE-an編集ベンチマークを導入する。
検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-27T18:56:14Z) - MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop
Questions [80.69639629733484]
編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。
本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
論文 参考訳(メタデータ) (2023-05-24T06:48:41Z) - Does Localization Inform Editing? Surprising Differences in
Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。
特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。
我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
論文 参考訳(メタデータ) (2023-01-10T21:26:08Z) - Aging with GRACE: Lifelong Model Editing with Discrete Key-Value
Adaptors [53.819805242367345]
本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。
GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。
T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
論文 参考訳(メタデータ) (2022-11-20T17:18:22Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。
本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。
本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
論文 参考訳(メタデータ) (2022-05-25T11:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。