論文の概要: Ethos: Rectifying Language Models in Orthogonal Parameter Space
- arxiv url: http://arxiv.org/abs/2403.08994v2
- Date: Mon, 1 Apr 2024 05:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 08:19:18.752116
- Title: Ethos: Rectifying Language Models in Orthogonal Parameter Space
- Title(参考訳): Ethos: 直交パラメータ空間における言語モデルの定式化
- Authors: Lei Gao, Yue Niu, Tingting Tang, Salman Avestimehr, Murali Annavaram,
- Abstract要約: Ethosは、言語モデルを修正して、出力の毒性とバイアスを軽減し、プライバシリークを回避する。
エトスはタスクベクトルを再構成する際の一般的な有益な知識と望ましくない知識を区別する。
Ethosは、現在のタスク算術法と比較して、望ましくない知識を取り除き、全体のモデル性能を維持するのに効果的である。
- 参考スコア(独自算出の注目度): 18.552630066475807
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Language models (LMs) have greatly propelled the research on natural language processing. However, LMs also raise concerns regarding the generation of biased or toxic content and the potential disclosure of private information from the training dataset. In this work, we present a new efficient approach, Ethos, that rectifies LMs to mitigate toxicity and bias in outputs and avoid privacy leakage. Ethos is built on task arithmetic. However, unlike current task arithmetic algorithms, Ethos distinguishes general beneficial and undesired knowledge when reconstructing task vectors. Specifically, Ethos first obtains a set of principal components from the pre-trained models using singular value decomposition. Then, by projecting the task vector onto principal components, Ethos identifies the principal components that encode general or undesired knowledge. Ethos performs negating using the task vector with undesired knowledge only, thereby minimizing collateral damage on general model utility. We demonstrate the efficacy of our approach on three different tasks: debiasing, detoxification, and memorization unlearning. Evaluations show Ethos is more effective in removing undesired knowledge and maintaining the overall model performance compared to current task arithmetic methods.
- Abstract(参考訳): 言語モデル(LM)は自然言語処理の研究を大いに推進してきた。
しかし、LMはバイアスや有害なコンテンツの生成や、トレーニングデータセットから個人情報を開示する可能性についても懸念を提起する。
本研究では, 毒性と出力バイアスを軽減し, プライバシーの漏洩を回避するために, LMを修正した新しい効率的なアプローチであるEthosを提案する。
Ethosはタスク演算に基づいて構築されている。
しかし、現在のタスク演算アルゴリズムとは異なり、Ethosはタスクベクトルを再構成する際の一般的な有益な知識と望ましくない知識を区別する。
具体的には、エトスはまず特異値分解を用いて事前訓練されたモデルから主成分の集合を得る。
次に、タスクベクトルを主成分に射影することにより、Ethosは一般または望ましくない知識を符号化する主成分を特定する。
Ethosは、望ましくない知識しか持たないタスクベクトルを用いてネガ化を行い、一般的なモデルユーティリティに対する副作用を最小限に抑える。
我々は,脱バイアス,解毒,覚醒の3つの課題に対して,アプローチの有効性を実証した。
評価の結果、Ethosは現在のタスク算術法と比較して、望ましくない知識を取り除き、全体のモデル性能を維持するのに効果的であることが示された。
関連論文リスト
- The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - Contrastive Perplexity for Controlled Generation: An Application in
Detoxifying Large Language Models [25.212449683397647]
本稿では,暗黙的な知識編集と制御されたテキスト生成のための微調整LDMのためのコントラスト学習目標の統合について検討する。
自己教師型でモデルのトレーニングを容易にするため,市販のLCMを用いてデータ生成のトレーニングを行う。
論文 参考訳(メタデータ) (2024-01-16T16:49:39Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z) - Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。
提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
論文 参考訳(メタデータ) (2023-10-22T02:23:44Z) - Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained
Models [96.9373147383119]
重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。
それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。
これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-05-22T08:39:25Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳(メタデータ) (2022-11-18T15:09:03Z) - Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach [95.74102207187545]
本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。
そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
論文 参考訳(メタデータ) (2022-11-02T02:02:51Z) - Dyna-bAbI: unlocking bAbI's potential with dynamic synthetic
benchmarking [16.109330335379962]
Dyna-bAbIは動的フレームワークであり、bAbIのタスク生成を細かく制御する。
構成一般化を必要とする3つの新しいタスクを構築することで、私たちのアイデアを実証する。
論文 参考訳(メタデータ) (2021-11-30T20:36:56Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳(メタデータ) (2020-09-29T07:08:35Z) - Learning Generalized Relational Heuristic Networks for Model-Agnostic
Planning [29.714818991696088]
本稿では,記号的行動モデルが存在しない場合の一般化を学習するための新しいアプローチを開発する。
データの効率的で一般化可能な学習を容易にするために、抽象状態表現を使用する。
論文 参考訳(メタデータ) (2020-07-10T06:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。