論文の概要: On Fairness of Task Arithmetic: The Role of Task Vectors

• arxiv url: http://arxiv.org/abs/2505.24262v1
• Date: Fri, 30 May 2025 06:34:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.807065
• Title: On Fairness of Task Arithmetic: The Role of Task Vectors
• Title（参考訳）: タスク算術の公正性について:タスクベクトルの役割
• Authors: Hiroki Naganuma, Kotaro Yoshida, Laura Gomezjurado Gonzalez, Takafumi Horie, Yuji Naraki, Ryotaro Shimizu,
• Abstract要約: 本研究では,タスクベクトルの操作が,復号化パリティや等化オッドなどの公平度指標に与える影響について検討する。 本研究は, モデル編集の公正性に関する新たな知見を提供し, 公平性を意識し, 責任あるモデル編集実践の基盤を確立するものである。
• 参考スコア（独自算出の注目度）: 1.236974227340167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing techniques, particularly task arithmetic using task vectors, have shown promise in efficiently modifying pre-trained models through arithmetic operations like task addition and negation. Despite computational advantages, these methods may inadvertently affect model fairness, creating risks in sensitive applications like hate speech detection. However, the fairness implications of task arithmetic remain largely unexplored, presenting a critical gap in the existing literature. We systematically examine how manipulating task vectors affects fairness metrics, including Demographic Parity and Equalized Odds. To rigorously assess these effects, we benchmark task arithmetic against full fine-tuning, a costly but widely used baseline, and Low-Rank Adaptation (LoRA), a prevalent parameter-efficient fine-tuning method. Additionally, we explore merging task vectors from models fine-tuned on demographic subgroups vulnerable to hate speech, investigating whether fairness outcomes can be controlled by adjusting task vector coefficients, potentially enabling tailored model behavior. Our results offer novel insights into the fairness implications of model editing and establish a foundation for fairness-aware and responsible model editing practices.
• Abstract（参考訳）: モデル編集技術、特にタスクベクトルを用いたタスク算術は、タスクの追加や否定といった算術演算を通じて、訓練済みのモデルを効率的に修正する上で有望であることを示す。 計算上の優位性にもかかわらず、これらの手法は必然的にモデルフェアネスに影響を与え、ヘイトスピーチ検出のようなセンシティブなアプリケーションにリスクをもたらす。 しかし、タスク算術の公平性は未解明のままであり、既存の文献に重大なギャップが生じる。 タスクベクトルの操作が,復号化パリティや等化オッドなどの公平度指標にどう影響するかを系統的に検討する。 これらの効果を厳密に評価するために、コストがかかるが広く使われているベースラインであるフル微調整と、パラメータ効率のよい微調整法であるローランド適応(LoRA)に対して、タスク演算をベンチマークする。 さらに、ヘイトスピーチに弱い階層的サブグループに微調整されたモデルからのタスクベクトルのマージについて検討し、タスクベクトル係数を調整することによって公平性を制御できるかどうかを検証し、モデル動作の調整を可能にする可能性がある。 本研究は, モデル編集の公正性に関する新たな知見を提供し, 公平性を意識し, 責任あるモデル編集実践の基盤を確立するものである。

関連論文リスト

• When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers [64.1656365676171]
  タスク算術は、タスクベクトルの重み付き和を追加することで、事前訓練されたモデルを編集することを指す。 本稿では,非関連タスクと非関連タスクのセットを同時に学習する上で,タスク追加の有効性を理論的に証明する。 ドメイン外タスクの否定を実現するために,タスク演算の適切な選択を証明した。
  論文  参考訳（メタデータ） (2025-04-15T08:04:39Z)
• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Efficient Model Editing with Task Vector Bases: A Theoretical Framework and Scalable Approach [27.395660760819133]
  異なる目的のために、保存されたタスクベクトルを演算で操作するのは簡単だが、構成の柔軟性は高いメモリ使用量を必要とする。 この研究は、これらの問題に、タスクベクトル算術を説明する理論的に基礎付けられたフレームワークで対処する。 本手法は,ダウンストリーム演算におけるメモリコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-02-03T03:18:26Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。