論文の概要: BEFT: Bias-Efficient Fine-Tuning of Language Models

• arxiv url: http://arxiv.org/abs/2509.15974v1
• Date: Fri, 19 Sep 2025 13:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.183861
• Title: BEFT: Bias-Efficient Fine-Tuning of Language Models
• Title（参考訳）: BEFT: 言語モデルのバイアス効率の良い微調整
• Authors: Baichuan Huang, Ananth Balashankar, Amir Aminifar,
• Abstract要約: 我々は、偏差項を微調整する手法を提案し、偏差係数微調整(BEFT)の基礎を形成した。 本研究は,多様な下流課題に対するバイアス効率のアプローチの有効性と優位性を示すものである。
• 参考スコア（独自算出の注目度）: 13.498794394831604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning all-bias-terms stands out among various parameter-efficient fine-tuning (PEFT) techniques, owing to its out-of-the-box usability and competitive performance, especially in low-data regimes. Bias-only fine-tuning has the potential for unprecedented parameter efficiency. However, the link between fine-tuning different bias terms (i.e., bias terms in the query, key, or value projections) and downstream performance remains unclear. The existing approaches, e.g., based on the magnitude of bias change or empirical Fisher information, provide limited guidance for selecting the particular bias term for effective fine-tuning. In this paper, we propose an approach for selecting the bias term to be fine-tuned, forming the foundation of our bias-efficient fine-tuning (BEFT). We extensively evaluate our bias-efficient approach against other bias-selection approaches, across a wide range of large language models (LLMs) spanning encoder-only and decoder-only architectures from 110M to 6.7B parameters. Our results demonstrate the effectiveness and superiority of our bias-efficient approach on diverse downstream tasks, including classification, multiple-choice, and generation tasks.
• Abstract（参考訳）: パラメータ効率のよい細調整(PEFT)技術では、特に低データ体制において、その使いやすさと競争性能から、細調整の全バイアス項が際立っている。 バイアスのみの微調整は、前例のないパラメータ効率の可能性を秘めている。 しかし、微調整の異なるバイアス項(例えば、クエリ、キー、バリュープロジェクションのバイアス項)と下流のパフォーマンスの関連性はいまだ不明である。 既存のアプローチ、例えば、バイアスの変化の大きさや経験的フィッシャー情報に基づいて、効果的な微調整のための特定のバイアス項を選択するための限定的なガイダンスを提供する。 本稿では,偏差項を微調整する手法を提案し,偏差効率のよい微調整(BEFT)の基礎となる。 我々は、エンコーダのみのアーキテクチャとデコーダのみのアーキテクチャを110Mから6.7Bのパラメータにまたがる幅広い大規模言語モデル(LLM)に対して、バイアス効率の高いアプローチを広く評価した。 本研究は, 分類, 多重選択, 生成タスクなど, 多様な下流タスクにおけるバイアス効率の高いアプローチの有効性と優位性を示すものである。

関連論文リスト

• Mitigating Selection Bias with Node Pruning and Auxiliary Options [11.835002896308545]
  大規模言語モデル(LLM)は、複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 選択バイアスに寄与するパラメータを抽出するBias Node Pruning(BNP)と、ホワイトボックスとブラックボックスの設定の両方でバイアスを減らすためのAuxiliary Option Injection(AOI)の2つの方法を紹介する。
  論文  参考訳（メタデータ） (2024-09-27T15:53:54Z)
• Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems [74.47680026838128]
  ユーザインタラクションデータとレコメンダシステム(RS)の2つの典型的なバイアスは、人気バイアスと肯定バイアスである。 項目と評価値の双方に影響される多因子選択バイアスについて検討する。 分散を低減し、最適化の堅牢性を向上させるため、スムースで交互に勾配降下する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:18:21Z)
• PEFTDebias : Capturing debiasing information using PEFTs [3.6985496077087743]
  PEFTデビアス(PEFT Debias)は,パラメータ効率のよい微調整(PEFT)を用いて基礎モデルのバイアスを軽減する手法である。 PEFTDebiasは、特定のバイアス軸に沿ってデバイアスパラメータを取得する上流フェーズと、これらのパラメータをモデルに組み込んで微調整プロセス中に凍結する下流フェーズの2つの主要なフェーズから構成される。
  論文  参考訳（メタデータ） (2023-12-01T09:06:06Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases [27.56143777363971]
  本稿では,複数のデータセットのバイアスを効果的かつ効率的に緩和できる分散混合適応器(SMOA)を提案する。 自然言語推論およびパラフレーズ識別タスクの実験は、SMoAがフルファインタニング、アダプタチューニングベースライン、および以前の強いデバイアス法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-02-28T08:47:20Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。