論文の概要: Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities
- arxiv url: http://arxiv.org/abs/2302.02852v1
- Date: Mon, 6 Feb 2023 15:21:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 16:19:28.801722
- Title: Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities
- Title（参考訳）: 学習者のガイド:トークン属性の類似性に基づく専門家の偏りの制御
- Authors: Ali Modarressi, Hossein Amirkhani, Mohammad Taher Pilehvar
- Abstract要約: 一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
- 参考スコア（独自算出の注目度）: 17.082695183953486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several proposals have been put forward in recent years for improving
out-of-distribution (OOD) performance through mitigating dataset biases. A
popular workaround is to train a robust model by re-weighting training examples
based on a secondary biased model. Here, the underlying assumption is that the
biased model resorts to shortcut features. Hence, those training examples that
are correctly predicted by the biased model are flagged as being biased and are
down-weighted during the training of the main model. However, assessing the
importance of an instance merely based on the predictions of the biased model
may be too naive. It is possible that the prediction of the main model can be
derived from another decision-making process that is distinct from the behavior
of the biased model. To circumvent this, we introduce a fine-tuning strategy
that incorporates the similarity between the main and biased model attribution
scores in a Product of Experts (PoE) loss function to further improve OOD
performance. With experiments conducted on natural language inference and fact
verification benchmarks, we show that our method improves OOD results while
maintaining in-distribution (ID) performance.
- Abstract（参考訳）: 近年、データセットのバイアスを軽減し、out-of-distribution (ood)のパフォーマンスを改善するための提案がいくつか提案されている。
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再強調することで、堅牢なモデルをトレーニングすることだ。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
したがって、バイアスモデルによって正しく予測されるこれらのトレーニング例は、バイアスのあるものとしてフラグ付けされ、メインモデルのトレーニング中に重み付けされる。
しかし、偏りのあるモデルの予測に基づいて、インスタンスの重要性を評価することは、あまりにも単純すぎるかもしれない。
主モデルの予測は、偏りのあるモデルの振る舞いとは異なる別の意思決定プロセスから導出される可能性がある。
これを回避するために,専門家の損失関数(poe)の積における主および偏りのあるモデルの帰属スコアの類似性を組み込んだ微調整戦略を導入し,さらにood性能を向上させる。
自然言語推論とファクト検証ベンチマークを用いた実験により,本手法は分布内 (id) 性能を維持しつつ, ood結果を改善した。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳（メタデータ） (2023-12-06T16:15:00Z) - Think Twice: Measuring the Efficiency of Eliminating Prediction
Shortcuts of Question Answering Models [3.9052860539161918]
そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。
質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。
既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
論文 参考訳（メタデータ） (2023-05-11T14:35:00Z) - Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。
提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。
その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
論文 参考訳（メタデータ） (2023-02-10T02:27:13Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Model-agnostic bias mitigation methods with regressor distribution
control for Wasserstein-based fairness metrics [0.6509758931804478]
より公平な回帰分布を持つ後処理モデルの構築に基づくバイアス緩和手法を提案する。
提案手法は低次元空間において最適化を行い,コストのかかるモデル再訓練を回避する。
論文 参考訳（メタデータ） (2021-11-19T17:31:22Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳（メタデータ） (2020-12-02T16:10:54Z) - Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-05-01T11:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。