論文の概要: Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2406.12060v3
• Date: Mon, 18 Nov 2024 11:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:55.493898
• Title: Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding
• Title（参考訳）: ゼロではなく集約:自然言語理解におけるショートカットシフトに対処するための実験の混合によるポストホック制御
• Authors: Ukyo Honda, Tatsushi Oka, Peinan Zhang, Masato Mita,
• Abstract要約: 本稿では,各専門家が比較的異なる潜伏特徴を捉えていると仮定して,実験結果の混合予測を悲観的に集約する手法を提案する。 実験結果から,専門家に対するポストホック制御は,ショートカットにおける分布シフトに対するモデルのロバスト性を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 5.4480125359160265
• License:
• Abstract: Recent models for natural language understanding are inclined to exploit simple patterns in datasets, commonly known as shortcuts. These shortcuts hinge on spurious correlations between labels and latent features existing in the training data. At inference time, shortcut-dependent models are likely to generate erroneous predictions under distribution shifts, particularly when some latent features are no longer correlated with the labels. To avoid this, previous studies have trained models to eliminate the reliance on shortcuts. In this study, we explore a different direction: pessimistically aggregating the predictions of a mixture-of-experts, assuming each expert captures relatively different latent features. The experimental results demonstrate that our post-hoc control over the experts significantly enhances the model's robustness to the distribution shift in shortcuts. Besides, we show that our approach has some practical advantages. We also analyze our model and provide results to support the assumption.
• Abstract（参考訳）: 最近の自然言語理解モデルは、一般的にショートカットとして知られるデータセットの単純なパターンを利用する傾向にある。 これらのショートカットは、トレーニングデータに存在するラベルと潜在機能の間の急激な相関にヒンジする。 推定時において、ショートカットに依存したモデルは、特にラベルと関係のない潜在的特徴がなくなった場合、分布シフトの下で誤った予測を生成する傾向にある。 これを避けるために、従来の研究ではショートカットへの依存を取り除くためにモデルを訓練してきた。 本研究では,各専門家が比較的異なる潜伏特徴を捉えると仮定して,実験結果の混合予測を悲観的に集約する。 実験結果から,専門家に対するポストホック制御は,ショートカットにおける分布シフトに対するモデルのロバスト性を大幅に向上させることが示された。 さらに、我々のアプローチにはいくつかの実用的な利点があることが示されています。 また、我々のモデルを分析し、その仮定を支持する結果を提供する。

関連論文リスト

• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• How to Construct Perfect and Worse-than-Coin-Flip Spoofing Countermeasures: A Word of Warning on Shortcut Learning [20.486639064376014]
  ショートカット学習(英: Shortcut learning、またはClever Hans effect)とは、学習エージェントがデータに存在する急激な相関を学習し、バイアスのあるモデルをもたらす状況を指す。 本研究では, 深層学習に基づくスプーフィング対策(CM)において, ある発話がスプーフィングされているか否かを予測するショートカットの発見に焦点をあてる。
  論文  参考訳（メタデータ） (2023-05-31T15:58:37Z)
• Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
  ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。 ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。 本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
  論文  参考訳（メタデータ） (2023-01-10T08:25:24Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)
• Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
  統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。 特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。 本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-01T13:16:18Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
  訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。 本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-11T19:39:56Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。