Fugu-MT 論文翻訳(概要): Not to Overfit or Underfit? A Study of Domain Generalization in Question Answering

論文の概要: Not to Overfit or Underfit? A Study of Domain Generalization in Question Answering

arxiv url: http://arxiv.org/abs/2205.07257v1
Date: Sun, 15 May 2022 10:53:40 GMT
ステータス: 処理完了
システム内更新日: 2022-05-18 07:57:45.713090
Title: Not to Overfit or Underfit? A Study of Domain Generalization in Question Answering
Title（参考訳）: 過度に適合するか、不適当か? 質問応答における領域一般化の検討
Authors: Md Arafat Sultan, Avirup Sil and Radu Florian
Abstract要約: 機械学習モデルは、ソース(トレーニング)の分布を過度に適合させる傾向がある。本稿では、マルチソース領域一般化(DG)は、実際に、ソースドメインの未適合性を緩和する問題である、という対照的な見解を考察する。
参考スコア（独自算出の注目度）: 18.22045610080848
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning models are prone to overfitting their source (training) distributions, which is commonly believed to be why they falter in novel target domains. Here we examine the contrasting view that multi-source domain generalization (DG) is in fact a problem of mitigating source domain underfitting: models not adequately learning the signal in their multi-domain training data. Experiments on a reading comprehension DG benchmark show that as a model gradually learns its source domains better -- using known methods such as knowledge distillation from a larger model -- its zero-shot out-of-domain accuracy improves at an even faster rate. Improved source domain learning also demonstrates superior generalization over three popular domain-invariant learning methods that aim to counter overfitting.
Abstract（参考訳）: 機械学習モデルは、ソース(トレーニング)の分布を過度に適合させる傾向がある。本稿では,マルチソースドメイン一般化(dg)は,実のところ,ソースドメインのアンダーフィッティングを緩和する問題である,という対照的な見解を検討する。参照理解DGベンチマークの実験は、モデルが徐々にソースドメインを学習し、より大きなモデルからの知識の蒸留のような既知の手法を使って、ゼロショットのドメイン外精度がさらに高速に向上することを示している。改良されたソースドメイン学習はまた、オーバーフィッティングを防ごうとする3つの人気のあるドメイン不変学習方法よりも優れた一般化を示す。

関連論文リスト

Improving Generalization with Domain Convex Game [32.07275105040802]
ドメインの一般化は、複数のソースドメインを持つモデルを学習することで、ディープニューラルネットワークの貧弱な一般化能力を緩和する傾向がある。 DG の古典的な解は領域拡大であり、その一般的な信念は、ソース領域の多様化は分布外一般化に導かれるということである。モデル一般化と領域の多様性の相関は厳密には正ではなく,ドメイン拡張の有効性を制限している。
論文参考訳（メタデータ） (2023-03-23T14:27:49Z)
Improving Domain Generalization with Domain Relations [77.63345406973097]
本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
論文参考訳（メタデータ） (2023-02-06T08:11:16Z)
Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。深層モデルはトレーニングドメインスタイルしか知らない。このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
論文参考訳（メタデータ） (2022-11-08T17:36:49Z)
Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
論文参考訳（メタデータ） (2022-05-06T15:37:56Z)
Domain Generalization by Mutual-Information Regularization with Pre-trained Models [20.53534134966378]
ドメイン一般化(DG)は、限られたソースドメインのみを使用して、見えないターゲットドメインに一般化されたモデルを学習することを目的としている。我々は、任意の可能な領域に一般化されたモデルであるオラクルモデルとの相互情報を用いて、DGの目的を再定式化する。実験の結果, Oracle (MIRO) による相互情報正規化は, アウト・オブ・ディストリビューション性能を著しく向上させることがわかった。
論文参考訳（メタデータ） (2022-03-21T08:07:46Z)
A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
論文参考訳（メタデータ） (2022-01-24T18:09:38Z)
Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文参考訳（メタデータ） (2021-08-31T03:17:54Z)
Domain Generalization using Ensemble Learning [0.0]
モデルが単一ソースドメインでトレーニングされる場合、モデルの弱い一般化の問題に対処する。この観点から,単一ソース上で訓練されたベースディープラーニングモデルに基づいてアンサンブルモデルを構築し,その集合予測の一般化を促進する。
論文参考訳（メタデータ） (2021-03-18T13:50:36Z)
FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation [26.929772844572213]
我々は、ソースとターゲットドメイン間の複数の中間ドメインを拡大するために、固定比に基づくミックスアップを導入する。我々は、相補的な特性を持つソース支配モデルとターゲット支配モデルを訓練する。提案手法により,モデルが対象ドメインに徐々にドメイン知識を伝達する。
論文参考訳（メタデータ） (2020-11-18T11:58:19Z)
Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
論文参考訳（メタデータ） (2020-07-07T09:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。