論文の概要: Generative Data Augmentation using LLMs improves Distributional
Robustness in Question Answering
- arxiv url: http://arxiv.org/abs/2309.06358v2
- Date: Fri, 9 Feb 2024 01:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 20:44:51.660785
- Title: Generative Data Augmentation using LLMs improves Distributional
Robustness in Question Answering
- Title(参考訳): LLMを用いた生成データ拡張による質問応答における分布ロバスト性の改善
- Authors: Arijit Ghosh Chowdhury, Aman Chadha
- Abstract要約: 生成したデータによる読解データセットの増大は, 自然分布シフトに対するロバスト性の向上につながることを示す。
既存のデータセットを拡張するために、コンテキストとQAペアの両方を生成します。
- 参考スコア(独自算出の注目度): 3.9650458904220507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robustness in Natural Language Processing continues to be a pertinent issue,
where state of the art models under-perform under naturally shifted
distributions. In the context of Question Answering, work on domain adaptation
methods continues to be a growing body of research. However, very little
attention has been given to the notion of domain generalization under natural
distribution shifts, where the target domain is unknown. With drastic
improvements in the quality and access to generative models, we answer the
question: How do generated datasets influence the performance of QA models
under natural distribution shifts? We perform experiments on 4 different
datasets under varying amounts of distribution shift, and analyze how
"in-the-wild" generation can help achieve domain generalization. We take a
two-step generation approach, generating both contexts and QA pairs to augment
existing datasets. Through our experiments, we demonstrate how augmenting
reading comprehension datasets with generated data leads to better robustness
towards natural distribution shifts.
- Abstract(参考訳): 自然言語処理におけるロバスト性は相変わらず問題であり続けており、アートモデルの状態は自然にシフトした分布の下でパフォーマンスが低い。
質問への回答という文脈では、ドメイン適応法の研究は依然として研究の段階である。
しかし、対象領域が不明な自然分布シフトの下での領域一般化の概念にはほとんど注目されていない。
生成モデルの品質とアクセスの劇的な改善により、私たちは疑問に答える。 生成データセットは、自然分布シフトの下でのQAモデルの性能にどのように影響しますか?
分散シフトの異なる4つの異なるデータセットで実験を行い、"in-the-wild"生成がドメインの一般化にどのように役立つかを分析する。
既存のデータセットを拡張するために、コンテキストとQAペアの両方を生成します。
実験を通じて、生成したデータによる読解データセットの強化が、自然分布シフトに対するロバスト性の向上につながることを示す。
関連論文リスト
- Continuous Unsupervised Domain Adaptation Using Stabilized
Representations and Experience Replay [23.871860648919593]
本稿では,教師なしドメイン適応(UDA)問題に継続学習(CL)シナリオで対処するアルゴリズムを提案する。
我々の解は、学習した内部分布を安定化し、新しい領域におけるモデル一般化を強化することに基づいている。
経験リプレイを活用して,新たなタスクを学習する際に獲得した知識をモデルが失う,破滅的な忘れ事の問題を克服する。
論文 参考訳(メタデータ) (2024-01-31T05:09:14Z) - Equivariant Data Augmentation for Generalization in Offline
Reinforcement Learning [10.00979536266327]
オフライン強化学習(RL)における一般化の課題に対処する新しいアプローチを提案する。
具体的には,エージェントのアウト・オブ・ディストリビューション目標への一般化能力の向上を目指す。
我々は、オフラインのオフラインRLアルゴリズムを用いて、拡張データセットに基づいて新しいポリシーをオフラインで学習する。
論文 参考訳(メタデータ) (2023-09-14T10:22:33Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z) - Improving the quality of generative models through Smirnov
transformation [1.3492000366723798]
本稿では,ジェネレータの出力として使用される新しいアクティベーション関数を提案する。
これはスミルノフ確率変換に基づいており、生成されたデータの品質を改善するために特別に設計されている。
論文 参考訳(メタデータ) (2021-10-29T17:01:06Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳(メタデータ) (2021-07-09T19:48:23Z) - Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。
我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。
我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
論文 参考訳(メタデータ) (2020-07-07T09:34:17Z) - The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution
Generalization [64.61630743818024]
画像スタイルの変化,画像のぼやけ度,地理的位置,カメラ操作などの4つの新しい現実分布シフトデータセットを導入する。
より大規模なモデルと人工的なデータ拡張を用いることで,先行研究の主張に反して,実世界の分散シフトの堅牢性を向上させることができることがわかった。
また,1000倍のラベル付きデータで事前訓練されたモデルに対して,最先端のモデルと性能を向上する新たなデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2020-06-29T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。