論文の概要: Improving QA Model Performance with Cartographic Inoculation
- arxiv url: http://arxiv.org/abs/2401.17498v2
- Date: Thu, 1 Feb 2024 20:43:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 18:29:06.770911
- Title: Improving QA Model Performance with Cartographic Inoculation
- Title(参考訳): カルトグラフィー接種によるQAモデルの性能向上
- Authors: Allen Chen (UT Austin), Okan Tanrikulu (UT Austin)
- Abstract要約: データセットアーティファクト"は、実世界のQA問題に一般化するモデルの能力を低下させる。
逆問題集合を用いてデータセットアーティファクトの影響と頻度を解析する。
課題集合から曖昧な逆数例のモデルを選択的に微調整することにより、大幅な性能改善が可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: QA models are faced with complex and open-ended contextual reasoning
problems, but can often learn well-performing solution heuristics by exploiting
dataset-specific patterns in their training data. These patterns, or "dataset
artifacts", reduce the model's ability to generalize to real-world QA problems.
Utilizing an ElectraSmallDiscriminator model trained for QA, we analyze the
impacts and incidence of dataset artifacts using an adversarial challenge set
designed to confuse models reliant on artifacts for prediction. Extending
existing work on methods for mitigating artifact impacts, we propose
cartographic inoculation, a novel method that fine-tunes models on an optimized
subset of the challenge data to reduce model reliance on dataset artifacts. We
show that by selectively fine-tuning a model on ambiguous adversarial examples
from a challenge set, significant performance improvements can be made on the
full challenge dataset with minimal loss of model generalizability to other
challenging environments and QA datasets.
- Abstract(参考訳): qaモデルは複雑かつオープンなコンテキスト推論の問題に直面しますが、トレーニングデータにデータセット固有のパターンを使用することで、パフォーマンスの高いソリューションヒューリスティックスを学べることが多いのです。
これらのパターン、あるいは"データセットアーティファクト"は、モデルが現実世界のqa問題に一般化する能力を減らす。
QAのためにトレーニングされたElectraSmallDiscriminatorモデルを用いて、予測のためにアーティファクトに依存したモデルを混乱させるように設計された敵対的課題セットを用いて、データセットアーティファクトの影響と頻度を分析する。
アーティファクトの影響を緩和する手法に関する既存の研究を拡張し,データセットアーティファクトへのモデル依存を軽減するために,課題データの最適化サブセット上でモデルを微調整する新しい手法である地図接種法を提案する。
課題セットからあいまいな逆さまの例でモデルを選択的に微調整することで、他の課題環境やqaデータセットへのモデルの一般化性を最小限に抑えながら、全チャレンジデータセットで大幅なパフォーマンス改善ができることを示す。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - AttributionScanner: A Visual Analytics System for Metadata-Free
Data-Slicing Based Model Validation [31.19426148651238]
AttributionScannerは、データスライシングベースの機械学習(ML)モデルの検証用に設計されたビジュアル分析システムである。
提案手法は,説明可能なAI(XAI)技術を用いて抽出した説明可能な特徴を利用して,解釈可能なデータスライスを識別する。
我々のフレームワークは、最先端のニューラルネットワーク正規化技術を使用することで、ドメインエキスパートにモデル問題に対処する権限を与えることで、ML開発サイクルを閉じる。
論文 参考訳(メタデータ) (2024-01-12T09:17:32Z) - Downstream Task-Oriented Generative Model Selections on Synthetic Data
Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。
本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文 参考訳(メタデータ) (2024-01-01T23:33:56Z) - Does Synthetic Data Make Large Language Models More Efficient? [0.0]
本稿では,NLPにおける合成データ生成のニュアンスについて考察する。
データ拡張の可能性や構造化品種の導入など、その利点を強調します。
テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
論文 参考訳(メタデータ) (2023-10-11T19:16:09Z) - Towards Personalized Federated Learning via Heterogeneous Model
Reassembly [84.44268421053043]
pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。
pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
論文 参考訳(メタデータ) (2023-08-16T19:36:01Z) - Evaluating the Capabilities of Multi-modal Reasoning Models with
Synthetic Task Data [0.0]
我々は高解像度テキスト・画像生成の進歩を活用し、マルチモーダル推論タスクの評価データを生成するフレームワークを開発する。
このフレームワークを用いて、コンテキスト依存の異常データを生成し、困難なタスクに合成データセットを作成する。
我々は,タスクが抽出可能である一方で,標準的なVQAタスクよりもコンテキスト依存型異常検出タスクでは,モデルが大幅に悪化することを示した。
論文 参考訳(メタデータ) (2023-06-01T20:56:34Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-06T14:12:26Z) - Exposing Shallow Heuristics of Relation Extraction Models with Challenge
Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。
トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文 参考訳(メタデータ) (2020-10-07T21:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。