論文の概要: Improving QA Model Performance with Cartographic Inoculation
- arxiv url: http://arxiv.org/abs/2401.17498v1
- Date: Tue, 30 Jan 2024 23:08:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 16:01:56.358298
- Title: Improving QA Model Performance with Cartographic Inoculation
- Title(参考訳): カルトグラフィー接種によるQAモデルの性能向上
- Authors: Allen Chen (UT Austin), Okan Tankirulu (UT Austin)
- Abstract要約: データセットアーティファクト"は、実世界のQA問題に一般化するモデルの能力を低下させる。
逆問題集合を用いてデータセットアーティファクトの影響と頻度を解析する。
課題集合から曖昧な逆数例のモデルを選択的に微調整することにより、大幅な性能改善が可能であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: QA models are faced with complex and open-ended contextual reasoning
problems, but can often learn well-performing solution heuristics by exploiting
dataset-specific patterns in their training data. These patterns, or "dataset
artifacts", reduce the model's ability to generalize to real-world QA problems.
Utilizing an ElectraSmallDiscriminator model trained for QA, we analyze the
impacts and incidence of dataset artifacts using an adversarial challenge set
designed to confuse models reliant on artifacts for prediction. Extending
existing work on methods for mitigating artifact impacts, we propose
cartographic inoculation, a novel method that fine-tunes models on an optimized
subset of the challenge data to reduce model reliance on dataset artifacts. We
show that by selectively fine-tuning a model on ambiguous adversarial examples
from a challenge set, significant performance improvements can be made on the
full challenge dataset with minimal loss of model generalizability to other
challenging environments and QA datasets.
- Abstract(参考訳): qaモデルは複雑かつオープンなコンテキスト推論の問題に直面しますが、トレーニングデータにデータセット固有のパターンを使用することで、パフォーマンスの高いソリューションヒューリスティックスを学べることが多いのです。
これらのパターン、あるいは"データセットアーティファクト"は、モデルが現実世界のqa問題に一般化する能力を減らす。
QAのためにトレーニングされたElectraSmallDiscriminatorモデルを用いて、予測のためにアーティファクトに依存したモデルを混乱させるように設計された敵対的課題セットを用いて、データセットアーティファクトの影響と頻度を分析する。
アーティファクトの影響を緩和する手法に関する既存の研究を拡張し,データセットアーティファクトへのモデル依存を軽減するために,課題データの最適化サブセット上でモデルを微調整する新しい手法である地図接種法を提案する。
課題セットからあいまいな逆さまの例でモデルを選択的に微調整することで、他の課題環境やqaデータセットへのモデルの一般化性を最小限に抑えながら、全チャレンジデータセットで大幅なパフォーマンス改善ができることを示す。
関連論文リスト
- Outlier Gradient Analysis: Efficiently Improving Deep Learning Model Performance via Hessian-Free Influence Functions [36.05242956018461]
影響関数は、各データサンプルがモデル予測に与える影響を評価するための堅牢なツールを提供する。
本稿では,データ中心のシナリオ – トリミングアウトレーヤ – と統合フレームワークにおける両課題に焦点を当てる。
論文 参考訳(メタデータ) (2024-05-06T21:34:46Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。
このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。
本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。
本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
論文 参考訳(メタデータ) (2024-01-12T09:17:32Z) - Downstream Task-Oriented Generative Model Selections on Synthetic Data
Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。
本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文 参考訳(メタデータ) (2024-01-01T23:33:56Z) - Towards Personalized Federated Learning via Heterogeneous Model
Reassembly [84.44268421053043]
pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。
pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
論文 参考訳(メタデータ) (2023-08-16T19:36:01Z) - Evaluating the Capabilities of Multi-modal Reasoning Models with
Synthetic Task Data [0.0]
我々は高解像度テキスト・画像生成の進歩を活用し、マルチモーダル推論タスクの評価データを生成するフレームワークを開発する。
このフレームワークを用いて、コンテキスト依存の異常データを生成し、困難なタスクに合成データセットを作成する。
我々は,タスクが抽出可能である一方で,標準的なVQAタスクよりもコンテキスト依存型異常検出タスクでは,モデルが大幅に悪化することを示した。
論文 参考訳(メタデータ) (2023-06-01T20:56:34Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-06T14:12:26Z) - Exposing Shallow Heuristics of Relation Extraction Models with Challenge
Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。
トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文 参考訳(メタデータ) (2020-10-07T21:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。