Fugu-MT 論文翻訳(概要): Towards Deconfounding the Influence of Subject's Demographic Characteristics in Question Answering

論文の概要: Towards Deconfounding the Influence of Subject's Demographic Characteristics in Question Answering

arxiv url: http://arxiv.org/abs/2104.07571v1
Date: Thu, 15 Apr 2021 16:26:54 GMT
ステータス: 処理完了
システム内更新日: 2021-04-16 18:40:05.606384
Title: Towards Deconfounding the Influence of Subject's Demographic Characteristics in Question Answering
Title（参考訳）: 質問応答における被験者の人口動態の影響の解明に向けて
Authors: Maharshi Gor, Kellie Webster, and Jordan Boyd-Graber
Abstract要約: 質問回答タスクは、汎用マシンインテリジェンスのベンチマークとして使用される。主要なQAデータセットは、性別、職業、国籍に関する分布を歪めている。性別や国籍によっては正確さが低いという証拠はほとんどない。
参考スコア（独自算出の注目度）: 4.540236408836132
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Question Answering (QA) tasks are used as benchmarks of general machine intelligence. Therefore, robust QA evaluation is critical, and metrics should indicate how models will answer any question. However, major QA datasets have skewed distributions over gender, profession, and nationality. Despite that skew, models generalize -- we find little evidence that accuracy is lower for people based on gender or nationality. Instead, there is more variation in question topic and question ambiguity. Adequately accessing the generalization of QA systems requires more representative datasets.
Abstract（参考訳）: QAタスクは一般的なマシンインテリジェンスのベンチマークとして使用される。したがって、堅牢なQA評価は重要であり、メトリクスはモデルがどのように質問に答えるかを示す必要があります。しかし、主要なQAデータセットは、性別、職業、国籍に関する分布を歪めている。モデルが一般化しているにもかかわらず、性別や国籍に基づいて精度が低いという証拠はほとんど見つからない。代わりに、質問トピックや質問のあいまいさがより多様である。 QAシステムの一般化に適切にアクセスするには、より一般的なデータセットが必要である。

関連論文リスト

UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文参考訳（メタデータ） (2023-10-17T02:38:09Z)
Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文参考訳（メタデータ） (2023-10-13T00:49:09Z)
SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文参考訳（メタデータ） (2023-09-21T16:51:30Z)
Evaluation of Question Answering Systems: Complexity of judging a natural language [3.4771957347698583]
質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
論文参考訳（メタデータ） (2022-09-10T12:29:04Z)
BBQ: A Hand-Built Bias Benchmark for Question Answering [25.108222728383236]
NLPモデルは、世界に存在する社会的バイアスを学習することは十分に文書化されているが、これらのバイアスが、質問応答(QA)のような適用されたタスクに対して、実際のモデルアウトプットにどのように現れるかを示す研究はほとんど行われていない。筆者らによって構築された質問セットからなるデータセットであるBias Benchmark for QA (BBQ)を導入し、米国英語の文脈に関連する9つの異なる社会的次元に沿って、保護されたクラスに属する人々に対するテキストテストされた社会的偏見を強調した。文脈が曖昧であるとき、モデルはステレオタイプに強く依存していることが分かり、つまり、モデルの出力は、この設定において有害なバイアスを一貫して再現する。
論文参考訳（メタデータ） (2021-10-15T16:43:46Z)
NOAHQA: Numerical Reasoning with Interpretable Graph Question Answering Dataset [26.782937852417454]
複素数式を用いた数値推論を必要とする質問をバイリンガルなQAデータセットであるNOAHQAを紹介する。我々は,NOAHQA上で既存のQAデータセットを用いてトレーニングした最先端QAモデルを評価し,その中の最良のものが55.5の正確なマッチスコアしか達成できないことを示す。また、推論グラフの計量値が人間に比べて大きなギャップを持つような推論グラフを生成するための新しいQAモデルを提案する。
論文参考訳（メタデータ） (2021-09-22T09:17:09Z)
Unsupervised Evaluation for Question Answering with Transformers [46.16837670041594]
本稿では, トランスフォーマーに基づくQAアーキテクチャにおける質問, 回答, コンテキストの隠蔽表現について検討する。回答表現における一貫したパターンを観察し、予測された回答が正しいかどうかを自動的に評価することができることを示す。私たちはモデルの解答が正解かどうかを、SQuADの91.37%、SubjQAの80.7%の精度で予測することができる。
論文参考訳（メタデータ） (2020-10-07T07:03:30Z)
UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
論文参考訳（メタデータ） (2020-10-06T01:49:52Z)
KPQA: A Metric for Generative Question Answering Using Keyphrase Weights [64.54593491919248]
KPQA-metricは生成的質問応答システムの正当性を評価するための新しい指標である。我々の新しい計量は、キーフレーズ予測を通じて各トークンに異なる重みを割り当てる。提案手法は,既存の指標よりも人的判断との相関が有意に高いことを示す。
論文参考訳（メタデータ） (2020-05-01T03:24:36Z)
SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
論文参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。