論文の概要: Unbiased Math Word Problems Benchmark for Mitigating Solving Bias

• arxiv url: http://arxiv.org/abs/2205.08108v1
• Date: Tue, 17 May 2022 06:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 12:35:18.007786
• Title: Unbiased Math Word Problems Benchmark for Mitigating Solving Bias
• Title（参考訳）: 偏り解消のための非偏り数学単語問題ベンチマーク
• Authors: Zhicheng Yang, Jinghui Qin, Jiaqi Chen, and Xiaodan Liang
• Abstract要約: 現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
• 参考スコア（独自算出の注目度）: 72.8677805114825
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we revisit the solving bias when evaluating models on current Math Word Problem (MWP) benchmarks. However, current solvers exist solving bias which consists of data bias and learning bias due to biased dataset and improper training strategy. Our experiments verify MWP solvers are easy to be biased by the biased training datasets which do not cover diverse questions for each problem narrative of all MWPs, thus a solver can only learn shallow heuristics rather than deep semantics for understanding problems. Besides, an MWP can be naturally solved by multiple equivalent equations while current datasets take only one of the equivalent equations as ground truth, forcing the model to match the labeled ground truth and ignoring other equivalent equations. Here, we first introduce a novel MWP dataset named UnbiasedMWP which is constructed by varying the grounded expressions in our collected data and annotating them with corresponding multiple new questions manually. Then, to further mitigate learning bias, we propose a Dynamic Target Selection (DTS) Strategy to dynamically select more suitable target expressions according to the longest prefix match between the current model output and candidate equivalent equations which are obtained by applying commutative law during training. The results show that our UnbiasedMWP has significantly fewer biases than its original data and other datasets, posing a promising benchmark for fairly evaluating the solvers' reasoning skills rather than matching nearest neighbors. And the solvers trained with our DTS achieve higher accuracies on multiple MWP benchmarks. The source code is available at https://github.com/yangzhch6/UnbiasedMWP.
• Abstract（参考訳）: 本稿では,現在のMWP(Math Word Problem)ベンチマークのモデルを評価する際の解のバイアスを再考する。 しかし、現在の問題解決者はバイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解くことができる。 実験の結果,MWP の解法は,すべての MWP の問題について様々な質問をカバーしないバイアス付き学習データセットに偏りやすく,解法は問題理解のための深い意味論よりも浅いヒューリスティックスしか学べないことがわかった。 さらに、MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式を基底真理として取り、ラベル付き基底真理と一致させ、他の等価方程式を無視する。 本稿では、まず、収集したデータに接地表現を変化させ、それに対応する複数の新しい質問を手動で注釈付けすることで構築した、UnbiasedMWPという新しいMWPデータセットを紹介する。 そして、学習バイアスを緩和するために、トレーニング中に可換法則を適用して得られる現在のモデル出力と候補等価方程式との長大なプレフィックスマッチングに基づいて、より適切なターゲット表現を動的に選択する動的ターゲット選択(DTS)戦略を提案する。 その結果,unbiasedmwpは,従来のデータやデータセットに比べてバイアスが有意に少なく,隣人とのマッチングよりも,解答者の推論スキルを十分に評価する有望なベンチマークとなった。 DTSでトレーニングした解法は、複数のMWPベンチマークで高い精度を達成する。 ソースコードはhttps://github.com/yangzhch6/unbiasedmwpで入手できる。

関連論文リスト

• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond [93.96982273042296]
  視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。 我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。 次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
  論文  参考訳（メタデータ） (2023-10-23T08:09:42Z)
• Math Word Problem Solving by Generating Linguistic Variants of Problem Statements [1.742186232261139]
  本稿では,問題テキストの言語的変種生成に基づくMWP問題解決のためのフレームワークを提案する。 このアプローチでは、各変種問題を解決し、予測された表現を過半数の票で選択する。 本稿では,問題文の言語的変種に関するトレーニングと候補予測による投票により,モデルの数学的推論やロバスト性が改善されることを示す。
  論文  参考訳（メタデータ） (2023-06-24T08:27:39Z)
• Learning by Analogy: Diverse Questions Generation in Math Word Problem [21.211970350827183]
  AI技術を用いた数学語問題(MWP)の解法は、最近ディープニューラルネットワーク(DNN)の成功で大きな進歩を遂げた。 我々は、MWPソルバが様々な方法で定式化されるのと同じ問題をよりよく理解するために、類推による学習能力が不可欠であると主張する。 本稿では,MWPを多様だが一貫した問合せ/解法を生成することで,MWPの解法を初めて試みる。
  論文  参考訳（メタデータ） (2023-06-15T11:47:07Z)
• SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases [27.56143777363971]
  本稿では,複数のデータセットのバイアスを効果的かつ効率的に緩和できる分散混合適応器(SMOA)を提案する。 自然言語推論およびパラフレーズ識別タスクの実験は、SMoAがフルファインタニング、アダプタチューニングベースライン、および以前の強いデバイアス法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-02-28T08:47:20Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。