Fugu-MT 論文翻訳(概要): Product-of-Experts Training Reduces Dataset Artifacts in Natural Language Inference

論文の概要: Product-of-Experts Training Reduces Dataset Artifacts in Natural Language Inference

arxiv url: http://arxiv.org/abs/2604.19069v1
Date: Tue, 21 Apr 2026 04:23:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-22 22:41:49.616284
Title: Product-of-Experts Training Reduces Dataset Artifacts in Natural Language Inference
Title（参考訳）: プロダクト・オブ・エクササイズ・トレーニングは自然言語推論におけるデータセットアーティファクトを減らす
Authors: Aby Mammen Mathew,
Abstract要約: 私たちは、偏見のあるモデルが過度に信頼されている例を減らし、Product-of-Experts(PoE)トレーニングを提案します。 PoEはほぼ精度(89.10%対89.30%)を維持し、バイアスを4.71%削減する(バイアス合意49.85%から45%)。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural NLI models overfit dataset artifacts instead of truly reasoning. A hypothesis-only model gets 57.7% in SNLI, showing strong spurious correlations, and 38.6% of the baseline errors are the result of these artifacts. We propose Product-of-Experts (PoE) training, which downweights examples where biased models are overconfident. PoE nearly preserves accuracy (89.10% vs. 89.30%) while cutting bias reliance by 4.71% (bias agreement 49.85% to 45%). An ablation finds lambda = 1.5 that best balances debiasing and accuracy. Behavioral tests still reveal issues with negation and numerical reasoning.
Abstract（参考訳）: ニューラルネットワークNLIモデルは、真の推論ではなく、データセットアーティファクトに適合する。仮説のみのモデルでは、SNLIでは57.7%の相関が強く、ベースラインエラーの38.6%がこれらの成果である。私たちは、偏見のあるモデルが過度に信頼されている例を減らし、Product-of-Experts(PoE)トレーニングを提案します。 PoEはほぼ精度(89.10%対89.30%)を維持し、バイアス依存を4.71%削減する(バイアス合意49.85%から45%)。 ablation は debiasing と精度のバランスをとる lambda = 1.5 を見つける。行動テストは、否定と数値推論に関する問題をまだ明らかにしている。

関連論文リスト

Bayesian Elicitation with LLMs: Model Size Helps, Extra "Reasoning" Doesn't Always [0.0]
大規模言語モデル (LLM) は、未知の量と関連する不確実性を推定するための人間の専門家の代替として提案されている。我々は、健康率、性格特性分布、労働市場統計など、11のLCMに人口統計を推定するよう求め、これを検証した。が結果を改善するかどうかをテストするために、各モデルの推論の取り組みを変える。
論文参考訳（メタデータ） (2026-04-02T11:00:13Z)
Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文参考訳（メタデータ） (2025-09-24T13:06:35Z)
Flattery, Fluff, and Fog: Diagnosing and Mitigating Idiosyncratic Biases in Preference Models [12.445845925904466]
言語モデルは、アライメントと評価において人間の嗜好判断のためのプロキシとして機能する。それらは体系的な誤校正を示し、実質的な品質よりも表面的なパターンを優先する。このバイアスは長さ、構造、スタイルといった機能への過度な依存として現れ、報酬のハッキングや信頼できない評価といった問題につながります。
論文参考訳（メタデータ） (2025-06-05T17:59:32Z)
Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference [0.0]
自然言語推論モデルのための構造的デバイアス化手法を開発した。提案手法は, 誤差率を14.19%から10.42%に下げると同時に, バイアスのない例では高い性能を維持する。
論文参考訳（メタデータ） (2024-12-16T17:12:21Z)
Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文参考訳（メタデータ） (2023-06-03T20:12:27Z)
Impact of Pretraining Term Frequencies on Few-Shot Reasoning [51.990349528930125]
事前学習された言語モデルが、事前学習データにおいてあまり頻度の低い用語でどの程度理にかなっているかを検討する。我々は,様々な数値推論タスクにおいて,GPTに基づく言語モデルに対して,この相関関係の強さを計測する。 LMは数秒の数値推論タスクにおいて高い性能を示すが,本研究の結果は,事前学習データを超えるモデルが実際にどれだけ一般化されるのかという疑問を提起する。
論文参考訳（メタデータ） (2022-02-15T05:43:54Z)
Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。本稿では,これらの問題点を無視する学習モデルについて述べる。
論文参考訳（メタデータ） (2020-12-02T16:10:54Z)
What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
論文参考訳（メタデータ） (2020-10-07T17:26:06Z)
Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。