論文の概要: Paired Examples as Indirect Supervision in Latent Decision Models

• arxiv url: http://arxiv.org/abs/2104.01759v1
• Date: Mon, 5 Apr 2021 03:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 23:38:40.952867
• Title: Paired Examples as Indirect Supervision in Latent Decision Models
• Title（参考訳）: 潜在決定モデルにおける間接的監督としてのペア化例
• Authors: Nitish Gupta, Sameer Singh, Matt Gardner, Dan Roth
• Abstract要約: 我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
• 参考スコア（独自算出の注目度）: 109.76417071249945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional, structured models are appealing because they explicitly decompose problems and provide interpretable intermediate outputs that give confidence that the model is not simply latching onto data artifacts. Learning these models is challenging, however, because end-task supervision only provides a weak indirect signal on what values the latent decisions should take. This often results in the model failing to learn to perform the intermediate tasks correctly. In this work, we introduce a way to leverage paired examples that provide stronger cues for learning latent decisions. When two related training examples share internal substructure, we add an additional training objective to encourage consistency between their latent decisions. Such an objective does not require external supervision for the values of the latent output, or even the end task, yet provides an additional training signal to that provided by individual training examples themselves. We apply our method to improve compositional question answering using neural module networks on the DROP dataset. We explore three ways to acquire paired questions in DROP: (a) discovering naturally occurring paired examples within the dataset, (b) constructing paired examples using templates, and (c) generating paired examples using a question generation model. We empirically demonstrate that our proposed approach improves both in- and out-of-distribution generalization and leads to correct latent decision predictions.
• Abstract（参考訳）: 構成的で構造化されたモデルは、問題を明示的に分解し、モデルが単にデータアーティファクトにラッチしていないという自信を与える解釈可能な中間出力を提供するため、魅力的である。 しかし、これらのモデルを学ぶことは難しい。なぜなら、エンドタスクの監督は、潜む決定が取るべき価値について、弱い間接的なシグナルのみを提供するからである。 この結果、モデルが中間タスクを正しく実行することを学ばないことが多い。 そこで本研究では,潜在的な意思決定を学習する上で,より強力なヒントを提供するペア型例の活用法を提案する。 2つの関連するトレーニング例が内部構造を共有している場合、潜伏した決定間の一貫性を促進するための追加のトレーニング目標を追加します。 このような目標は、潜在出力値や終了タスクの値を外部から監視する必要はないが、個々のトレーニング例自身によって提供される追加のトレーニング信号を提供する。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。 a)データセット内で自然に発生するペアの例を発見すること,(b)テンプレートを用いてペアの例を構築すること,(c)質問生成モデルを用いてペアの例を生成すること,の3つの方法を検討する。 我々は,提案手法が分布内一般化と分布外一般化の両方を改善することを実証的に示す。

関連論文リスト

• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Consistent Explanations in the Face of Model Indeterminacy via Ensembling [12.661530681518899]
  この研究は、モデル不確定性の存在下で予測モデルに対して一貫した説明を提供することの課題に対処する。 これらのシナリオで提供される説明の一貫性を高めるためのアンサンブル手法を導入する。 本研究は,説明文の解釈において,モデル不確定性を考慮することの重要性を強調した。
  論文  参考訳（メタデータ） (2023-06-09T18:45:43Z)
• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [3.9052860539161918]
  そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。 質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。 既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates [26.527311287924995]
  インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。 制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-10-07T06:59:46Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。