論文の概要: Knockout: A simple way to handle missing inputs

• arxiv url: http://arxiv.org/abs/2405.20448v2
• Date: Mon, 3 Jun 2024 14:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 13:30:34.706483
• Title: Knockout: A simple way to handle missing inputs
• Title（参考訳）: Knockout: 入力不足を処理する簡単な方法
• Authors: Minh Nguyen, Batuhan K. Karaman, Heejong Kim, Alan Q. Wang, Fengbei Liu, Mert R. Sabuncu,
• Abstract要約: リッチなインプットを利用するモデルは、推論時にいくつかのインプットが欠落している可能性があるため、広くデプロイすることは困難である。 この問題に対する現在の一般的な解決策には、余剰化、計算、複数のモデルのトレーニングがある。 完全入力と限界分布を用いて条件分布を効率よく学習する方法を提案する。
• 参考スコア（独自算出の注目度）: 8.05324050767023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models can extract predictive and actionable information from complex inputs. The richer the inputs, the better these models usually perform. However, models that leverage rich inputs (e.g., multi-modality) can be difficult to deploy widely, because some inputs may be missing at inference. Current popular solutions to this problem include marginalization, imputation, and training multiple models. Marginalization can obtain calibrated predictions but it is computationally costly and therefore only feasible for low dimensional inputs. Imputation may result in inaccurate predictions because it employs point estimates for missing variables and does not work well for high dimensional inputs (e.g., images). Training multiple models whereby each model takes different subsets of inputs can work well but requires knowing missing input patterns in advance. Furthermore, training and retaining multiple models can be costly. We propose an efficient way to learn both the conditional distribution using full inputs and the marginal distributions. Our method, Knockout, randomly replaces input features with appropriate placeholder values during training. We provide a theoretical justification of Knockout and show that it can be viewed as an implicit marginalization strategy. We evaluate Knockout in a wide range of simulations and real-world datasets and show that it can offer strong empirical performance.
• Abstract（参考訳）: ディープラーニングモデルは、複雑な入力から予測および実行可能な情報を抽出することができる。 入力が豊富になればなるほど、これらのモデルの性能は向上する。 しかしながら、リッチインプット(例えばマルチモーダリティ)を利用するモデルは、推論時に欠落しているかもしれないため、広くデプロイすることは困難である。 この問題に対する現在の一般的な解決策には、余剰化、計算、複数のモデルのトレーニングがある。 行列化は校正された予測が得られるが、計算コストがかかるため、低次元の入力に対してのみ実現可能である。 不足変数に対して点推定を使い、高次元入力(例えば画像)ではうまく機能しないため、不正確な予測が生じる可能性がある。 各モデルが異なる入力サブセットを取る複数のモデルをトレーニングすることはうまく機能するが、事前に入力パターンの欠如を知る必要がある。 さらに、複数のモデルのトレーニングと維持にはコストがかかる。 完全入力と限界分布を用いて条件分布を効率よく学習する方法を提案する。 我々の手法であるKnockoutは、トレーニング中に入力特徴を適切なプレースホルダー値にランダムに置き換える。 Knockoutを理論的に正当化し、暗黙の限界化戦略と見なせることを示す。 我々は、Knockoutを広範囲のシミュレーションと実世界のデータセットで評価し、強力な経験的性能を提供できることを示す。

関連論文リスト

• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• PAMI: partition input and aggregate outputs for model interpretation [69.42924964776766]
  本研究では、深層学習モデルが局所的な特徴を集約してモデル予測を行うという観察に基づいて、PAMIと呼ばれるシンプルで効果的な可視化フレームワークを提案する。 基本的な考え方は、入力の大多数を隠蔽し、元のモデル予測に対する保存された入力部の相対的な寄与として対応するモデル出力を使用することである。 複数のタスクに対する大規模な実験により,提案手法は,クラス固有の入力領域をより正確に見つけるために,既存の可視化手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-02-07T08:48:34Z)
• Learning Instance-Specific Augmentations by Capturing Local Invariances [62.70897571389785]
  InstaAugは、データから入力固有の拡張を自動的に学習する方法である。 InstaAugは、幅広い変換クラスに対して意味のある入力依存の強化を学ぶことを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-31T18:38:06Z)
• Thought Flow Nets: From Single Predictions to Trains of Model Thought [39.619001911390804]
  人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。 その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
  論文  参考訳（メタデータ） (2021-07-26T13:56:37Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• Estimating g-Leakage via Machine Learning [34.102705643128004]
  本稿では,ブラックボックスシナリオにおけるシステムの情報漏洩を推定する問題について考察する。 システムの内部は学習者にとって未知であり、分析するには複雑すぎると仮定される。 機械学習(ML)アルゴリズムを用いて,g-vulnerabilityをブラックボックスで推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T09:26:36Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。