論文の概要: Knockout: A simple way to handle missing inputs

• arxiv url: http://arxiv.org/abs/2405.20448v3
• Date: Sat, 19 Jul 2025 13:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.651395
• Title: Knockout: A simple way to handle missing inputs
• Title（参考訳）: Knockout: 入力不足を処理する簡単な方法
• Authors: Minh Nguyen, Batuhan K. Karaman, Heejong Kim, Alan Q. Wang, Fengbei Liu, Mert R. Sabuncu,
• Abstract要約: マルチモーダルディープラーニングモデルでは、推論時にいくつかの入力が欠落している可能性があるため、デプロイが困難になる可能性がある。 現在の一般的なソリューションには、マーシャリゼーション、インプット、複数のモデルのトレーニングなどがある。 完全入力と限界分布を用いて条件分布を効率よく学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 8.05324050767023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models benefit from rich (e.g., multi-modal) input features. However, multimodal models might be challenging to deploy, because some inputs may be missing at inference. Current popular solutions include marginalization, imputation, and training multiple models. Marginalization achieves calibrated predictions, but it is computationally expensive and only feasible for low dimensional inputs. Imputation may result in inaccurate predictions, particularly when high-dimensional data, such as images, are missing. Training multiple models, where each model is designed to handle different subsets of inputs, can work well but requires prior knowledge of missing input patterns. Furthermore, training and retaining multiple models can be costly. We propose an efficient method to learn both the conditional distribution using full inputs and the marginal distributions. Our method, Knockout, randomly replaces input features with appropriate placeholder values during training. We provide a theoretical justification for Knockout and show that it can be interpreted as an implicit marginalization strategy. We evaluate Knockout across a wide range of simulations and real-world datasets and show that it offers strong empirical performance.
• Abstract（参考訳）: ディープラーニングモデルは、リッチ(例えばマルチモーダル)な入力機能の恩恵を受ける。 しかし、いくつかの入力が推論時に欠落している可能性があるため、マルチモーダルモデルはデプロイが困難である可能性がある。 現在の一般的なソリューションには、マーシャリゼーション、インプット、複数のモデルのトレーニングなどがある。 Marginalizationはキャリブレーションされた予測を実現するが、計算コストが高く、低次元入力に対してのみ実現可能である。 特に画像などの高次元データが欠落している場合、不正確な予測が生じることがある。 入力の異なるサブセットを扱うために各モデルが設計されている複数のモデルをトレーニングすることはうまく機能するが、入力パターンの欠如に関する事前知識が必要である。 さらに、複数のモデルのトレーニングと維持にはコストがかかる。 完全入力と限界分布を用いて条件分布を効率よく学習する手法を提案する。 我々の手法であるKnockoutは、トレーニング中に入力特徴を適切なプレースホルダー値にランダムに置き換える。 我々は、Knockoutの理論的正当化を提供し、暗黙の限界化戦略と解釈できることを示す。 我々は、Knockoutを広範囲のシミュレーションと実世界のデータセットで評価し、強力な経験的パフォーマンスを提供することを示す。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [74.18516460467019]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Learn What Is Possible, Then Choose What Is Best: Disentangling One-To-Many Relations in Language Through Text-based Games [3.615981646205045]
  望ましい振る舞いをエミュレートできる言語モデルをトレーニングするアプローチを提案する。 テキストベースのゲームをテストベッドとして使用することで、PASAは個別の潜伏変数を用いて異なる動作範囲をキャプチャする。 その結果,従来の最先端モデルよりも49%の実証的改善が得られた。
  論文  参考訳（メタデータ） (2023-04-14T17:11:26Z)
• Explanation Shift: How Did the Distribution Shift Impact the Model? [23.403838118256907]
  本研究では,分布変化による説明特性の変化について検討した。 我々は、合成例と実世界のデータセットを用いて、異なる種類の分布シフトを分析する。 我々は、実験を再現するために使用されるコードと同様に、オープンソースのPythonパッケージでメソッドをリリースします。
  論文  参考訳（メタデータ） (2023-03-14T17:13:01Z)
• Task-Specific Skill Localization in Fine-tuned Language Models [36.53572616441048]
  本稿では,この問題に対するスキルローカライゼーションという用語を紹介する。 単純な最適化は、非常に小さなパラメータのサブセットを特定するために使われる。 この小さなサブセットの微調整された値を事前訓練されたモデルに移植することで、微調整されたモデルとほぼ同等のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-02-13T18:55:52Z)
• PAMI: partition input and aggregate outputs for model interpretation [69.42924964776766]
  本研究では、深層学習モデルが局所的な特徴を集約してモデル予測を行うという観察に基づいて、PAMIと呼ばれるシンプルで効果的な可視化フレームワークを提案する。 基本的な考え方は、入力の大多数を隠蔽し、元のモデル予測に対する保存された入力部の相対的な寄与として対応するモデル出力を使用することである。 複数のタスクに対する大規模な実験により,提案手法は,クラス固有の入力領域をより正確に見つけるために,既存の可視化手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-02-07T08:48:34Z)
• Learning Instance-Specific Augmentations by Capturing Local Invariances [62.70897571389785]
  InstaAugは、データから入力固有の拡張を自動的に学習する方法である。 InstaAugは、幅広い変換クラスに対して意味のある入力依存の強化を学ぶことを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-31T18:38:06Z)
• Thought Flow Nets: From Single Predictions to Trains of Model Thought [39.619001911390804]
  人間が複雑な問題を解くと、すぐに決定が下されることはめったにない。 その代わり、彼らは直感的な決定から始まり、間違いを見つけ、矛盾を解決し、異なる仮説の間を飛び交う。
  論文  参考訳（メタデータ） (2021-07-26T13:56:37Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• Estimating g-Leakage via Machine Learning [34.102705643128004]
  本稿では,ブラックボックスシナリオにおけるシステムの情報漏洩を推定する問題について考察する。 システムの内部は学習者にとって未知であり、分析するには複雑すぎると仮定される。 機械学習(ML)アルゴリズムを用いて,g-vulnerabilityをブラックボックスで推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T09:26:36Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。