論文の概要: DeVLBert: Learning Deconfounded Visio-Linguistic Representations

• arxiv url: http://arxiv.org/abs/2008.06884v2
• Date: Fri, 2 Oct 2020 12:00:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 08:57:13.278577
• Title: DeVLBert: Learning Deconfounded Visio-Linguistic Representations
• Title（参考訳）: DeVLBert: Visio-Linguistic Representationsを脱構築した学習
• Authors: Shengyu Zhang, Tan Jiang, Tan Wang, Kun Kuang, Zhou Zhao, Jianke Zhu, Jin Yu, Hongxia Yang, Fei Wu
• Abstract要約: ドメイン外ビオ言語事前学習の問題点について検討する。 この問題の既存の方法は、純粋に確率ベースである。 介入に基づく学習を行うために,Decon-Linguistic Bertフレームワーク(略称:DeVLBert)を提案する。
• 参考スコア（独自算出の注目度）: 111.93480424791613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose to investigate the problem of out-of-domain visio-linguistic pretraining, where the pretraining data distribution differs from that of downstream data on which the pretrained model will be fine-tuned. Existing methods for this problem are purely likelihood-based, leading to the spurious correlations and hurt the generalization ability when transferred to out-of-domain downstream tasks. By spurious correlation, we mean that the conditional probability of one token (object or word) given another one can be high (due to the dataset biases) without robust (causal) relationships between them. To mitigate such dataset biases, we propose a Deconfounded Visio-Linguistic Bert framework, abbreviated as DeVLBert, to perform intervention-based learning. We borrow the idea of the backdoor adjustment from the research field of causality and propose several neural-network based architectures for Bert-style out-of-domain pretraining. The quantitative results on three downstream tasks, Image Retrieval (IR), Zero-shot IR, and Visual Question Answering, show the effectiveness of DeVLBert by boosting generalization ability.
• Abstract（参考訳）: 本稿では,事前学習したモデルが微調整される下流データと,事前学習したデータ分布が異なる領域外ビオ・言語事前学習の問題について検討する。 この問題の既存の手法は、純粋に確率ベースであり、ドメイン外の下流タスクに移る際の素早い相関と一般化能力を損なう。 素早い相関によって、あるトークン(オブジェクトまたは単語)が与えられたときの条件付き確率は、その間の堅牢な(因果関係)関係なしに高い(データセットバイアスのため)。 このようなデータセットバイアスを軽減するために、介入に基づく学習を行うために、Decon founded Visio-Linguistic Bert framework(略称DeVLBert)を提案する。 因果関係の研究分野からバックドア調整の考え方を借用し,bert型ドメイン外トレーニングのためのニューラルネットワークベースのアーキテクチャを提案する。 3つの下流タスク、画像検索(IR)、ゼロショットIR、視覚質問応答の定量的結果は、一般化能力の向上によるDeVLBertの有効性を示す。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation [13.509286043322442]
  非教師付きドメイン適応(UDA)とソースフリーなUDA(SFUDA)メソッドは、ソースとターゲットの2つのドメインに関わる問題を定式化する。 我々は、ImageNet、ソース、ターゲットドメイン間の相関について検討する。 本稿では,訓練前のデータセットのセマンティック構造を微調整時に保持する新しいフレームワークTriDAを提案する。
  論文  参考訳（メタデータ） (2023-08-06T12:23:40Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Contrastive variational information bottleneck for aspect-based sentiment analysis [36.83876224466177]
  CVIB(Contrastive Variational Information Bottleneck)フレームワークを用いて,アスペクトベース感情分析(ABSA)の素早い相関性を低減することを提案する。 提案するCVIBフレームワークは,元のネットワークと自走ネットワークで構成され,これら2つのネットワークは,コントラスト学習によって同時に最適化される。 提案手法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-06T02:52:37Z)
• Trading Information between Latents in Hierarchical Variational Autoencoders [8.122270502556374]
  変分オートエンコーダ(VAE)はもともと確率的生成モデルとして動機付けられ、ベイズ推定を近似的に行う。 $beta$-VAEsの提案はこの解釈を破り、VAEを生成モデリング以上のアプリケーションドメインに一般化する。 推論モデルの一般的なクラスを特定し、各レイヤからのコントリビューションにレートを分割し、独立に調整することができる。
  論文  参考訳（メタデータ） (2023-02-09T18:56:11Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。