論文の概要: Team Yao at Factify 2022: Utilizing Pre-trained Models and Co-attention Networks for Multi-Modal Fact Verification

• arxiv url: http://arxiv.org/abs/2201.11664v1
• Date: Wed, 26 Jan 2022 16:04:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-01-29 05:38:24.429253
• Title: Team Yao at Factify 2022: Utilizing Pre-trained Models and Co-attention Networks for Multi-Modal Fact Verification
• Title（参考訳）: Factify 2022のチームヤオ:マルチモーダル・ファクト検証のための事前学習モデルとコアテンションネットワークの利用
• Authors: Wei-Yao Wang, Wen-Chih Peng
• Abstract要約: テキストと画像から特徴を抽出する2つの事前学習モデルからなるフレームワークPre-CoFactを提案する。 我々は,Pre-CoFactの事前学習モデルを用いて,より優れた性能を実現することで,アンサンブル法を採用する。 我々のモデルは補助的なタスクや余分な情報を使わずに競争性能を達成した。
• 参考スコア（独自算出の注目度）: 7.3724108865167945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, social media has enabled users to get exposed to a myriad of misinformation and disinformation; thus, misinformation has attracted a great deal of attention in research fields and as a social issue. To address the problem, we propose a framework, Pre-CoFact, composed of two pre-trained models for extracting features from text and images, and multiple co-attention networks for fusing the same modality but different sources and different modalities. Besides, we adopt the ensemble method by using different pre-trained models in Pre-CoFact to achieve better performance. We further illustrate the effectiveness from the ablation study and examine different pre-trained models for comparison. Our team, Yao, won the fifth prize (F1-score: 74.585\%) in the Factify challenge hosted by De-Factify @ AAAI 2022, which demonstrates that our model achieved competitive performance without using auxiliary tasks or extra information. The source code of our work is publicly available at https://github.com/wywyWang/Multi-Modal-Fact-Verification-2021
• Abstract（参考訳）: 近年,ソーシャルメディアは,無数の誤情報や誤情報に接することを可能にしているため,研究分野や社会問題において,誤情報の注目が集まっている。 そこで本研究では,テキストや画像から特徴を抽出する2つの事前学習モデルと,同じモダリティを持つ異なるソースと異なるモダリティを融合する複数のコアテンションネットワークからなるPre-CoFactを提案する。 また, 先行学習モデルを用いて, より優れた性能を実現するためにアンサンブル手法を採用する。 さらに, アブレーション実験の有効性について検討し, 比較のための事前学習モデルについて検討した。 私たちのチームであるyaoは、de-factify @ aaai 2022が主催するfactify challengeで5位(f1-score: 74.585\%)を獲得しました。 私たちの作業のソースコードはhttps://github.com/wywyWang/Multi-Modal-Fact-Verification-2021で公開されています。

関連論文リスト

• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Masked Diffusion Models Are Fast Distribution Learners [32.485235866596064]
  拡散モデルは、スクラッチからきめ細かい視覚情報を学習するために一般的に訓練されている。 まず, 素数分布を学習するためにモデルの事前学習を行うことにより, 強い拡散モデルを訓練するのに十分であることを示す。 そして、事前学習されたモデルは、様々な生成タスクに対して効率的に微調整することができる。
  論文  参考訳（メタデータ） (2023-06-20T08:02:59Z)
• An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization [58.88327181933151]
  本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。 実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。 我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
  論文  参考訳（メタデータ） (2023-05-26T16:38:48Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Team Triple-Check at Factify 2: Parameter-Efficient Large Foundation Models with Feature Representations for Multi-Modal Fact Verification [5.552606716659022]
  ソーシャルメディアでは、マルチモーダルな事実検証が重要だが難しい問題となっている。 本稿では,細粒度テキストと照明パラメータを用いた入力埋め込みをモデル化するためのPre-CoFactv2フレームワークを提案する。 AAAI 2023のFactifyチャレンジにおいて,Pre-CoFactv2がPre-CoFactを大きなマージンで上回り,新たな最先端の成果を得たことを示す。
  論文  参考訳（メタデータ） (2023-02-12T18:08:54Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
  本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。 アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。 我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
  論文  参考訳（メタデータ） (2021-12-16T23:34:07Z)
• Federated Generative Adversarial Learning [13.543039993168735]
  GAN(Generative Adversarial Network)は、様々な現実世界のアプリケーションにおいて進歩を遂げている。 GANは実際のケースでデータ制限の問題に悩まされている。 本稿では,フェデレート学習フレームワークを用いた新しい生成学習手法を提案する。
  論文  参考訳（メタデータ） (2020-05-07T23:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。