論文の概要: Team Triple-Check at Factify 2: Parameter-Efficient Large Foundation Models with Feature Representations for Multi-Modal Fact Verification

• arxiv url: http://arxiv.org/abs/2302.07740v1
• Date: Sun, 12 Feb 2023 18:08:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 14:29:36.423545
• Title: Team Triple-Check at Factify 2: Parameter-Efficient Large Foundation Models with Feature Representations for Multi-Modal Fact Verification
• Title（参考訳）: チームトリプルチェック factify 2:マルチモーダルファクト検証のための特徴表現を備えたパラメータ効率の高い大規模ファンデーションモデル
• Authors: Wei-Wei Du, Hong-Wei Wu, Wei-Yao Wang, Wen-Chih Peng
• Abstract要約: ソーシャルメディアでは、マルチモーダルな事実検証が重要だが難しい問題となっている。 本稿では,細粒度テキストと照明パラメータを用いた入力埋め込みをモデル化するためのPre-CoFactv2フレームワークを提案する。 AAAI 2023のFactifyチャレンジにおいて,Pre-CoFactv2がPre-CoFactを大きなマージンで上回り,新たな最先端の成果を得たことを示す。
• 参考スコア（独自算出の注目度）: 5.552606716659022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal fact verification has become an important but challenging issue on social media due to the mismatch between the text and images in the misinformation of news content, which has been addressed by considering cross-modalities to identify the veracity of the news in recent years. In this paper, we propose the Pre-CoFactv2 framework with new parameter-efficient foundation models for modeling fine-grained text and input embeddings with lightening parameters, multi-modal multi-type fusion for not only capturing relations for the same and different modalities but also for different types (i.e., claim and document), and feature representations for explicitly providing metadata for each sample. In addition, we introduce a unified ensemble method to boost model performance by adjusting the importance of each trained model with not only the weights but also the powers. Extensive experiments show that Pre-CoFactv2 outperforms Pre-CoFact by a large margin and achieved new state-of-the-art results at the Factify challenge at AAAI 2023. We further illustrate model variations to verify the relative contributions of different components. Our team won the first prize (F1-score: 81.82%) and we made our code publicly available at https://github.com/wwweiwei/Pre-CoFactv2-AAAI-2023.
• Abstract（参考訳）: 近年,ニュースコンテンツの誤報におけるテキストと画像のミスマッチにより,マルチモーダルな事実検証がソーシャルメディア上で重要だが難しい問題となっている。 本稿では,細粒度テキストと入力埋め込みを軽量化パラメータでモデル化する新たなパラメータ効率の高い基礎モデルと,異なるモーダリティと異なるタイプ(クレームとドキュメント)の関係をキャプチャするマルチモーダルマルチタイプの融合と,各サンプルにメタデータを明示的に提供するための特徴表現を備えた,プレコファクトv2フレームワークを提案する。 また,各モデルの重要性を重みだけでなくパワーも調整することにより,モデル性能を向上させる統一的なアンサンブル手法を提案する。 大規模な実験により、Pre-CoFactv2はPre-CoFactを大きなマージンで上回り、AAAI 2023のFactifyチャレンジで新しい最先端の結果を得た。 さらに,様々なコンポーネントの相対的貢献を検証するために,モデルのバリエーションについて述べる。 私たちのチームは最初の賞(F1スコア:81.82%)を獲得し、コードをhttps://github.com/wwweiwei/Pre-CoFactv2-AAAI-2023で公開しました。

関連論文リスト

• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Exploring Multimodal Sentiment Analysis via CBAM Attention and Double-layer BiLSTM Architecture [3.9850392954445875]
  本モデルでは,文中の長距離依存関係を抽出するためにBERT + BiLSTM を用いる。 余分な情報を除去するために、テキスト特徴と画像特徴をスプライシングした後、CNNとCBAMの注意を追加する。 実験結果から,従来のモデルと同様の音響効果が得られた。
  論文  参考訳（メタデータ） (2023-03-26T12:34:01Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Team Yao at Factify 2022: Utilizing Pre-trained Models and Co-attention Networks for Multi-Modal Fact Verification [7.3724108865167945]
  テキストと画像から特徴を抽出する2つの事前学習モデルからなるフレームワークPre-CoFactを提案する。 我々は,Pre-CoFactの事前学習モデルを用いて,より優れた性能を実現することで,アンサンブル法を採用する。 我々のモデルは補助的なタスクや余分な情報を使わずに競争性能を達成した。
  論文  参考訳（メタデータ） (2022-01-26T16:04:37Z)
• Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
  本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。 アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。 我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
  論文  参考訳（メタデータ） (2021-12-16T23:34:07Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。