論文の概要: VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction

• arxiv url: http://arxiv.org/abs/2112.04195v1
• Date: Wed, 8 Dec 2021 09:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:25:11.268580
• Title: VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction
• Title（参考訳）: VIRT:仮想インタラクションによるテキストマッチングのための表現モデルの改良
• Authors: Dan Li, Yang Yang, Hongyin Tang, Jingang Wang, Tong Xu, Wei Wu, Enhong Chen
• Abstract要約: 本稿では,VIRT と呼ばれる新しいtextitVirtual InteRacTion 機構を提案する。 VIRTは、表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣する仮想インタラクションを実行するよう要求する。
• 参考スコア（独自算出の注目度）: 50.986371459817256
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the booming of pre-trained transformers, remarkable progress has been made on textual pair modeling to support relevant natural language applications. Two lines of approaches are developed for text matching: interaction-based models performing full interactions over the textual pair, and representation-based models encoding the pair independently with siamese encoders. The former achieves compelling performance due to its deep interaction modeling ability, yet with a sacrifice in inference latency. The latter is efficient and widely adopted for practical use, however, suffers from severe performance degradation due to the lack of interactions. Though some prior works attempt to integrate interactive knowledge into representation-based models, considering the computational cost, they only perform late interaction or knowledge transferring at the top layers. Interactive information in the lower layers is still missing, which limits the performance of representation-based solutions. To remedy this, we propose a novel \textit{Virtual} InteRacTion mechanism, termed as VIRT, to enable full and deep interaction modeling in representation-based models without \textit{actual} inference computations. Concretely, VIRT asks representation-based encoders to conduct virtual interactions to mimic the behaviors as interaction-based models do. In addition, the knowledge distilled from interaction-based encoders is taken as supervised signals to promise the effectiveness of virtual interactions. Since virtual interactions only happen at the training stage, VIRT would not increase the inference cost. Furthermore, we design a VIRT-adapted late interaction strategy to fully utilize the learned virtual interactive knowledge.
• Abstract（参考訳）: 事前学習されたトランスフォーマーのブームにより、関連する自然言語アプリケーションをサポートするためのテキストペアモデリングが目覚ましい進歩を遂げた。 テキストマッチングのための2行のアプローチが開発され、テキストペア上で完全なインタラクションを実行するインタラクションベースモデルと、シアムエンコーダと独立してペアを符号化する表現ベースモデルである。 前者は深い相互作用モデリング能力を持つが、推論遅延を犠牲にして、魅力的なパフォーマンスを達成している。 後者は効率的で実用的な用途に広く採用されているが、相互作用の欠如により性能が著しく低下する。 いくつかの先行研究は、計算コストを考慮して、対話的知識を表現ベースモデルに統合しようとするが、それらは上位層での遅延相互作用や知識伝達のみを実行する。 下位層のインタラクティブな情報はいまだに欠落しており、表現ベースのソリューションのパフォーマンスが制限されている。 そこで本研究では,表現ベースモデルにおけるフル・ディープ・インタラクション・モデリングを実現するために,計算計算をせずに,virtと呼ばれる新しい \textit{virtual} インタラクション機構を提案する。 具体的には、VIRTは表現ベースのエンコーダに、対話ベースのモデルのように振舞いを模倣するために仮想インタラクションを実行するよう要求する。 さらに,対話型エンコーダから抽出した知識を教師あり信号とみなし,仮想対話の有効性を保証している。 仮想インタラクションはトレーニング段階でのみ発生するため、virtは推論コストを増加させることはない。 さらに、学習した仮想対話知識を完全に活用するために、VIRT対応の遅延対話戦略を設計する。

関連論文リスト

• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• InterDreamer: Zero-Shot Text to 3D Dynamic Human-Object Interaction [27.10256777126629]
  本稿では,テキスト・インタラクション・ペア・データを直接学習することなく,人間と物体の相互作用を生成できる可能性を示す。 人間の行動が物体の動きにどのように影響するかをモデル化し、単純な物理を理解するために設計された世界モデルを導入する。 これらのコンポーネントを統合することで、新しいフレームワークであるInterDreamerは、ゼロショット方式でテキスト整列した3D HOIシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-03-28T17:59:30Z)
• Improving Adversarial Transferability of Vision-Language Pre-training Models through Collaborative Multimodal Interaction [22.393624206051925]
  既存の研究は、ビジョンランゲージ事前訓練モデルに対する攻撃の伝達可能性を研究することはめったにない。 我々はCMI-Attack(Collaborative Multimodal Interaction Attack)と呼ばれる新しい攻撃を提案する。 CMI-AttackはALBEFからTCL、textCLIP_textViT$と$textCLIP_textCNN$の転送成功率を8.11%-16.75%向上させる。
  論文  参考訳（メタデータ） (2024-03-16T10:32:24Z)
• Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
  ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。 私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。 実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-14T03:21:33Z)
• Disentangled Neural Relational Inference for Interpretable Motion Prediction [38.40799770648501]
  グラフベース表現と時系列モデルを統合した変分自動エンコーダフレームワークを開発した。 本モデルでは,対話を特徴付ける解釈可能なエッジ特徴を付加した動的相互作用グラフを推論する。 シミュレーションと実世界の両方のデータセットに関する広範な実験を通じて、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-01-07T22:49:24Z)
• Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions [0.0]
  本稿では,テキスト領域に対するセマンティック対話学習という新しいインタラクションフレームワークを提案する。 構築的および文脈的フィードバックを学習者に取り入れることで、人間と機械間のよりセマンティックなアライメントを実現するアーキテクチャを見つけることができる。 本研究では,人間の概念的修正を非外挿訓練例に翻訳するのに有効なSemanticPushという手法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T08:13:45Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Cloth Interactive Transformer for Virtual Try-On [106.21605249649957]
  本稿では,仮想試行作業のための2段階のインタラクティブトランス (CIT) 手法を提案する。 第1段階では, CITマッチングブロックを設計し, 着物非依存者情報と着物内布情報との長距離相関関係を正確に把握することを目的とした。 第2段階では,人物表現のグローバルな相互相互依存関係を確立するためのCIT推論ブロック,整形衣料品,およびそれに対応する整形布マスクを作成した。
  論文  参考訳（メタデータ） (2021-04-12T14:45:32Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。