論文の概要: Adversarial Mutual Information for Text Generation

• arxiv url: http://arxiv.org/abs/2007.00067v1
• Date: Tue, 30 Jun 2020 19:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:17:09.278617
• Title: Adversarial Mutual Information for Text Generation
• Title（参考訳）: テキスト生成のための敵対的相互情報
• Authors: Boyuan Pan, Yazheng Yang, Kaizhao Liang, Bhavya Kailkhura, Zhongming Jin, Xian-Sheng Hua, Deng Cai, Bo Li
• Abstract要約: 本稿では,テキスト生成フレームワーク(AMI:Adversarial Mutual Information)を提案する。 AMIは、ソースとターゲット間の共同相互作用を特定することを目的とした、新しいサドル点(min-max)最適化として形成される。 AMIは、最大相互情報のより狭い範囲に導かれる可能性があることを示す。
• 参考スコア（独自算出の注目度）: 62.974883143784616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in maximizing mutual information (MI) between the source and target have demonstrated its effectiveness in text generation. However, previous works paid little attention to modeling the backward network of MI (i.e., dependency from the target to the source), which is crucial to the tightness of the variational information maximization lower bound. In this paper, we propose Adversarial Mutual Information (AMI): a text generation framework which is formed as a novel saddle point (min-max) optimization aiming to identify joint interactions between the source and target. Within this framework, the forward and backward networks are able to iteratively promote or demote each other's generated instances by comparing the real and synthetic data distributions. We also develop a latent noise sampling strategy that leverages random variations at the high-level semantic space to enhance the long term dependency in the generation process. Extensive experiments based on different text generation tasks demonstrate that the proposed AMI framework can significantly outperform several strong baselines, and we also show that AMI has potential to lead to a tighter lower bound of maximum mutual information for the variational information maximization problem.
• Abstract（参考訳）: ソースとターゲット間の相互情報(MI)の最大化の最近の進歩は、テキスト生成においてその効果を実証している。 しかし、従来の研究は、MIの後方ネットワーク(すなわち、ターゲットからソースへの依存性)をモデル化することにはほとんど注意を払わなかった。 本稿では,ソースとターゲットの相互作用を識別することを目的とした,新たなサドルポイント(min-max)最適化として構築されたテキスト生成フレームワークであるadversarial mutual information (ami)を提案する。 このフレームワーク内では、前方と後方のネットワークは、実データと合成データの分布を比較して、互いに生成したインスタンスを反復的に促進または分解することができる。 また,高レベル意味空間におけるランダムな変動を利用して,生成過程における長期依存度を高める潜在雑音サンプリング戦略を開発した。 異なるテキスト生成タスクに基づく大規模な実験により,提案するAMIフレームワークは,いくつかの強いベースラインを大幅に上回ることを示すとともに,変動情報最大化問題に対する相互情報の最大値の厳密な下限化につながる可能性が示された。

関連論文リスト

• Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
  本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。 そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-30T20:48:34Z)
• Generative Example-Based Explanations: Bridging the Gap between Generative Modeling and Explainability [42.50219822975012]
  局所的な例に基づく説明のための新しい確率的枠組みを提案する。 我々の目的は、コミュニケーションの促進、厳格さと透明性の育成、ピアディスカッションと研究の進歩の質の向上である。
  論文  参考訳（メタデータ） (2024-10-28T10:18:07Z)
• A Closer Look at GAN Priors: Exploiting Intermediate Features for Enhanced Model Inversion Attacks [43.98557963966335]
  Model Inversion (MI)攻撃は、出力情報を利用して、リリースされたモデルからプライバシーに敏感なトレーニングデータを再構築することを目的としている。 GAN(Generative Adversarial Network)の最近の進歩は、MI攻撃の性能向上に大きく貢献している。 本稿では,GAN構造を分解し,中間ブロック間の特徴を利用する中間特徴拡張生成モデル変換(IF-GMI)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T19:16:22Z)
• IMUGPT 2.0: Language-Based Cross Modality Transfer for Sensor-Based Human Activity Recognition [0.19791587637442667]
  クロスモーダリティ転送アプローチは、既存のデータセットを、ビデオのようなソースモーダリティからターゲットモーダリティ(IMU)に変換する。 我々はIMUGPTに2つの新しい拡張を導入し、実用的なHARアプリケーションシナリオの利用を拡大した。 我々の多様性指標は、仮想IMUデータの生成に必要な労力を少なくとも50%削減できることを示した。
  論文  参考訳（メタデータ） (2024-02-01T22:37:33Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning [66.83982926437547]
  我々は,DocREが現実のシナリオにおいて,長期分布問題の緩和に不可欠であると主張する。 長期分布問題に動機付けられ,DocREを改善するための簡易関係拡張法(ERA)を提案する。
  論文  参考訳（メタデータ） (2022-05-21T06:15:11Z)
• Cross-Modal Generative Augmentation for Visual Question Answering [34.9601948665926]
  本稿では,複数のモダリティ間の相関を利用したデータ拡張生成モデルを提案する。 提案したモデルは,生成確率によって拡張データの信頼度を定量化し,下流パイプラインと共同して更新することができる。
  論文  参考訳（メタデータ） (2021-05-11T04:51:26Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
  我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。 すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
  論文  参考訳（メタデータ） (2020-10-16T23:57:03Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。