論文の概要: An Adversarial Non-Autoregressive Model for Text Generation with
Incomplete Information
- arxiv url: http://arxiv.org/abs/2305.03977v2
- Date: Fri, 1 Dec 2023 15:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 18:41:52.213956
- Title: An Adversarial Non-Autoregressive Model for Text Generation with
Incomplete Information
- Title(参考訳): 不完全情報を用いたテキスト生成のための逆非自己回帰モデル
- Authors: Da Ren, Yi Cai, Qing Li
- Abstract要約: 本稿では,非自己回帰変換器(ANT)の非完全情報シナリオ(IIS)を提案する。
ANTには2つの特徴がある。1) より合理的な隠蔽表現を提供する位置対応の自己変調、2) 依存性フィードフォワードネットワークは依存性モデリングの能力を強化する。
潜在学習や半教師あり学習など,様々な応用にその可能性を示す。
- 参考スコア(独自算出の注目度): 13.676683551271015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-autoregressive models have been widely studied in the Complete
Information Scenario (CIS), in which the input has complete information of
corresponding output. However, their explorations in the Incomplete Information
Scenario (IIS) are extremely limited. Our analyses reveal that the IIS's
incomplete input information will augment the inherent limitations of existing
non-autoregressive models trained under Maximum Likelihood Estimation. In this
paper, we propose for the IIS an Adversarial Non-autoregressive Transformer
(ANT) which has two features: 1) Position-Aware Self-Modulation to provide more
reasonable hidden representations, and 2) Dependency Feed Forward Network to
strengthen its capacity in dependency modeling. We compare ANT with other
mainstream models in the IIS and demonstrate that ANT can achieve comparable
performance with much fewer decoding iterations. Furthermore, we show its great
potential in various applications like latent interpolation and semi-supervised
learning.
- Abstract(参考訳): 非自己回帰モデルは、入力が対応する出力の完全な情報を持つ完全情報シナリオ(CIS)で広く研究されている。
しかし、不完全情報シナリオ(IIS)における彼らの探索は極めて限られている。
解析の結果,IISの不完全入力情報により,最大類似度推定の下で訓練された既存の非自己回帰モデルの性質的限界が増大することが明らかとなった。
本稿では,2つの特徴を有するIIS型非自己回帰変換器(ANT)を提案する。
1)より合理的な隠蔽表現を提供する位置対応自己変調
2)依存性フィードフォワードネットワークは、依存性モデリングの能力を強化する。
我々はANTをIISの他の主流モデルと比較し、ANTがデコードイテレーションをはるかに少なくして同等のパフォーマンスを達成できることを示します。
さらに,潜時補間や半教師あり学習など,様々な応用にその可能性を示す。
関連論文リスト
- ORacle: Large Vision-Language Models for Knowledge-Guided Holistic OR Domain Modeling [41.30327565949726]
ORacleは、汎用ORドメインモデリング用に設計された高度な視覚言語モデルである。
マルチビューとテンポラリな機能を備えており、推論中に外部の知識を活用でき、これまで見つからなかった手術シナリオに適応することができる。
厳密なテスト、シーングラフ生成、および4D-ORデータセットの下流タスクでは、ORacleは最先端のパフォーマンスを示すだけでなく、既存のモデルよりも少ないデータを必要とする。
論文 参考訳(メタデータ) (2024-04-10T14:24:10Z) - Model Stealing Attack against Graph Classification with Authenticity,
Uncertainty and Diversity [85.1927483219819]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳(メタデータ) (2023-12-18T05:42:31Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Stable and Interpretable Deep Learning for Tabular Data: Introducing
InterpreTabNet with the Novel InterpreStability Metric [4.362293468843233]
分類精度と解釈可能性の両方を向上するモデルであるInterpreTabNetを導入する。
また,モデルの解釈可能性の安定性を定量的に評価する新しい評価指標であるInterpreStabilityを提案する。
論文 参考訳(メタデータ) (2023-10-04T15:04:13Z) - Sampling - Variational Auto Encoder - Ensemble: In the Quest of
Explainable Artificial Intelligence [0.0]
本稿では,新しい枠組みに基づく実証的評価を提示することによって,XAIに関する談話に寄与する。
VAEとアンサンブルスタックとSHapley Additive ExPlanationsを組み合わせたハイブリッドアーキテクチャである。
この発見は、アンサンブルスタック、VAE、SHAPを組み合わせることで、モデルのパフォーマンスが向上するだけでなく、簡単に説明可能なフレームワークを提供できることを示している。
論文 参考訳(メタデータ) (2023-09-25T02:46:19Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Algebraic Learning: Towards Interpretable Information Modeling [0.0]
この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。
まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。
第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
論文 参考訳(メタデータ) (2022-03-13T15:53:39Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。