論文の概要: An Adversarial Non-Autoregressive Model for Text Generation with
Incomplete Information
- arxiv url: http://arxiv.org/abs/2305.03977v1
- Date: Sat, 6 May 2023 08:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 18:16:25.292242
- Title: An Adversarial Non-Autoregressive Model for Text Generation with
Incomplete Information
- Title(参考訳): 不完全情報を用いたテキスト生成のための逆非自己回帰モデル
- Authors: Da Ren, Qing Li
- Abstract要約: 対戦型非自己回帰変換器(ANT)を提案する。
1) より合理的な隠蔽表現を提供する位置認識自己変調、2) 依存性フィードフォワードネットワークは依存性モデリングの能力を強化する。
潜伏反復や半教師付き学習といった様々なアプリケーションにおいて、その大きな可能性を示しています。
- 参考スコア(独自算出の注目度): 7.642043456676739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-autoregressive models have been widely studied in the Complete
Information Scenario (CIS), in which the models have complete input information
to obtain corresponding output. However, their explorations in the Incomplete
Information Scenario (IIS) are extremely limited. Our analyses reveal that the
IIS's incomplete input information will augment the inherent limitations of
existing non-autoregressive models trained under Maximum Likelihood Estimation.
In this paper, we propose for the IIS an Adversarial Non-autoregressive
Transformer (ANT) which has two novel features: 1) Position Aware
Self-Modulation to provide more reasonable hidden representations, and 2)
Dependency Feed Forward Network to strengthen its capacity in dependency
modeling. We compare ANT with other mainstream models in the IIS and
demonstrate that ANT can achieve comparable performance with much fewer
decoding iterations. Furthermore, we show its great potential in various
applications like latent interpolation and semi-supervised learning.
- Abstract(参考訳): 非自己回帰モデルは、対応する出力を得るために完全な入力情報を持つ完全情報シナリオ(CIS)で広く研究されている。
しかし、不完全情報シナリオ(IIS)における彼らの探索は極めて限られている。
解析の結果,IISの不完全入力情報により,最大類似度推定の下で訓練された既存の非自己回帰モデルの性質的限界が増大することが明らかとなった。
本稿では,2つの新しい特徴を有するIIS型非自己回帰変換器(ANT)を提案する。
1)より合理的な隠れ表現を提供する位置認識自己調整、及び
2)依存性フィードフォワードネットワークは、依存性モデリングの能力を強化する。
我々はANTをIISの他の主流モデルと比較し、ANTがデコードイテレーションをはるかに少なくして同等のパフォーマンスを達成できることを示します。
さらに,潜時補間や半教師あり学習など,様々な応用にその可能性を示す。
関連論文リスト
- ORacle: Large Vision-Language Models for Knowledge-Guided Holistic OR Domain Modeling [41.30327565949726]
ORacleは、汎用ORドメインモデリング用に設計された高度な視覚言語モデルである。
マルチビューとテンポラリな機能を備えており、推論中に外部の知識を活用でき、これまで見つからなかった手術シナリオに適応することができる。
厳密なテスト、シーングラフ生成、および4D-ORデータセットの下流タスクでは、ORacleは最先端のパフォーマンスを示すだけでなく、既存のモデルよりも少ないデータを必要とする。
論文 参考訳(メタデータ) (2024-04-10T14:24:10Z) - Model Stealing Attack against Graph Classification with Authenticity,
Uncertainty and Diversity [85.1927483219819]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳(メタデータ) (2023-12-18T05:42:31Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Stable and Interpretable Deep Learning for Tabular Data: Introducing
InterpreTabNet with the Novel InterpreStability Metric [4.362293468843233]
分類精度と解釈可能性の両方を向上するモデルであるInterpreTabNetを導入する。
また,モデルの解釈可能性の安定性を定量的に評価する新しい評価指標であるInterpreStabilityを提案する。
論文 参考訳(メタデータ) (2023-10-04T15:04:13Z) - Sampling - Variational Auto Encoder - Ensemble: In the Quest of
Explainable Artificial Intelligence [0.0]
本稿では,新しい枠組みに基づく実証的評価を提示することによって,XAIに関する談話に寄与する。
VAEとアンサンブルスタックとSHapley Additive ExPlanationsを組み合わせたハイブリッドアーキテクチャである。
この発見は、アンサンブルスタック、VAE、SHAPを組み合わせることで、モデルのパフォーマンスが向上するだけでなく、簡単に説明可能なフレームワークを提供できることを示している。
論文 参考訳(メタデータ) (2023-09-25T02:46:19Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Algebraic Learning: Towards Interpretable Information Modeling [0.0]
この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。
まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。
第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
論文 参考訳(メタデータ) (2022-03-13T15:53:39Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。