論文の概要: Information Filter upon Diversity-Improved Decoding for
Diversity-Faithfulness Tradeoff in NLG
- arxiv url: http://arxiv.org/abs/2210.13829v1
- Date: Tue, 25 Oct 2022 08:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:40:16.090774
- Title: Information Filter upon Diversity-Improved Decoding for
Diversity-Faithfulness Tradeoff in NLG
- Title(参考訳): NLGにおけるダイバーシティ・フェースフルネストレードオフのための多様性改善デコードに基づく情報フィルタ
- Authors: Han Meng, Xiaosong He, Zexing Chen, Feng Zhou
- Abstract要約: 本稿では、多様性と忠実性のトレードオフを得るために、多様性改善復号化情報フィルタ(IFDID)を提案する。
提案手法では, 忠実度を表すROUGEスコアが1.24高く, Dist-2では62.5%の多様性が従来の手法よりも高い。
- 参考スコア(独自算出の注目度): 4.169333541687493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Some Natural Language Generation (NLG) tasks require both faithfulness and
diversity. The decoding strategy is intensively related to the quality of the
generated text. Strategies such as beam search, greedy search, etc., perform
with low diversity and high repetition. On the other hand, guided decoding, the
solution towards diversity, may generate unfaithful expressions. To this end,
this paper presents Information Filter upon Diversity-Improved Decoding (IFDID)
to obtain the tradeoff between diversity and faithfulness. IFDID is a two-stage
decoding strategy leveraging the proposed Enhance-Filter framework, which
achieves the tradeoff by increasing the probabilities of some typical tokens
being selected and subsequently filtering them by their information amount. To
verify the effectiveness, we compare our method with other baselines on related
CommonGEN, RocStories and AdGen benchmarks, which cover Chinese and English
datasets. Our numerical experimental results and human evaluation outcomes
verify the effectiveness of the proposed approach, as our approach achieves a
1.24 higher ROUGE score describing faithfulness as well as higher diversity
represented by 62.5% higher upon Dist-2 than traditional approaches,
demonstrating that IFDID is a novel SOTA decoding strategy for the tradeoff
between diversity and faithfulness.
- Abstract(参考訳): いくつかの自然言語生成(NLG)タスクは、忠実さと多様性の両方を必要とする。
復号戦略は、生成されたテキストの品質に強く関係している。
ビームサーチ、グリーディサーチなどの戦略は、低い多様性と高い繰り返しで実行される。
一方で、多様性に対するソリューションであるガイドデコーディングは、不適切な表現を生み出す可能性がある。
そこで本稿では,多様性と忠実性のトレードオフを得るために,多様性改善復号化情報フィルタ(IFDID)を提案する。
IFDIDは、提案したEnhance-Filterフレームワークを利用した2段階のデコード戦略であり、選択される典型的なトークンの確率を高め、その情報量でフィルタリングすることでトレードオフを実現する。
本手法の有効性を検証するため,中国語と英語のデータセットをカバーするCommonGEN,RocStories,AdGenベンチマークの他のベースラインと比較した。
我々の数値実験結果と人的評価結果から提案手法の有効性が検証された。本手法は従来のアプローチよりもDist-2より62.5%高い忠実度を示すROUGEスコアと62.5%高い多様性を示すROUGEスコアを達成し,IFDIDが多様性と忠実性のトレードオフのための新しいSOTAデコーディング戦略であることを実証した。
関連論文リスト
- Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-11-15T16:26:49Z) - Fidelity-Enriched Contrastive Search: Reconciling the
Faithfulness-Diversity Trade-Off in Text Generation [21.096737598952853]
FECS (Fidelity-Enriched Contrastive Search) と呼ばれる新しい復号法を提案する。
FECSは、生成されたテキストの繰り返し性をペナルティ化しながら、提供されたソースと意味的に類似したトークンを促進する。
その結果,FECSは高い性能の復号アルゴリズムに匹敵する出力の多様性を維持しつつ,様々な言語モデルサイズにおける忠実さを一貫して向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-23T14:27:45Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳(メタデータ) (2023-05-17T14:30:11Z) - Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-06T00:20:19Z) - A Unified Algorithm Framework for Unsupervised Discovery of Skills based
on Determinantal Point Process [53.86223883060367]
教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。
提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
論文 参考訳(メタデータ) (2022-12-01T01:40:03Z) - Contrastive Identity-Aware Learning for Multi-Agent Value Decomposition [31.877237996738252]
価値分解(VD)は、グローバルな報酬のみの存在下で、分散政策へのエージェントの貢献を推論することを目的としている。
VDの主な課題の1つは、エージェント間の多様な振る舞いを促進することであり、既存の手法は学習エージェントネットワークの多様性を直接的に促進する。
本稿では、VDネットワークの信用レベルの識別性を明示的に向上する、新しいContrastive Identity-Aware Learning(CIA)手法を提案する。
論文 参考訳(メタデータ) (2022-11-23T05:18:42Z) - A Closer Look at Few-shot Image Generation [38.83570296616384]
訓練済みのGANを小さなターゲットデータで転送する場合、ジェネレータはトレーニングサンプルを複製する傾向がある。
この数ショットの画像生成に対処するいくつかの方法が提案されているが、それらを統一されたフレームワークで分析する努力が不足している。
適応中に既存の手法を解析するためのフレームワークを提案する。
第2のコントリビューションは、ソースドメインのリッチなマルチレベル多様性情報をターゲットドメインジェネレータに保持するために、相互情報(MI)を適用することを提案する。
論文 参考訳(メタデータ) (2022-05-08T07:46:26Z) - Diverse Text Generation via Variational Encoder-Decoder Models with
Gaussian Process Priors [21.71928935339393]
高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。
具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。
ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
論文 参考訳(メタデータ) (2022-04-04T04:09:15Z) - CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for
Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。
CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。
すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文 参考訳(メタデータ) (2020-10-16T23:57:03Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳(メタデータ) (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。