論文の概要: Information Filter upon Diversity-Improved Decoding for
Diversity-Faithfulness Tradeoff in NLG
- arxiv url: http://arxiv.org/abs/2210.13829v1
- Date: Tue, 25 Oct 2022 08:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:40:16.090774
- Title: Information Filter upon Diversity-Improved Decoding for
Diversity-Faithfulness Tradeoff in NLG
- Title（参考訳）: NLGにおけるダイバーシティ・フェースフルネストレードオフのための多様性改善デコードに基づく情報フィルタ
- Authors: Han Meng, Xiaosong He, Zexing Chen, Feng Zhou
- Abstract要約: 本稿では、多様性と忠実性のトレードオフを得るために、多様性改善復号化情報フィルタ(IFDID)を提案する。
提案手法では, 忠実度を表すROUGEスコアが1.24高く, Dist-2では62.5%の多様性が従来の手法よりも高い。
- 参考スコア（独自算出の注目度）: 4.169333541687493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Some Natural Language Generation (NLG) tasks require both faithfulness and
diversity. The decoding strategy is intensively related to the quality of the
generated text. Strategies such as beam search, greedy search, etc., perform
with low diversity and high repetition. On the other hand, guided decoding, the
solution towards diversity, may generate unfaithful expressions. To this end,
this paper presents Information Filter upon Diversity-Improved Decoding (IFDID)
to obtain the tradeoff between diversity and faithfulness. IFDID is a two-stage
decoding strategy leveraging the proposed Enhance-Filter framework, which
achieves the tradeoff by increasing the probabilities of some typical tokens
being selected and subsequently filtering them by their information amount. To
verify the effectiveness, we compare our method with other baselines on related
CommonGEN, RocStories and AdGen benchmarks, which cover Chinese and English
datasets. Our numerical experimental results and human evaluation outcomes
verify the effectiveness of the proposed approach, as our approach achieves a
1.24 higher ROUGE score describing faithfulness as well as higher diversity
represented by 62.5% higher upon Dist-2 than traditional approaches,
demonstrating that IFDID is a novel SOTA decoding strategy for the tradeoff
between diversity and faithfulness.
- Abstract（参考訳）: いくつかの自然言語生成(NLG)タスクは、忠実さと多様性の両方を必要とする。
復号戦略は、生成されたテキストの品質に強く関係している。
ビームサーチ、グリーディサーチなどの戦略は、低い多様性と高い繰り返しで実行される。
一方で、多様性に対するソリューションであるガイドデコーディングは、不適切な表現を生み出す可能性がある。
そこで本稿では,多様性と忠実性のトレードオフを得るために,多様性改善復号化情報フィルタ(IFDID)を提案する。
IFDIDは、提案したEnhance-Filterフレームワークを利用した2段階のデコード戦略であり、選択される典型的なトークンの確率を高め、その情報量でフィルタリングすることでトレードオフを実現する。
本手法の有効性を検証するため,中国語と英語のデータセットをカバーするCommonGEN,RocStories,AdGenベンチマークの他のベースラインと比較した。
我々の数値実験結果と人的評価結果から提案手法の有効性が検証された。本手法は従来のアプローチよりもDist-2より62.5%高い忠実度を示すROUGEスコアと62.5%高い多様性を示すROUGEスコアを達成し,IFDIDが多様性と忠実性のトレードオフのための新しいSOTAデコーディング戦略であることを実証した。
関連論文リスト
- Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。
GR$2$は2つの重要なコンポーネントに焦点を当てている。
マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
論文 参考訳（メタデータ） (2024-09-27T02:55:53Z) - DiveR-CT: Diversity-enhanced Red Teaming with Relaxing Constraints [68.82294911302579]
DiveR-CTを導入し、目的と意味の報酬に対する従来の制約を緩和し、多様性を高める政策により大きな自由を与える。
実験では,1)様々な攻撃成功率の多様な多様性指標において優れたデータを生成すること,2)収集したデータに基づく安全性チューニングによる青チームモデルのレジリエンスの向上,3)信頼性と制御可能な攻撃成功率に対する目標重みの動的制御,3)報酬過大化に対する感受性の低下など,ベースラインよりも優れたDiveR-CTの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2024-05-29T12:12:09Z) - Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。
LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
論文 参考訳（メタデータ） (2024-05-12T15:49:38Z) - Fidelity-Enriched Contrastive Search: Reconciling the
Faithfulness-Diversity Trade-Off in Text Generation [21.096737598952853]
FECS (Fidelity-Enriched Contrastive Search) と呼ばれる新しい復号法を提案する。
FECSは、生成されたテキストの繰り返し性をペナルティ化しながら、提供されたソースと意味的に類似したトークンを促進する。
その結果,FECSは高い性能の復号アルゴリズムに匹敵する出力の多様性を維持しつつ,様々な言語モデルサイズにおける忠実さを一貫して向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-23T14:27:45Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - A Unified Algorithm Framework for Unsupervised Discovery of Skills based
on Determinantal Point Process [53.86223883060367]
教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。
提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
論文 参考訳（メタデータ） (2022-12-01T01:40:03Z) - Contrastive Identity-Aware Learning for Multi-Agent Value Decomposition [31.877237996738252]
価値分解(VD)は、グローバルな報酬のみの存在下で、分散政策へのエージェントの貢献を推論することを目的としている。
VDの主な課題の1つは、エージェント間の多様な振る舞いを促進することであり、既存の手法は学習エージェントネットワークの多様性を直接的に促進する。
本稿では、VDネットワークの信用レベルの識別性を明示的に向上する、新しいContrastive Identity-Aware Learning(CIA)手法を提案する。
論文 参考訳（メタデータ） (2022-11-23T05:18:42Z) - A Closer Look at Few-shot Image Generation [38.83570296616384]
訓練済みのGANを小さなターゲットデータで転送する場合、ジェネレータはトレーニングサンプルを複製する傾向がある。
この数ショットの画像生成に対処するいくつかの方法が提案されているが、それらを統一されたフレームワークで分析する努力が不足している。
適応中に既存の手法を解析するためのフレームワークを提案する。
第2のコントリビューションは、ソースドメインのリッチなマルチレベル多様性情報をターゲットドメインジェネレータに保持するために、相互情報(MI)を適用することを提案する。
論文 参考訳（メタデータ） (2022-05-08T07:46:26Z) - Diverse Text Generation via Variational Encoder-Decoder Models with
Gaussian Process Priors [21.71928935339393]
高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。
具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。
ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
論文 参考訳（メタデータ） (2022-04-04T04:09:15Z) - CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for
Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。
CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。
すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文 参考訳（メタデータ） (2020-10-16T23:57:03Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳（メタデータ） (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。