論文の概要: Diversifying Content Generation for Commonsense Reasoning with Mixture
of Knowledge Graph Experts
- arxiv url: http://arxiv.org/abs/2203.07285v1
- Date: Mon, 14 Mar 2022 16:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 15:09:51.208317
- Title: Diversifying Content Generation for Commonsense Reasoning with Mixture
of Knowledge Graph Experts
- Title(参考訳): 知識グラフエキスパートの混在による常識推論のためのコンテンツ生成の多様化
- Authors: Wenhao Yu, Chenguang Zhu, Lianhui Qin, Zhihan Zhang, Tong Zhao, Meng
Jiang
- Abstract要約: MoKGEは、コモンセンス知識グラフ(KG)上の専門家(MoE)戦略の混合により生成的推論を多様化する新しい手法である。
実験により、MoKGEは2つのGCRベンチマークの精度でパー性能を達成しつつ、多様性を著しく改善できることが示された。
- 参考スコア(独自算出の注目度): 41.250962586061625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative commonsense reasoning (GCR) in natural language is to reason about
the commonsense while generating coherent text. Recent years have seen a surge
of interest in improving the generation quality of commonsense reasoning tasks.
Nevertheless, these approaches have seldom investigated diversity in the GCR
tasks, which aims to generate alternative explanations for a real-world
situation or predict all possible outcomes. Diversifying GCR is challenging as
it expects to generate multiple outputs that are not only semantically
different but also grounded in commonsense knowledge. In this paper, we propose
MoKGE, a novel method that diversifies the generative reasoning by a mixture of
expert (MoE) strategy on commonsense knowledge graphs (KG). A set of knowledge
experts seek diverse reasoning on KG to encourage various generation outputs.
Empirical experiments demonstrated that MoKGE can significantly improve the
diversity while achieving on par performance on accuracy on two GCR benchmarks,
based on both automatic and human evaluations.
- Abstract(参考訳): 自然言語におけるジェネラティブ・コモンセンス推論(gcr)とは、コヒーレントテキストを生成する際にコモンセンスを推論することである。
近年,コモンセンス推論タスクの生成品質向上への関心が高まっている。
しかしながら、これらの手法は、現実の状況に対する代替的な説明を生成することや、可能なすべての結果を予測することを目的として、GCRタスクの多様性を調査することはめったにない。
GCRの多様化は、意味的に異なるだけでなく、常識的な知識にも根ざした複数の出力を生成することを期待しているため、難しい。
本稿では,コモンセンス知識グラフ(KG)上の専門家(MoE)戦略の混合により生成的推論を多様化する手法であるMoKGEを提案する。
知識専門家の集まりは、様々な世代のアウトプットを促進するために、KGに対して多様な推論を求める。
実証実験により、MoKGEは2つのGCRベンチマークの精度において、自動評価と人的評価の両方に基づいてパー性能を達成しつつ、多様性を著しく改善できることが示された。
関連論文リスト
- A Factuality and Diversity Reconciled Decoding Method for Knowledge-Grounded Dialogue Generation [32.74507273419422]
外部知識の接地は対話生成における応答の事実性を高めることができる。
DoGeと呼ばれる新しい手法が提案されている。
広く使われている3つのデータセットに対する大規模な実験は、DoGeが応答の多様性を向上するだけでなく、事実性も維持できることを示している。
論文 参考訳(メタデータ) (2024-07-08T08:23:11Z) - Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning [28.654890118684957]
生成コモンセンス推論 (Generative Commonsense Reasoning, GCR) は、コモンセンス知識を用いて状況を理解するためのモデルを必要とする。
生成の多様性は、モデルが様々な常識的知識事実を使用する能力を反映しているため、同様に重要である。
そこで本研究では,LLMの世代を多様化し,その品質を保ちながら簡便な手法を提案する。
論文 参考訳(メタデータ) (2024-04-25T17:52:39Z) - Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。
本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。
多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文 参考訳(メタデータ) (2023-10-23T02:27:31Z) - Knowledge Graph Context-Enhanced Diversified Recommendation [53.3142545812349]
本研究では,知識グラフ(KG)の複雑な文脈における多角化RecSys領域について検討する。
私たちのコントリビューションには、革新的なメトリック、エンティティカバレッジ、KGドメイン内の多様性を効果的に定量化するリレーショナルカバレッジの導入が含まれています。
そこで本稿では,文脈整合性を維持しつつ,KG項目の埋め込みを符号化するCAU(Conditional Alignment and Uniformity)という新しい手法を紹介する。
論文 参考訳(メタデータ) (2023-10-20T03:18:57Z) - Diversifying Question Generation over Knowledge Base via External
Natural Questions [18.382095354733842]
多様なテキストは、様々な表現を通して同じ意味を伝達すべきである。
現在のメトリクスは、生成された質問自体のユニークなn-gramの比率を計算するため、上記の多様性を不適切に評価する。
我々は,各インスタンスを対象としたトップk生成質問の多様性を計測する,新しい多様性評価指標を考案した。
論文 参考訳(メタデータ) (2023-09-23T10:37:57Z) - Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。
提案するRACoは,他の知識強化手法よりも優れる。
論文 参考訳(メタデータ) (2022-10-23T23:49:08Z) - Modularized Transfer Learning with Multiple Knowledge Graphs for
Zero-shot Commonsense Reasoning [22.443211209959497]
ゼロショットQAシステムは、コモンセンス知識グラフ(KG)をモデルトレーニングのための合成QAフォームサンプルに変換する。
本稿では,異なる種類のコモンセンスKGを考慮し,ゼロショット転送学習シナリオを複数ソース設定に拡張することを目的とする。
本稿では,知識集約のモジュラー版を開発することにより,異なる知識ソース間の干渉による知識の喪失を軽減することを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:36:31Z) - Compression, Transduction, and Creation: A Unified Framework for
Evaluating Natural Language Generation [85.32991360774447]
自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。
NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。
我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
論文 参考訳(メタデータ) (2021-09-14T01:00:42Z) - A Sentiment-Controllable Topic-to-Essay Generator with Topic Knowledge
Graph [44.00244549852883]
トピック知識グラフ強化デコーダを用いた,新しい感性制御型トピック・ツー・エッセイ・ジェネレータを提案する。
まず、各文に対する感情を制御するために、感情情報をジェネレータに注入し、様々なエッセイを生み出す。
知識エンティティを別々に使用する既存のモデルとは異なり、我々のモデルは知識グラフ全体を扱い、より構造化され、連結されたセマンティック情報をグラフにエンコードし、より関連するエッセイを生成する。
論文 参考訳(メタデータ) (2020-10-12T08:06:12Z) - On the Role of Conceptualization in Commonsense Knowledge Graph
Construction [59.39512925793171]
アトミックやASERのような常識知識グラフ(CKG)は、従来のKGと大きく異なる。
本稿では, CKG の概念化手法を紹介し, テキストに記述されたエンティティを特定の概念のインスタンスとみなすか, あるいはその逆を例に紹介する。
提案手法は, 可塑性三重項を効果的に同定し, 新たなノードの3重項と, 多様性と新規性の両端項によってKGを拡張できる。
論文 参考訳(メタデータ) (2020-03-06T14:35:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。