論文の概要: An Enhanced Knowledge Injection Model for Commonsense Generation

• arxiv url: http://arxiv.org/abs/2012.00366v1
• Date: Tue, 1 Dec 2020 09:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 12:59:39.252706
• Title: An Enhanced Knowledge Injection Model for Commonsense Generation
• Title（参考訳）: コモンセンス生成のための拡張知識注入モデル
• Authors: Zhihao Fan, Yeyun Gong, Zhongyu Wei, Siyuan Wang, Yameng Huang, Jian Jiao, Xuanjing Huang, Nan Duan, Ruofei Zhang
• Abstract要約: Commonsenseジェネレーションは、提供された概念のセットに基づいて、妥当な日常シナリオ記述を生成することを目的としている。 我々は、シナリオの理解を支援するために、外部知識からプロトタイプを検索し、より良い記述生成を行う。 我々はCommonGenベンチマークで実験を行い、実験結果から、我々の手法が全てのメトリクスの性能を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 68.12943221053025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense generation aims at generating plausible everyday scenario description based on a set of provided concepts. Digging the relationship of concepts from scratch is non-trivial, therefore, we retrieve prototypes from external knowledge to assist the understanding of the scenario for better description generation. We integrate two additional modules, namely position indicator and scaling module, into the pretrained encoder-decoder model for prototype modeling to enhance the knowledge injection procedure. We conduct experiment on CommonGen benchmark, and experimental results show that our method significantly improves the performance on all the metrics.
• Abstract（参考訳）: Commonsenseジェネレーションは、提供された概念のセットに基づいて、妥当な日常シナリオ記述を生成することを目的としている。 概念の関係をスクラッチから掘り下げることは自明ではないため、外部の知識からプロトタイプを取り出してシナリオの理解を支援し、より良い記述を生成する。 我々は,知識注入手順を強化するために,プリトレーニングエンコーダ・デコーダモデルに位置指示モジュールとスケーリングモジュールという2つの追加モジュールを統合する。 我々はcommongenベンチマークを用いて実験を行い,実験結果から全メトリクスの性能が大幅に向上することを確認した。

関連論文リスト

• Deep Fusion: Capturing Dependencies in Contrastive Learning via Transformer Projection Heads [0.0]
  Contrastive Learning (CL) は、ラベルのないデータを用いて特徴抽出モデルを訓練するための強力な方法として登場した。 近年の研究では、線形投射ヘッドポストバックボーンの導入により、モデル性能が著しく向上することが示唆されている。 コントラスト学習におけるプロジェクションヘッドの役割にトランスフォーマーの新たな応用を導入する。
  論文  参考訳（メタデータ） (2024-03-27T15:24:54Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• R-Cut: Enhancing Explainability in Vision Transformers with Relationship Weighted Out and Cut [14.382326829600283]
  リレーションウェイトアウト」と「カット」の2つのモジュールを紹介します。 Cut"モジュールは、位置、テクスチャ、色などの要素を考慮して、きめ細かい特徴分解を行う。 我々は,ImageNetデータセット上で定性的かつ定量的な実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-07-18T08:03:51Z)
• Set-to-Sequence Ranking-based Concept-aware Learning Path Recommendation [49.85548436111153]
  SRC(Set-to-Sequence Ranking-based Concept-Aware Learning Path Recommendation)という新しいフレームワークを提案する。 SRCは、セット・ツー・シーケンス・パラダイムの下でレコメンデーション・タスクを定式化する。 実世界の2つの公開データセットと1つの産業データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-06-07T08:24:44Z)
• Plug-and-Play Knowledge Injection for Pre-trained Language Models [116.37916535076478]
  外部知識を注入することで、様々な下流NLPタスクにおける事前学習言語モデル(PLM)の性能を向上させることができる。 下流タスクのための新しい知識注入方法や知識ベースを展開するには、大規模な再訓練が必要である。 既存の下流モデルを用いて知識注入の柔軟性と効率を改善する方法について検討する。
  論文  参考訳（メタデータ） (2023-05-28T10:58:00Z)
• Fine-grained Contrastive Learning for Definition Generation [10.549051541793544]
  従来のエンコーダ・デコーダモデルは、与えられた単語の完全な意味的要素を含む効果的な表現学習を欠いていた。 そこで本研究では,定義シーケンスエンコーディングからより詳細な意味表現を抽出することをモデルに推奨する,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T14:55:01Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)
• Hierarchical Predictive Coding Models in a Deep-Learning Framework [1.370633147306388]
  予測符号化の最もよく知られたモデルをいくつかレビューする。 また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
  論文  参考訳（メタデータ） (2020-05-07T03:39:57Z)
• Multi-Scale Boosted Dehazing Network with Dense Feature Fusion [92.92572594942071]
  U-Netアーキテクチャに基づくDense Feature Fusionを用いたマルチスケールブーストデハージングネットワークを提案する。 提案モデルでは,ベンチマークデータセットや実世界のハジー画像に対する最先端のアプローチに対して,好意的に機能することを示す。
  論文  参考訳（メタデータ） (2020-04-28T09:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。