論文の概要: Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2206.03715v1
• Date: Wed, 8 Jun 2022 07:36:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 00:30:38.201875
• Title: Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning
• Title（参考訳）: ゼロショットコモンセンス推論のための複数知識グラフを用いたモジュール化転送学習
• Authors: Yu Jin Kim, Beong-woo Kwak, Youngwook Kim, Reinald Kim Amplayo, Seung-won Hwang, Jinyoung Yeo
• Abstract要約: ゼロショットQAシステムは、コモンセンス知識グラフ(KG)をモデルトレーニングのための合成QAフォームサンプルに変換する。 本稿では,異なる種類のコモンセンスKGを考慮し,ゼロショット転送学習シナリオを複数ソース設定に拡張することを目的とする。 本稿では,知識集約のモジュラー版を開発することにより,異なる知識ソース間の干渉による知識の喪失を軽減することを提案する。
• 参考スコア（独自算出の注目度）: 22.443211209959497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense reasoning systems should be able to generalize to diverse reasoning cases. However, most state-of-the-art approaches depend on expensive data annotations and overfit to a specific benchmark without learning how to perform general semantic reasoning. To overcome these drawbacks, zero-shot QA systems have shown promise as a robust learning scheme by transforming a commonsense knowledge graph (KG) into synthetic QA-form samples for model training. Considering the increasing type of different commonsense KGs, this paper aims to extend the zero-shot transfer learning scenario into multiple-source settings, where different KGs can be utilized synergetically. Towards this goal, we propose to mitigate the loss of knowledge from the interference among the different knowledge sources, by developing a modular variant of the knowledge aggregation as a new zero-shot commonsense reasoning framework. Results on five commonsense reasoning benchmarks demonstrate the efficacy of our framework, improving the performance with multiple KGs.
• Abstract（参考訳）: 常識推論システムは、多様な推論ケースに一般化できるべきである。 しかし、最先端のアプローチのほとんどは高価なデータアノテーションに依存し、一般的なセマンティック推論の方法を学ぶことなく、特定のベンチマークに過剰に適合する。 これらの欠点を克服するために、ゼロショットQAシステムは、コモンセンス知識グラフ(KG)をモデルトレーニングのための合成QAフォームサンプルに変換することで、堅牢な学習スキームとして期待されている。 そこで本研究では,KGを相乗的に利用可能なマルチソース設定に,ゼロショット転送学習シナリオを拡張することを目的とする。 本研究の目的は,新たなゼロショットコモンセンス推論フレームワークとして,知識集約のモジュラー版を開発することにより,異なる知識ソース間の干渉による知識の喪失を軽減することである。 5つのcommonsense推論ベンチマークの結果から,フレームワークの有効性が示され,複数のkgsで性能が向上した。

関連論文リスト

• A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning [17.676185326247946]
  そこで本研究では,テキスト内学習,すなわちKG-ICLを介し,プロンプトに基づくKGファウンデーションモデルを提案する。 クエリにおけるエンティティや関係を発見できないような一般化機能を備えたプロンプトグラフを符号化するために,まず統一トークン化器を提案する。 そこで我々は,プロンプトエンコーディングとKG推論を行う2つのメッセージパッシングニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T06:47:18Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering [6.086719709100659]
  本稿では,新しいマルチホップコモンセンス知識注入フレームワークを提案する。 本フレームワークは,5つの共通知識質問応答ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-10T07:13:47Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Towards Robust Knowledge Graph Embedding via Multi-task Reinforcement Learning [44.38215560989223]
  既存の知識グラフ埋め込み法の多くは、KGの3つの事実はすべて正しいと仮定する。 これはKGの低品質かつ信頼性の低い表現につながる。 本稿では,ノイズの多いデータ問題を大幅に軽減できる汎用マルチタスク強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-11T08:51:37Z)
• All About Knowledge Graphs for Actions [82.39684757372075]
  ゼロショットと少数ショットのアクション認識に使用できる知識グラフ(KG)の理解を深める。 KGsの3つの異なる構成機構について検討した。 異なる実験装置に対する異なるKGの影響を広範囲に解析する。
  論文  参考訳（メタデータ） (2020-08-28T01:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。