論文の概要: ComFact: A Benchmark for Linking Contextual Commonsense Knowledge

• arxiv url: http://arxiv.org/abs/2210.12678v1
• Date: Sun, 23 Oct 2022 09:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:25:44.261725
• Title: ComFact: A Benchmark for Linking Contextual Commonsense Knowledge
• Title（参考訳）: comfact:コンテキストコモンセンスの知識をリンクするベンチマーク
• Authors: Silin Gao, Jena D. Hwang, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut
• Abstract要約: そこで我々は,KGから状況に関連のあるコモンセンス知識を特定するために,モデルにコンテキストを付与し,訓練を行う,コモンセンス事実リンクの新しい課題を提案する。 われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様なデータセットにまたがるコモンセンスのための293kのインコンテキスト関連アノテーションを含んでいる。
• 参考スコア（独自算出の注目度）: 31.19689856957576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding rich narratives, such as dialogues and stories, often requires natural language processing systems to access relevant knowledge from commonsense knowledge graphs. However, these systems typically retrieve facts from KGs using simple heuristics that disregard the complex challenges of identifying situationally-relevant commonsense knowledge (e.g., contextualization, implicitness, ambiguity). In this work, we propose the new task of commonsense fact linking, where models are given contexts and trained to identify situationally-relevant commonsense knowledge from KGs. Our novel benchmark, ComFact, contains ~293k in-context relevance annotations for commonsense triplets across four stylistically diverse dialogue and storytelling datasets. Experimental results confirm that heuristic fact linking approaches are imprecise knowledge extractors. Learned fact linking models demonstrate across-the-board performance improvements (~34.6% F1) over these heuristics. Furthermore, improved knowledge retrieval yielded average downstream improvements of 9.8% for a dialogue response generation task. However, fact linking models still significantly underperform humans, suggesting our benchmark is a promising testbed for research in commonsense augmentation of NLP systems.
• Abstract（参考訳）: 対話や物語のようなリッチな物語を理解するには、しばしば、コモンセンス知識グラフから関連する知識にアクセスするために自然言語処理システムが必要である。 しかし、これらのシステムは通常、状況にかかわる常識知識(文脈化、暗黙性、曖昧さなど)を特定する複雑な課題を無視する単純なヒューリスティックを用いてkgsから事実を取り出す。 そこで本研究では,モデルにコンテキストを与え,状況に関連のあるコモンセンス知識をKGから識別する,コモンセンス事実リンクの新しい課題を提案する。 われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様な対話とストーリーテリングデータセットにわたるコモンセンス三重項に対する約293kのコンテクスト関連アノテーションを含んでいる。 実験結果から,ヒューリスティックな事実リンク手法が不正確知識抽出器であることが確認された。 学習されたファクトリンクモデルでは、これらのヒューリスティックよりも性能が向上した(34.6% F1)。 さらに、知識検索の改善により、対話応答生成タスクの平均下流改善率は9.8%となった。 しかしながら、ファクトリンクモデルはまだ人間を著しく過小評価しており、我々のベンチマークはNLPシステムのコモンセンス拡張の研究に有望なテストベッドであることを示している。

関連論文リスト

• SOK-Bench: A Situated Video Reasoning Benchmark with Aligned Open-World Knowledge [60.76719375410635]
  44Kの質問と10Kの状況からなる新しいベンチマーク(SOK-Bench)を提案する。 推論プロセスは、位置する知識と問題解決のための一般的な知識を理解し、適用するために必要である。 質問応答ペアと推論プロセスを生成し,最後に品質保証に関する手作業によるレビューを行った。
  論文  参考訳（メタデータ） (2024-05-15T21:55:31Z)
• DiffuCOMET: Contextual Commonsense Knowledge Diffusion [29.23102821128395]
  本研究では、拡散を利用して物語コンテキストと関連するコモンセンス知識の間の暗黙的な意味的関係を再構築する一連の知識モデルDiffuCOMETを開発する。 DiffuCOMETを評価するために,知識の多様性と文脈的関連性をより深く測定するコモンセンス推論のための新しい指標を提案する。 ComFact と WebNLG+ の2つの異なるベンチマークの結果から,DiffuCOMET が生成した知識は,コモンセンスの多様性,文脈的関連性,および既知の金の参照との整合性との間のトレードオフを良好に達成できることが示された。
  論文  参考訳（メタデータ） (2024-02-26T20:35:34Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation [58.65698688443091]
  我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。 我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。 我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
  論文  参考訳（メタデータ） (2023-05-30T08:36:45Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Understanding Few-Shot Commonsense Knowledge Models [39.31365020474205]
  トレーニングの常識知識モデルを数ショットで調査します。 数発の訓練システムから得られた知識に対する人間の品質評価は、完全に教師されたシステムから得られた知識の6%以内のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-01-01T19:01:09Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。