論文の概要: Adversarial Transformer Language Models for Contextual Commonsense Inference

• arxiv url: http://arxiv.org/abs/2302.05406v1
• Date: Fri, 10 Feb 2023 18:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 15:08:11.702091
• Title: Adversarial Transformer Language Models for Contextual Commonsense Inference
• Title（参考訳）: 文脈コモンセンス推論のためのadversarial transformer language model
• Authors: Pedro Colon-Hernandez, Henry Lieberman, Yida Xin, Claire Yin, Cynthia Breazeal, Peter Chin
• Abstract要約: コモンセンス推論はコヒーレントなコモンセンスアサーションを生成するタスクである。 課題のいくつかは、推測された事実のトピックに対する制御可能性の欠如、トレーニング中の常識知識の欠如である。 我々は、上記の課題に対処する技術を開発する。
• 参考スコア（独自算出の注目度）: 14.12019824666882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextualized or discourse aware commonsense inference is the task of generating coherent commonsense assertions (i.e., facts) from a given story, and a particular sentence from that story. Some problems with the task are: lack of controllability for topics of the inferred facts; lack of commonsense knowledge during training; and, possibly, hallucinated or false facts. In this work, we utilize a transformer model for this task and develop techniques to address the aforementioned problems in the task. We control the inference by introducing a new technique we call "hinting". Hinting is a kind of language model prompting, that utilizes both hard prompts (specific words) and soft prompts (virtual learnable templates). This serves as a control signal to advise the language model "what to talk about". Next, we establish a methodology for performing joint inference with multiple commonsense knowledge bases. Joint inference of commonsense requires care, because it is imprecise and the level of generality is more flexible. You want to be sure that the results "still make sense" for the context. To this end, we align the textual version of assertions from three knowledge graphs (ConceptNet, ATOMIC2020, and GLUCOSE) with a story and a target sentence. This combination allows us to train a single model to perform joint inference with multiple knowledge graphs. We show experimental results for the three knowledge graphs on joint inference. Our final contribution is exploring a GAN architecture that generates the contextualized commonsense assertions and scores them as to their plausibility through a discriminator. The result is an integrated system for contextual commonsense inference in stories, that can controllably generate plausible commonsense assertions, and takes advantage of joint inference between multiple commonsense knowledge bases.
• Abstract（参考訳）: コンテクスト化または談話 常識推論(concontextized or discourse aware commonsense inference)は、あるストーリーから特定の文と、あるストーリーから、一貫性のあるコモンセンスアサーション(すなわち事実)を生成するタスクである。 課題のいくつかは、推論された事実のトピックに対する制御性の欠如、訓練中の常識的な知識の欠如、そしておそらく幻覚的または偽の事実である。 本研究では,このタスクにトランスフォーマーモデルを用い,上記の問題に対処する手法を開発した。 我々は「ヒンティング」と呼ばれる新しい手法を導入することで推論を制御する。 ヒントは、ハードプロンプト(特定の単語)とソフトプロンプト(仮想学習可能なテンプレート)の両方を利用する、言語モデルプロンプトの一種である。 これは「何を話すか」を言語モデルに助言する制御信号として機能する。 次に,複数のコモンセンス知識ベースと共同推論を行う手法を確立する。 共通感覚の合同推論は不正確であり、一般性のレベルがより柔軟であるため、注意が必要である。 結果がコンテキストに対して“いまだに合理的”であることを確認したいのです。 この目的のために,3つの知識グラフ(ConceptNet,ATOMIC2020,GLUCOSE)からのアサーションのテキストバージョンを,物語と目標文とを一致させる。 この組み合わせにより、1つのモデルをトレーニングして、複数の知識グラフで共同推論を行うことができます。 共同推論における3つの知識グラフの実験結果を示す。 最後のコントリビューションは、文脈化されたコモンセンスアサーションを生成し、識別器を通じてそれらの妥当性を評価するGANアーキテクチャの探索です。 その結果、ストーリーにおける文脈的コモンセンス推論のための統合システムとなり、複数のコモンセンス知識ベース間の共同推論を利用することができる。

関連論文リスト

• Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference [12.941933077524919]
  我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。 『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。 この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
  論文  参考訳（メタデータ） (2024-10-03T04:32:46Z)
• Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
  論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。 我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-12T08:13:52Z)
• DiffuCOMET: Contextual Commonsense Knowledge Diffusion [29.23102821128395]
  本研究では、拡散を利用して物語コンテキストと関連するコモンセンス知識の間の暗黙的な意味的関係を再構築する一連の知識モデルDiffuCOMETを開発する。 DiffuCOMETを評価するために,知識の多様性と文脈的関連性をより深く測定するコモンセンス推論のための新しい指標を提案する。 ComFact と WebNLG+ の2つの異なるベンチマークの結果から,DiffuCOMET が生成した知識は,コモンセンスの多様性,文脈的関連性,および既知の金の参照との整合性との間のトレードオフを良好に達成できることが示された。
  論文  参考訳（メタデータ） (2024-02-26T20:35:34Z)
• MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation [52.238466443561705]
  MICOは、COmmonsenseナレッジグラフの多元的コントラスト学習フレームワークである。 エンティティノード間のコンテキスト相互作用によるコモンセンス知識表現を生成する。 これは、単純に表現間の距離スコアを比較することで、以下の2つのタスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-10-14T06:51:21Z)
• CIKQA: Learning Commonsense Inference with a Unified Knowledge-in-the-loop QA Paradigm [120.98789964518562]
  我々は,コモンセンス知識の大規模化により,すべてのコモンセンスをカバーできるような,各タスクに十分なトレーニングセットをアノテートすることは不可能である,と論じる。 モデルのコモンセンス推論能力について,2つの観点から検討する。 我々は、このベンチマークを知識-イン-ループ質問回答(CIKQA)を用いたCommonsense Inferenceと命名した。
  論文  参考訳（メタデータ） (2022-10-12T14:32:39Z)
• CIS2: A Simplified Commonsense Inference Evaluation for Story Prose [21.32351425259654]
  私たちは、コンテキストコモンセンス推論(CCI)と呼ばれる、ストーリーの散文中のコモンセンス推論の領域に注目します。 文選択におけるタスクコンテキストコモンセンス推論(CIS$2$)を導入する。
  論文  参考訳（メタデータ） (2022-02-16T06:14:37Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
  物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。 以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
  論文  参考訳（メタデータ） (2020-10-04T05:24:12Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。