論文の概要: Contextualized Scene Imagination for Generative Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2112.06318v1
- Date: Sun, 12 Dec 2021 20:38:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 16:21:06.519456
- Title: Contextualized Scene Imagination for Generative Commonsense Reasoning
- Title(参考訳): ジェネレーティブ・コモンセンス推論のための文脈化シーン想像
- Authors: PeiFeng Wang, Jonathan Zamora, Junfeng Liu, Filip Ilievski, Muhao
Chen, Xiang Ren
- Abstract要約: 生成的コモンセンス推論スキルは、最先端のテキスト生成方法に欠けている。
本稿では,リレーショナルシーン知識グラフの想像を学習するI/V手法を提案する。
実験は、コンセプト・ツー・センスとコンセプト・ツー・ストーリー生成タスクにおいて、言語モデルを改善するためのI&Vの有効性を示す。
- 参考スコア(独自算出の注目度): 35.03682416576795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans use natural language to compose common concepts from their environment
into plausible, day-to-day scene descriptions. However, such generative
commonsense reasoning (GCSR) skills are lacking in state-of-the-art text
generation methods. Descriptive sentences about arbitrary concepts generated by
neural text generation models (e.g., pre-trained text-to-text Transformers) are
often grammatically fluent but may not correspond to human common sense,
largely due to their lack of mechanisms to capture concept relations, to
identify implicit concepts, and to perform generalizable reasoning about unseen
concept compositions. In this paper, we propose an Imagine-and-Verbalize (I&V)
method, which learns to imagine a relational scene knowledge graph (SKG) with
relations between the input concepts, and leverage the SKG as a constraint when
generating a plausible scene description. We collect and harmonize a set of
knowledge resources from different domains and modalities, providing a rich
auxiliary supervision signal for I&V. The experiments demonstrate the
effectiveness of I&V in improving language models on both concept-to-sentence
and concept-to-story generation tasks, while enabling the model to learn well
from fewer task examples and generate SKGs that make common sense to human
annotators.
- Abstract(参考訳): 人間は自然言語を使って環境からありふれた日常のシーン記述へと共通の概念を構成する。
しかし、このような生成コモンセンス推論(GCSR)の技術は、最先端のテキスト生成方法に欠けている。
ニューラルテキスト生成モデル(例えば、事前訓練されたテキスト・トゥ・テキスト・トランスフォーマー)によって生成された任意の概念に関する記述文は、しばしば文法的に流動的であるが、概念関係を捉え、暗黙的な概念を識別し、目に見えない概念構成について一般化可能な推論を行うためのメカニズムが欠如していることから、人間の常識と一致しない。
本稿では,入力概念間の関係を持つ関係場面知識グラフ (relational scene knowledge graph, skg) を想像することを学び,その制約としてskgを活用した,i&v法を提案する。
我々は、異なるドメインやモダリティから知識資源の集合を収集し、調和させ、I&Vのための豊富な補助的な信号を提供する。
実験は、コンセプト・ツー・センスとコンセプト・ツー・ストーリー生成タスクの両方において、言語モデルを改善するためのI&Vの有効性を実証するとともに、より少ないタスク例からモデルをうまく学習し、人間のアノテータに共通するSKGを生成する。
関連論文リスト
- Language-Informed Visual Concept Learning [25.02900120591992]
我々は概念エンコーダのセットを訓練し、言語インフォームドの概念軸のセットに関連する情報を符号化する。
次に、トレーニング済みのVisual Question Answering(VQA)モデルから得られたテキスト埋め込みの集合に埋め込みの概念を固定する。
推論時に、新しいテスト画像から様々な軸に沿った概念埋め込みを抽出し、それをリミックスして視覚概念の新規な構成で画像を生成する。
論文 参考訳(メタデータ) (2023-12-06T16:24:47Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Natural Language Decompositions of Implicit Content Enable Better Text
Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。
我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。
本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文 参考訳(メタデータ) (2023-05-23T23:45:20Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳(メタデータ) (2023-04-27T09:58:15Z) - A Probabilistic-Logic based Commonsense Representation Framework for
Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。
本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
論文 参考訳(メタデータ) (2022-11-30T08:44:30Z) - ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。
我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
論文 参考訳(メタデータ) (2022-11-12T11:31:09Z) - Analyzing Encoded Concepts in Transformer Language Models [21.76062029833023]
ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。
クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
論文 参考訳(メタデータ) (2022-06-27T13:32:10Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳(メタデータ) (2020-12-19T23:23:40Z) - Natural Language Rationales with Full-Stack Visual Reasoning: From
Pixels to Semantic Frames to Commonsense Graphs [106.15931418425906]
本研究は,複数の複雑な視覚的推論課題にまたがる自然言語の有理性の生成に焦点を当てた最初の研究である。
RationaleVT Transformerは、事前学習された言語モデルとオブジェクト認識、接地された視覚的セマンティックフレーム、視覚的コモンセンスグラフを組み合わせることで、自由テキスト論理を生成することを学習する統合モデルである。
実験の結果, 基礎となる事前学習言語モデルは視覚適応の恩恵を受けており, 複雑な視覚的・テキスト的推論タスクに対するモデル解釈可能性の補完として, 自由文合理化が有望な研究方向であることを示唆した。
論文 参考訳(メタデータ) (2020-10-15T05:08:56Z) - KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense
Reasoning [78.81080813406177]
本稿では,学習前言語生成モデルKG-BARTを改良した知識グラフを提案する。
KG-BARTは知識グラフを通じて概念の複雑な関係を包含し、より論理的で自然な文を出力として生成する。
論文 参考訳(メタデータ) (2020-09-26T19:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。