論文の概要: Do Language Models Perform Generalizable Commonsense Inference?
- arxiv url: http://arxiv.org/abs/2106.11533v1
- Date: Tue, 22 Jun 2021 04:17:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 15:14:46.481354
- Title: Do Language Models Perform Generalizable Commonsense Inference?
- Title（参考訳）: 言語モデルは一般化可能なコモンセンス推論を実行するか?
- Authors: Peifeng Wang, Filip Ilievski, Muhao Chen, Xiang Ren
- Abstract要約: 本稿では,LMが一般化可能なコモンセンス推論を行う能力について分析する。
適応されたLMは、目に見えない対象によく一般化するが、新しい対象にはあまり当てはまらない。
- 参考スコア（独自算出の注目度）: 38.80762719409759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by evidence that pretrained language models (LMs) encode commonsense
knowledge, recent work has applied LMs to automatically populate commonsense
knowledge graphs (CKGs). However, there is a lack of understanding on their
generalization to multiple CKGs, unseen relations, and novel entities. This
paper analyzes the ability of LMs to perform generalizable commonsense
inference, in terms of knowledge capacity, transferability, and induction. Our
experiments with these three aspects show that: (1) LMs can adapt to different
schemas defined by multiple CKGs but fail to reuse the knowledge to generalize
to new relations. (2) Adapted LMs generalize well to unseen subjects, but less
so on novel objects. Future work should investigate how to improve the
transferability and induction of commonsense mining from LMs.
- Abstract（参考訳）: 事前学習言語モデル(LM)がコモンセンス知識を符号化する証拠に触発された最近の研究は、コモンセンス知識グラフ(CKG)を自動生成するためにLMを適用している。
しかし、複数のckg、未知の関係、そして新しい実体への一般化に関する理解が欠如している。
本稿では, lmsの知識容量, 伝達性, 誘導性の観点から, 一般化可能なコモンセンス推論を行う能力を分析する。
1) LMは複数のCKGによって定義された異なるスキーマに適応できるが、新しい関係に一般化するための知識の再利用に失敗する。
2) lmsは未発見の被験者によく一般化するが,新規な対象にはあまり適応しない。
今後の研究は, LMからのコモンセンスマイニングの伝達性の向上と誘導について検討する。
関連論文リスト
- Delving into the Reversal Curse: How Far Can Large Language Models Generalize? [40.64539467276017]
大きな言語モデル(LLM)は、一見自明なタスクに直面しているときに制限を示す。
主要な例として、最近議論された「逆の呪い」があり、これはモデルが「AはBである」という事実に基づいて訓練されたとき、この知識を一般化して「BはAである」と推測するのに苦労している。
論文 参考訳（メタデータ） (2024-10-24T14:55:09Z) - Generalization from Starvation: Hints of Universality in LLM Knowledge Graph Learning [8.025148264640967]
グラフ学習中にニューラルネットワークが知識をどのように表現するかを検討する。
我々は普遍性のヒントを見つけ、同値表現は様々なモデルサイズで学習される。
これらのアトラクタ表現は、一般化を目に見えない例に最適化することを示す。
論文 参考訳（メタデータ） (2024-10-10T16:23:42Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳（メタデータ） (2023-05-02T17:59:46Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳（メタデータ） (2022-11-15T18:26:26Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳（メタデータ） (2022-06-28T19:46:29Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳（メタデータ） (2022-01-21T19:00:05Z) - Enhancing Language Models with Plug-and-Play Large-Scale Commonsense [2.1248439796866228]
テキストコモンセンス知識を用いて言語モデル(LM)を強化する方法について検討する。
事前学習を行わない大規模コモンセンス統合のためのプラグアンドプレイ方式を提案する。
論文 参考訳（メタデータ） (2021-09-06T16:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。