論文の概要: CoCoLM: COmplex COmmonsense Enhanced Language Model

• arxiv url: http://arxiv.org/abs/2012.15643v1
• Date: Thu, 31 Dec 2020 15:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 23:05:28.752476
• Title: CoCoLM: COmplex COmmonsense Enhanced Language Model
• Title（参考訳）: CoCoLM: 複合コモンセンス強化言語モデル
• Authors: Changlong Yu, Hongming Zhang, Yangqiu Song and Wilfred Ng
• Abstract要約: 予め訓練された言語モデルが複雑な共通知識をよりよく取り入れるように提案します。 既存の微調整アプローチとは異なり、特定のタスクに集中せず、CoCoLMという汎用言語モデルを提案する。 学習済み言語モデルに複雑な常識の知識を身に付けることに成功しました。
• 参考スコア（独自算出の注目度）: 45.396629052897524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained language models have demonstrated strong knowledge representation ability. However, recent studies suggest that even though these giant models contains rich simple commonsense knowledge (e.g., bird can fly and fish can swim.), they often struggle with the complex commonsense knowledge that involves multiple eventualities (verb-centric phrases, e.g., identifying the relationship between ``Jim yells at Bob'' and ``Bob is upset'').To address this problem, in this paper, we propose to help pre-trained language models better incorporate complex commonsense knowledge. Different from existing fine-tuning approaches, we do not focus on a specific task and propose a general language model named CoCoLM. Through the careful training over a large-scale eventuality knowledge graphs ASER, we successfully teach pre-trained language models (i.e., BERT and RoBERTa) rich complex commonsense knowledge among eventualities. Experiments on multiple downstream commonsense tasks that requires the correct understanding of eventualities demonstrate the effectiveness of CoCoLM.
• Abstract（参考訳）: 大規模事前学習型言語モデルは強力な知識表現能力を示している。 しかし、最近の研究では、これらの巨大モデルには豊富な単純な常識知識(例えば、鳥は飛ぶことができ、魚は泳ぐことができる)が含まれていることが示唆されている。 本稿では,複数の結果(例えば,'jim yells at bob'' と 'bob is upset'' の関係を識別する動詞中心の句)を伴う複雑なコモンセンス知識に苦慮することが多い。 既存の微調整アプローチとは異なり、特定のタスクに集中せず、CoCoLMという汎用言語モデルを提案する。 大規模成果性ナレッジグラフの注意深いトレーニングを通じて,事前学習した言語モデル(bert,robertaなど)に,結果間の複雑な共通性ナレッジをうまく教えることができた。 結果の正確な理解を必要とする複数のダウンストリームコモンセンスタスクの実験は、CoCoLMの有効性を示している。

関連論文リスト

• Co-occurrence is not Factual Association in Language Models [19.708303468664088]
  言語モデルは,真の事実関連性ではなく,単語共起統計の学習に偏りがあることが示される。 本稿では,言語モデルにおける事実関連性の学習を改善するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-21T08:13:16Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Incorporating Commonsense Knowledge Graph in Pretrained Models for Social Commonsense Tasks [6.335245542129822]
  外部共通知識グラフ(KG)は、単語とその関係に関する豊富な情報を提供します。 そこで本稿では,KGを事前学習言語モデルに組み込む方法を提案する。 本提案手法は,ソーシャルコモンセンス推論タスクであるSocialIQAにおいて,限られたトレーニングデータと完全なトレーニングデータの両方で良好なパフォーマンスを発揮することを実証する。
  論文  参考訳（メタデータ） (2021-05-12T06:45:26Z)
• Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
  言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。 事実と常識はより遅く、ドメインに敏感です。 クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
  論文  参考訳（メタデータ） (2021-04-16T04:26:39Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)
• Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach [24.954288132238293]
  本研究では,コンセプションネットにおける構造化知識を活用することで,コモンセンス推論を用いた事前学習モデルを教える手法を提案する。 実験結果から,これらのトレーニング例を改良すると,事前学習したモデルは,常識的推論を必要とするタスクにおける性能を常に向上することが示された。
  論文  参考訳（メタデータ） (2019-09-20T23:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。