論文の概要: Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model

• arxiv url: http://arxiv.org/abs/2306.10241v1
• Date: Sat, 17 Jun 2023 02:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 23:35:31.967281
• Title: Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model
• Title（参考訳）: snowman: 基礎モデルから蒸留した100万規模の中国のコモンセンス知識グラフ
• Authors: Jiaan Wang, Jianfeng Qu, Yunlong Liang, Zhixu Li, An Liu, Guanfeng Liu, Xin Zheng
• Abstract要約: 基礎モデルを用いて,Snowmanという中国のCKGを構築した。 具体的には,ChatGPTから異なる種類のコモンセンスヘッドアイテムを蒸留する。 我々は、無効なコモンセンスをフィルタリングするために、シンプルで効果的な自己命令型フィルタリング戦略を設計する。
• 参考スコア（独自算出の注目度）: 20.323706461728243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constructing commonsense knowledge graphs (CKGs) has attracted wide research attention due to its significant importance in cognitive intelligence. Nevertheless, existing CKGs are typically oriented to English, limiting the research in non-English languages. Meanwhile, the emergence of foundation models like ChatGPT and GPT-4 has shown promising intelligence with the help of reinforcement learning from human feedback. Under the background, in this paper, we utilize foundation models to construct a Chinese CKG, named Snowman. Specifically, we distill different types of commonsense head items from ChatGPT, and continue to use it to collect tail items with respect to the head items and pre-defined relations. Based on the preliminary analysis, we find the negative commonsense knowledge distilled by ChatGPT achieves lower human acceptance compared to other knowledge. Therefore, we design a simple yet effective self-instruct filtering strategy to filter out invalid negative commonsense. Overall, the constructed Snowman covers more than ten million Chinese commonsense triples, making it the largest Chinese CKG. Moreover, human studies show the acceptance of Snowman achieves 90.6\%, indicating the high-quality triples distilled by the cutting-edge foundation model. We also conduct experiments on commonsense knowledge models to show the usability and effectiveness of our Snowman.
• Abstract（参考訳）: コモンセンス知識グラフ(CKG)の構築は、認知知性において重要な意味を持つため、広く研究されている。 それでも、既存のCKGは一般的に英語を指向しており、英語以外の言語の研究を制限している。 一方、ChatGPTやGPT-4のような基礎モデルの出現は、人間のフィードバックからの強化学習の助けを借りて、有望な知性を示している。 そこで,本稿では,基礎モデルを用いてsnowmanという中国語のckgを構築した。 具体的には、ChatGPTから異なる種類のコモンセンスヘッドアイテムを蒸留し、ヘッドアイテムと事前定義された関係に関するテールアイテムの収集に引き続き使用します。 予備分析の結果,ChatGPTで蒸留した負のコモンセンス知識は,他の知識に比べて人間の受容度が低いことがわかった。 そこで我々は、無効な負のコモンセンスをフィルタリングする簡単な自己命令型フィルタリング戦略を設計する。 全体では、Snowmanは1000万以上の中国のコモンセンスをカバーしており、中国最大のCKGとなっている。 さらに, 雪だるまの受け入れ率は90.6 %であり, 最先端基礎モデルによる高品質の3倍率を示す。 また,雪だるまのユーザビリティと有効性を示すコモンセンス知識モデルの実験を行った。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Similarity-weighted Construction of Contextualized Commonsense Knowledge Graphs for Knowledge-intense Argumentation Tasks [17.438104235331085]
  CCKG(Contextualized Commonsense Knowledge Graphs)を構築するための教師なしの新たな手法を提案する。 我々の研究は、KG三重項とテキスト引数のセマンティックな類似性を計算することによって、文脈に敏感な知識抽出に留まらない。 我々は,知識に敏感な議論品質評価タスクにおけるCCKGの有効性を実証し,強力なベースラインを達成し,GPT-3ベースのシステムと競合することを示す。
  論文  参考訳（メタデータ） (2023-05-15T09:52:36Z)
• "HOT" ChatGPT: The promise of ChatGPT in detecting and discriminating hateful, offensive, and toxic comments on social media [2.105577305992576]
  生成AIモデルには、有害なコンテンツを理解し、検出する能力がある。 ChatGPTは人間のアノテーションと比較して約80%の精度が得られる。
  論文  参考訳（メタデータ） (2023-04-20T19:40:51Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• Visually Grounded Commonsense Knowledge Acquisition [132.42003872906062]
  大規模なコモンセンス知識ベースは、幅広いAIアプリケーションを促進する。 視覚知覚には、現実世界の実体に関する豊富な常識知識が含まれる。 本稿では,遠隔教師付きマルチインスタンス学習問題としてCKEを定式化するCLEVERを提案する。
  論文  参考訳（メタデータ） (2022-11-22T07:00:16Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Symbolic Knowledge Distillation: from General Language Models to Commonsense Models [38.29726383331247]
  一般的な言語モデルは、コモンセンスモデルを訓練するための知識グラフを作成できる。 ニューラルモデルに加えて、記号的にテキストとして知識を蒸留する。 人間が作成したコモンセンス知識グラフが、私たちの自動蒸留変種に取って代わられるのは初めてです。
  論文  参考訳（メタデータ） (2021-10-14T06:50:19Z)
• Language Models are Open Knowledge Graphs [75.48081086368606]
  近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T18:01:56Z)
• Adversarial Learning for Debiasing Knowledge Graph Embeddings [9.53284633479507]
  社会的・文化的偏見は、異なる集団や少数民族に有害な結果をもたらす可能性がある。 本稿では,知識グラフ(KG)の埋め込みにおいて,そのようなバイアスを識別し緩和することを目的とする。 我々は、FAN(Filtering Adversarial Network)と呼ばれる、KG埋め込みから機密属性情報をフィルタリングする新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-06-29T18:36:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。