論文の概要: Rethinking Language Models as Symbolic Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2308.13676v1
- Date: Fri, 25 Aug 2023 21:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 19:44:49.710402
- Title: Rethinking Language Models as Symbolic Knowledge Graphs
- Title(参考訳): 記号的知識グラフとしての言語モデルの再考
- Authors: Vishwas Mruthyunjaya, Pouya Pezeshkpour, Estevam Hruschka, Nikita
Bhutani
- Abstract要約: シンボリック・ナレッジグラフ(英語版)(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。
我々は、対称性、非対称性、階層性、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧さを含む属性のスペクトルを含む9つの定性的ベンチマークを構築した。
- 参考スコア(独自算出の注目度): 7.192286645674803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic knowledge graphs (KGs) play a pivotal role in knowledge-centric
applications such as search, question answering and recommendation. As
contemporary language models (LMs) trained on extensive textual data have
gained prominence, researchers have extensively explored whether the parametric
knowledge within these models can match up to that present in knowledge graphs.
Various methodologies have indicated that enhancing the size of the model or
the volume of training data enhances its capacity to retrieve symbolic
knowledge, often with minimal or no human supervision. Despite these
advancements, there is a void in comprehensively evaluating whether LMs can
encompass the intricate topological and semantic attributes of KGs, attributes
crucial for reasoning processes. In this work, we provide an exhaustive
evaluation of language models of varying sizes and capabilities. We construct
nine qualitative benchmarks that encompass a spectrum of attributes including
symmetry, asymmetry, hierarchy, bidirectionality, compositionality, paths,
entity-centricity, bias and ambiguity. Additionally, we propose novel
evaluation metrics tailored for each of these attributes. Our extensive
evaluation of various LMs shows that while these models exhibit considerable
potential in recalling factual information, their ability to capture intricate
topological and semantic traits of KGs remains significantly constrained. We
note that our proposed evaluation metrics are more reliable in evaluating these
abilities than the existing metrics. Lastly, some of our benchmarks challenge
the common notion that larger LMs (e.g., GPT-4) universally outshine their
smaller counterparts (e.g., BERT).
- Abstract(参考訳): 記号的知識グラフ(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。
膨大なテキストデータに基づいて訓練された現代言語モデル (LM) が注目されているため、研究者はこれらのモデル内のパラメトリック知識が知識グラフのそれと一致するかどうかを幅広く研究してきた。
様々な方法論は、モデルのサイズやトレーニングデータの量を増やすことで象徴的な知識を得られる能力が増すことを示している。
これらの進歩にもかかわらず、LMがKGの複雑なトポロジカル・セマンティック属性(推論過程に不可欠な属性)を包含できるかどうかを包括的に評価するヴォイドが存在する。
本研究では,様々なサイズと能力を持つ言語モデルの徹底的な評価を行う。
我々は、対称性、非対称性、階層構造、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧性を含む属性のスペクトルを包含する9つの質的ベンチマークを構築した。
さらに,これらの属性に合わせた新しい評価指標を提案する。
様々なLMについて広範囲に評価したところ、これらのモデルは事実情報を記憶する上で大きな可能性を秘めているが、KGsの複雑なトポロジカル・セマンティックな特性を捉える能力は著しく制約されている。
提案した評価指標は,既存の指標よりも信頼性が高いことに留意する。
最後に、我々のベンチマークのいくつかは、より大きなLM(例えば GPT-4)がより小さなLM(例えば BERT)を普遍的に上回っているという共通概念に挑戦している。
関連論文リスト
- Can Large Language Models Understand Context? [17.196362853457412]
本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。
実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。
LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
論文 参考訳(メタデータ) (2024-02-01T18:55:29Z) - MechGPT, a language-based strategy for mechanics and materials modeling
that connects knowledge across scales, disciplines and modalities [0.0]
我々は,Large Language Model (LLM) を用いて,質問応答対を原料から抽出し,微調整する。
得られたMechGPT LLM基盤モデルは、知識検索、様々な言語タスク、仮説生成、異なる領域にわたる知識の接続能力を調べるために、一連の計算実験で使用される。
論文 参考訳(メタデータ) (2023-10-16T14:29:35Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Q-Bench: A Benchmark for General-Purpose Foundation Models on Low-level
Vision [85.6008224440157]
MLLM(Multi-modality Large Language Models)は、コンピュータビジョンの特殊モデルから汎用基礎モデルへのシフトを触媒している。
Q-Benchは3つの領域(低レベル視覚知覚、低レベル視覚記述、全体視品質評価)でMLLMの潜在能力を評価するための総合的なベンチマークである。
論文 参考訳(メタデータ) (2023-09-25T14:43:43Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Sem@$K$: Is my knowledge graph embedding model semantic-aware? [1.8024397171920883]
我々は、モデルが有効なエンティティw.r.t.ドメインと範囲制約を予測する能力を測定する、以前に紹介したメトリクスSem@Kを拡張した。
実験の結果,Sem@KはKGEMの品質に対する新たな視点を提供することがわかった。
一部のKGEMは本質的に他のものよりも優れているが、この意味上の優位性は、ランクベースのメトリクスのパフォーマンスを示すものではない。
論文 参考訳(メタデータ) (2023-01-13T15:06:47Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳(メタデータ) (2022-06-28T19:46:29Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs [82.8453695903687]
我々は,手作業で構築したコモンセンス知識グラフ(CSKG)が,NLPエージェントが遭遇するすべての状況に適用可能な範囲を達成できないことを示す。
我々は、事前訓練された言語モデルでは利用できない知識を含む汎用コモンセンス知識の新しいCSKGであるATOMIC 2020を提案する。
我々は,他のCSKGと比較してその特性を評価し,コモンセンス知識資源の大規模一対研究を行った。
論文 参考訳(メタデータ) (2020-10-12T18:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。