論文の概要: Beyond Individual Facts: Investigating Categorical Knowledge Locality of Taxonomy and Meronomy Concepts in GPT Models

• arxiv url: http://arxiv.org/abs/2406.15940v1
• Date: Sat, 22 Jun 2024 21:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:53:14.097153
• Title: Beyond Individual Facts: Investigating Categorical Knowledge Locality of Taxonomy and Meronomy Concepts in GPT Models
• Title（参考訳）: 個々の要因を超えて:GPTモデルにおける分類学と気象概念の分類学的知識の局所性を探る
• Authors: Christopher Burger, Yifan Hu, Thai Le,
• Abstract要約: 個々の事実を異にするのではなく,知識の場所,概念や関連する情報の集合を考察する。 関連カテゴリは、類似の少ないカテゴリとは対照的に、類似した重要な領域を示す。 個々の圏部分集合の特定の領域への微粒な局在は明らかでない。
• 参考スコア（独自算出の注目度）: 12.44258859101255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The location of knowledge within Generative Pre-trained Transformer (GPT)-like models has seen extensive recent investigation. However, much of the work is focused towards determining locations of individual facts, with the end goal being the editing of facts that are outdated, erroneous, or otherwise harmful, without the time and expense of retraining the entire model. In this work, we investigate a broader view of knowledge location, that of concepts or clusters of related information, instead of disparate individual facts. To do this, we first curate a novel dataset, called DARC, that includes a total of 34 concepts of ~120K factual statements divided into two types of hierarchical categories, namely taxonomy and meronomy. Next, we utilize existing causal mediation analysis methods developed for determining regions of importance for individual facts and apply them to a series of related categories to provide detailed investigation into whether concepts are associated with distinct regions within these models. We find that related categories exhibit similar areas of importance in contrast to less similar categories. However, fine-grained localization of individual category subsets to specific regions is not apparent.
• Abstract（参考訳）: GPT(Generative Pre-trained Transformer)のようなモデルにおける知識の位置は、近年広く研究されている。 しかし、研究の多くは個々の事実の場所を決定することに重点を置いており、最終的なゴールは、モデル全体を再トレーニングする時間と費用なしで、時代遅れ、誤った、あるいは有害な事実を編集することである。 本研究では,個々の事実を異にするのではなく,知識の場所,概念や関連する情報の集合に関する広い視点を考察する。 そこで我々はまず,約120Kの事実記述を,分類学と気象学という2つの階層的カテゴリに分けた34の概念を含む,DARCと呼ばれる新しいデータセットをキュレートした。 次に,個々の事実の重要領域を決定するために開発された既存の因果媒介分析手法を応用し,それらを一連の関連カテゴリに適用し,概念がこれらのモデル内の異なる領域に関連付けられているかどうかを詳細に調査する。 関連カテゴリは、類似の少ないカテゴリとは対照的に、類似した重要な領域を示す。 しかし、個々の圏の部分集合の特定の領域への微粒化は明らかではない。

関連論文リスト

• Contextuality Helps Representation Learning for Generalized Category Discovery [5.885208652383516]
  本稿では、文脈性の概念を活用することにより、一般化カテゴリー発見(GCD)への新たなアプローチを提案する。 我々のモデルでは,コントラスト学習に最も近いコンテキストが使用されるインスタンスレベルと,コントラスト学習を利用するクラスタレベルという,2つのコンテキストレベルを統合している。 文脈情報の統合は、特徴学習を効果的に改善し、その結果、すべてのカテゴリの分類精度が向上する。
  論文  参考訳（メタデータ） (2024-07-29T07:30:41Z)
• CausalConceptTS: Causal Attributions for Time Series Classification using High Fidelity Diffusion Models [1.068128849363198]
  特定の分類結果に対する概念の因果効果を評価するための新しい枠組みを提案する。 我々は、現状の拡散に基づく生成モデルを利用して、反現実的な結果を推定する。 我々のアプローチは、これらの因果属性と、理論的にも経験的にも、密接に関連する関連属性を比較する。
  論文  参考訳（メタデータ） (2024-05-24T18:33:18Z)
• GIVL: Improving Geographical Inclusivity of Vision-Language Models with Pre-Training Methods [62.076647211744564]
  我々は地理包摂型視覚・言語事前学習モデルであるGIVLを提案する。 1) 類似のカテゴリにおける概念は独自の知識と視覚的特徴を持ち、2) 類似の視覚的特徴を持つ概念は、全く異なるカテゴリに該当する可能性がある。 GIVLは、同様のスケールのデータを事前訓練した類似サイズのモデルと比較して、最先端のSOTA(State-of-the-art)を達成し、ジオディバースなV&Lタスクにおけるよりバランスの取れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-01-05T03:43:45Z)
• Relational Proxies: Emergent Relationships as Fine-Grained Discriminators [52.17542855760418]
  本稿では,オブジェクトのグローバル部分とローカル部分の間の情報を利用してラベルを符号化する手法を提案する。 我々は、理論的な結果に基づいてプロキシを設計し、7つの挑戦的なきめ細かいベンチマークデータセットに基づいて評価する。 また、この理論を実験的に検証し、複数のベンチマークで一貫した結果を得る。
  論文  参考訳（メタデータ） (2022-10-05T11:08:04Z)
• Classifying with Uncertain Data Envelopment Analysis [0.0]
  本稿では,不完全データの現実を前提とした新しい分類手法を提案する。 本モデルでは、不確実なデータ包絡分析を用いて、公平な効率に対する分類の近接性を定義する。 本研究は, ダウ・ジョーンズ工業平均の30株をパフォーマンスレベルに分類し, 前立腺治療を臨床効果カテゴリーに分類することで結論付けた。
  論文  参考訳（メタデータ） (2022-09-02T13:41:19Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• Jointly Modeling Aspect and Polarity for Aspect-based Sentiment Analysis in Persian Reviews [0.0]
  本稿では,ACD と ACP のサブタスクに着目し,両問題を同時に解決する。 ペルシアのレビューのデータセットはCinemaTicketのウェブサイトから収集され、14のカテゴリから2200のサンプルが集められた。 サンプルベースおよびラベルベースメトリクスを用いて,収集したデータセットを用いてモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-09-16T02:55:12Z)
• Geo-Spatiotemporal Features and Shape-Based Prior Knowledge for Fine-grained Imbalanced Data Classification [63.916371837696396]
  細粒度分類は、類似のグローバル知覚とパターンを持つ項目を区別することを目的としているが、細部によって異なる。 私たちの主な課題は、小さなクラス間バリエーションと大きなクラス内バリエーションの両方から来ています。 我々は,野生生物の利用事例における細粒度分類を改善するため,いくつかの革新を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-03-21T02:01:38Z)
• Dataset Bias in Few-shot Image Recognition [57.25445414402398]
  まず,基本カテゴリから学習した伝達可能能力の影響について検討する。 第2に、データセット構造と異なる少数ショット学習方法から、異なるデータセットのパフォーマンス差について検討する。
  論文  参考訳（メタデータ） (2020-08-18T14:46:23Z)
• Commonality-Parsing Network across Shape and Appearance for Partially Supervised Instance Segmentation [71.59275788106622]
  そこで本稿では,マスク付分類から新しい分類へ一般化可能な,クラス非依存の共通性について考察する。 本モデルでは,COCOデータセット上のサンプルセグメンテーションにおける部分教師付き設定と少数ショット設定の両方において,最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2020-07-24T07:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。