論文の概要: TAXI: Evaluating Categorical Knowledge Editing for Language Models
- arxiv url: http://arxiv.org/abs/2404.15004v2
- Date: Thu, 6 Jun 2024 13:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 20:33:09.155359
- Title: TAXI: Evaluating Categorical Knowledge Editing for Language Models
- Title（参考訳）: TAXI:言語モデルのカテゴリ的知識編集の評価
- Authors: Derek Powell, Walter Gerych, Thomas Hartvigsen,
- Abstract要約: 知識編集は、言語モデルに新しい事実を注入し、その事実性を改善することを目的としている。
現在のベンチマークでは、効率、正確、一般化可能な編集を保証するために重要な一貫性の評価に失敗している。
分類的知識編集における一貫性を評価するためのベンチマークデータセットであるTAXIを手作業で作成する。
- 参考スコア（独自算出の注目度）: 13.889284093852687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans rarely learn one fact in isolation. Instead, learning a new fact induces knowledge of other facts about the world. For example, in learning a korat is a type of cat, you also infer it is a mammal and has claws, ensuring your model of the world is consistent. Knowledge editing aims to inject new facts into language models to improve their factuality, but current benchmarks fail to evaluate consistency, which is critical to ensure efficient, accurate, and generalizable edits. We manually create TAXI, a new benchmark dataset specifically created to evaluate consistency in categorical knowledge edits. TAXI contains 11,120 multiple-choice queries for 976 edits spanning 41 categories (e.g., Dogs), 164 subjects (e.g., Labrador), and 183 properties (e.g., is a mammal). We then use TAXI to evaluate popular editors' categorical consistency, measuring how often editing a subject's category appropriately edits its properties. We find that 1) the editors achieve marginal, yet non-random consistency, 2) their consistency far underperforms human baselines, and 3) consistency is more achievable when editing atypical subjects Our code and data are available at https://github.com/derekpowell/taxi.
- Abstract（参考訳）: 人間は一つの事実を単独で学ぶことは滅多にない。
代わりに、新しい事実を学ぶことは、世界に関する他の事実の知識を誘導する。
例えば、コラットを学習することは猫の一種であり、哺乳類であり、爪を持っていると推測し、世界のモデルが一貫していることを保証する。
知識編集は、言語モデルに新しい事実を注入して事実を改善することを目的としているが、現在のベンチマークでは一貫性の評価に失敗している。
分類的知識編集における一貫性を評価するために特別に作成された新しいベンチマークデータセットであるTAXIを手動で作成する。
TAXIは、41のカテゴリー(例:犬)、164の被験者(例:ラブラドール)、183の特性(例:哺乳類)にまたがる976の編集のための11,120の多重選択クエリを含む。
次に、TAXIを用いて、一般的な編集者の分類的一貫性を評価し、対象者のカテゴリが適切に編集される頻度を測定する。
私たちはそれを見つける。
1)編集者は、限界はあるが、非ランダムな一貫性を達成する。
2)その一貫性は人間の基準線をはるかに過小評価し、
コードとデータはhttps://github.com/derekpowell/taxi.orgで公開されている。
関連論文リスト
- Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。
まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。
次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
論文 参考訳（メタデータ） (2024-06-27T17:33:03Z) - Detecting Edited Knowledge in Language Models [5.260519479124422]
知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。
生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。
本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:24Z) - "Flex Tape Can't Fix That": Bias and Misinformation in Edited Language Models [17.77377809345631]
モデル編集手法は,編集後のモデルバイアスを予期せず増幅する方法について検討する。
具体的には、人種、地理的起源、性別などの人口特性に関するバイアスに焦点を当てる。
編集されたモデルは、アジア、アフリカ、および南米の被験者の属性に対する信頼性が低下するにつれて、様々な程度にバイアスのかかる行動を示す。
論文 参考訳（メタデータ） (2024-02-29T23:11:55Z) - Evaluating the Ripple Effects of Knowledge Editing in Language Models [47.6531309439867]
我々は5Kの事実編集の診断ベンチマークを行い、様々な種類のリップル効果を捉えた。
筆者らはRippleEdits上での顕著な編集手法の評価を行い、現在の手法がモデルの知識に一貫した変化を起こさないことを示す。
論文 参考訳（メタデータ） (2023-07-24T17:52:46Z) - Does Localization Inform Editing? Surprising Differences in
Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。
特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。
我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
論文 参考訳（メタデータ） (2023-01-10T21:26:08Z) - Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。
タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。
近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
論文 参考訳（メタデータ） (2022-12-04T23:59:41Z) - Instilling Type Knowledge in Language Models via Multi-Task QA [13.244420493711981]
タイプ中心の質問に対して,テキストからテキストへの事前学習を施した言語モデルに,きめ細かな型知識を注入する手法を提案する。
ウィキデータナレッジグラフにリンクされた100万のウィキペディア記事のエンティティとエントリを41Kタイプで作成する。
WikiWikiでトレーニングされたモデルは、ゼロショットダイアログ状態追跡ベンチマークで最先端のパフォーマンスを実現し、ウィキペディアの記事のエンティティタイプを正確に推測し、人間の裁判官が有用なと考えられる新しいタイプを発見できる。
論文 参考訳（メタデータ） (2022-04-28T22:06:32Z) - RuMedBench: A Russian Medical Language Understanding Benchmark [58.99199480170909]
本稿では,複数のタスクタイプをカバーするオープンなロシア語医療言語理解ベンチマークについて述べる。
我々は、新しいタスクのための統一されたフォーマットラベリング、データ分割、評価メトリクスを作成します。
シングルナンバーメトリックは、ベンチマークに対処するモデルの能力を表す。
論文 参考訳（メタデータ） (2022-01-17T16:23:33Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。