論文の概要: KLoB: a Benchmark for Assessing Knowledge Locating Methods in Language Models

• arxiv url: http://arxiv.org/abs/2309.16535v3
• Date: Mon, 26 Aug 2024 07:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 01:07:17.572156
• Title: KLoB: a Benchmark for Assessing Knowledge Locating Methods in Language Models
• Title（参考訳）: KLoB:言語モデルにおける知識配置手法の評価ベンチマーク
• Authors: Yiming Ju, Xingrun Xing, Zhixiong Zeng,
• Abstract要約: KLoBは,信頼性の高い知識配置法が満たすべき3つの重要な特性を検証したベンチマークである。 KLoBは、言語モデルにおける既存の位置決め手法を評価するためのベンチマークとして機能し、事実知識の局所性仮説の妥当性を再評価する手法に貢献することができる。
• 参考スコア（独自算出の注目度）: 6.0029305444146335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Locate-Then-Edit paradigm has emerged as one of the main approaches in changing factual knowledge stored in the Language models. However, there is a lack of research on whether present locating methods can pinpoint the exact parameters embedding the desired knowledge. Moreover, although many researchers have questioned the validity of locality hypothesis of factual knowledge, no method is provided to test the a hypothesis for more in-depth discussion and research. Therefore, we introduce KLoB, a benchmark examining three essential properties that a reliable knowledge locating method should satisfy. KLoB can serve as a benchmark for evaluating existing locating methods in language models, and can contributes a method to reassessing the validity of locality hypothesis of factual knowledge. KLoB is publicly available at an anonymous GitHub: \url{https://github.com/anon6662/KLoB}.
• Abstract（参考訳）: 近年、言語モデルに格納された事実知識を変更する主要なアプローチの1つとして、Locate-Then-Editパラダイムが登場している。 しかし、現在位置決め手法が、所望の知識を埋め込んだ正確なパラメータを特定できるかどうかについては、研究の欠如がある。 さらに、多くの研究者が事実知識の局所性仮説の妥当性を疑問視しているが、より深い議論と研究のための仮説をテストする方法は提供されていない。 そこで我々は,信頼度の高い知識配置法が満たすべき3つの重要な特性を検証したベンチマークであるKLoBを紹介する。 KLoBは、言語モデルにおける既存の位置決め手法を評価するためのベンチマークとして機能し、事実知識の局所性仮説の妥当性を再評価する手法に貢献することができる。 KLoBは匿名のGitHubで公開されている: \url{https://github.com/anon6662/KLoB}。

関連論文リスト

• Establishing Knowledge Preference in Language Models [80.70632813935644]
  言語モデルは事前学習を通じて大量の事実知識を符号化することが知られている。 このような知識はユーザーからの要求に応えるには不十分かもしれない。 進行中のイベントに関する質問に答える場合には、最新のニュース記事を使って回答を更新する必要がある。 ある事実がモデルで編集されると、更新された事実はモデルによって学習されたすべての事前知識をオーバーライドする。
  論文  参考訳（メタデータ） (2024-07-17T23:16:11Z)
• Knowledge Localization: Mission Not Accomplished? Enter Query Localization! [19.16542466297147]
  知識ニューロン(KN)理論は、これらのメカニズムを説明するための顕著な理論である。 我々は、知識ローカライゼーション(KL)の仮定を再検討し、統計的および知識修正の観点から、それに準拠しない事実の存在を確認する。 そこで本研究では,知識修正の性能を向上させるConsistency-Aware KN修飾法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:44:12Z)
• PRobELM: Plausibility Ranking Evaluation for Language Models [12.057770969325453]
  PRobELM(PRobELM)は、言語モデルがパラメトリック知識を通じてより妥当なシナリオを識別する能力を評価するために設計されたベンチマークである。 我々のベンチマークは、Wikidata編集履歴から算出したデータセットから構築され、評価されたモデルに対するトレーニングデータの時間的境界を整列するように調整されている。
  論文  参考訳（メタデータ） (2024-04-04T21:57:11Z)
• Measuring and Modifying Factual Knowledge in Large Language Models [2.8427946758947304]
  大規模言語モデルは、膨大なテキストコレクションから得られた膨大な事実知識を格納する。 我々は,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-09T21:25:48Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Towards Better Model Understanding with Path-Sufficient Explanations [11.517059323883444]
  Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。 PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。 ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
  論文  参考訳（メタデータ） (2021-09-13T16:06:10Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。