論文の概要: VerifiNER: Verification-augmented NER via Knowledge-grounded Reasoning
with Large Language Models
- arxiv url: http://arxiv.org/abs/2402.18374v1
- Date: Wed, 28 Feb 2024 14:49:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:46:29.173076
- Title: VerifiNER: Verification-augmented NER via Knowledge-grounded Reasoning
with Large Language Models
- Title（参考訳）: VerifiNER:大規模言語モデルを用いた知識基底推論による検証強化NER
- Authors: Seoyeon Kim, Kwangwook Seo, Hyungjoo Chae, Jinyoung Yeo, Dongha Lee
- Abstract要約: 本稿では,知識を用いて既存のNERメソッドからの誤りを識別し,より忠実な予測へと修正するポストホック検証フレームワークを提案する。
我々のフレームワークは,大規模言語モデルの推論能力を利用して,検証プロセスにおける知識と文脈情報を適切に基盤とする。
この結果から,VerifiNERはモデルに依存しないアプローチとして既存のモデルからの誤りを検証できることが示唆された。
- 参考スコア（独自算出の注目度）: 15.437464036956678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent approaches in domain-specific named entity recognition (NER), such as
biomedical NER, have shown remarkable advances. However, they still lack of
faithfulness, producing erroneous predictions. We assume that knowledge of
entities can be useful in verifying the correctness of the predictions. Despite
the usefulness of knowledge, resolving such errors with knowledge is
nontrivial, since the knowledge itself does not directly indicate the
ground-truth label. To this end, we propose VerifiNER, a post-hoc verification
framework that identifies errors from existing NER methods using knowledge and
revises them into more faithful predictions. Our framework leverages the
reasoning abilities of large language models to adequately ground on knowledge
and the contextual information in the verification process. We validate
effectiveness of VerifiNER through extensive experiments on biomedical
datasets. The results suggest that VerifiNER can successfully verify errors
from existing models as a model-agnostic approach. Further analyses on
out-of-domain and low-resource settings show the usefulness of VerifiNER on
real-world applications.
- Abstract（参考訳）: 生物医学的NERのようなドメイン固有名称認識(NER)の最近のアプローチは、顕著な進歩を見せている。
しかし、彼らはまだ忠実さを欠いており、誤った予測を生み出している。
エンティティの知識は、予測の正確性を検証するのに役立つと仮定する。
知識が有用であるにも拘わらず、そのような誤りを知識で解決することは自明ではない。
そこで本研究では,既存のnerメソッドの誤りを知識を用いて識別し,より忠実な予測へと修正する,ポストホック検証フレームワーク verifiner を提案する。
本フレームワークは,大規模言語モデルの推論能力を活用し,検証過程における知識と文脈情報に適切に基づいている。
バイオメディカルデータセットの広範な実験によりVerifiNERの有効性を検証する。
この結果から,VerifiNERはモデルに依存しないアプローチとして既存のモデルからの誤りを検証できることが示唆された。
ドメイン外および低リソース設定に関するさらなる分析は、現実世界のアプリケーションにおけるVerifiNERの有用性を示している。
関連論文リスト
- Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。
我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。
その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
論文 参考訳（メタデータ） (2024-06-07T20:25:05Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Knowledge-Augmented Language Model Verification [68.6099592486075]
最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。
本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。
その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
論文 参考訳（メタデータ） (2023-10-19T15:40:00Z) - DARE: Towards Robust Text Explanations in Biomedical and Healthcare
Applications [54.93807822347193]
帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。
次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。
最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
論文 参考訳（メタデータ） (2023-07-05T08:11:40Z) - Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised
Domain Adaptation [70.85686267987744]
教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。
本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。
提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
論文 参考訳（メタデータ） (2023-03-04T03:02:12Z) - Evaluation of Induced Expert Knowledge in Causal Structure Learning by
NOTEARS [1.5469452301122175]
非パラメトリックNOTEARSモデルの定式化に使用される追加制約の形で、専門家の知識が因果関係に与える影響について検討する。
その結果, (i) NOTEARSモデルの誤りを正す知識は, 統計的に有意な改善をもたらすこと, (ii) アクティブエッジに対する制約は, 非アクティブエッジよりも因果発見に肯定的な影響を与えること, (iii) 意外なことに, (iii) 誘導された知識は, 平均的な不正確なアクティブエッジおよび/または非アクティブエッジに対して予想以上に正確でないことが判明した。
論文 参考訳（メタデータ） (2023-01-04T20:39:39Z) - Self-Adaptive Named Entity Recognition by Retrieving Unstructured
Knowledge [18.22663662693528]
自己適応的NERは、構造化されていないテキストから外部知識を取得し、十分に学習されていないエンティティの使用法を学ぶ。
我々のモデルはF1計量において強いベースラインを2.35ポイント上回る。
論文 参考訳（メタデータ） (2022-10-14T05:10:53Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳（メタデータ） (2022-05-21T08:39:42Z) - Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。
また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。
半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
論文 参考訳（メタデータ） (2021-09-23T23:26:59Z) - Uncertainty-Aware Reliable Text Classification [21.517852608625127]
ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。
ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。
補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-15T04:39:55Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。