論文の概要: Real World Conversational Entity Linking Requires More Than Zeroshots

• arxiv url: http://arxiv.org/abs/2409.01152v1
• Date: Mon, 2 Sep 2024 10:37:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:13:03.204345
• Title: Real World Conversational Entity Linking Requires More Than Zeroshots
• Title（参考訳）: 実世界の会話型エンティティリンクはゼロショット以上を必要とする
• Authors: Mohanna Hoveyda, Arjen P. de Vries, Maarten de Rijke, Faegheh Hasibi,
• Abstract要約: 本研究では,資源制約下でのELモデルの有効性を評価するための評価シナリオを設計する。 本稿では、Fandomと新しいゼロショット対話型エンティティリンクデータセットを用いて、ELモデルの未知KBへの一般化能力を評価する。 その結果,既存のゼロショットELモデルでは,事前トレーニングなしで新しいドメイン固有KBを導入するとフェールすることがわかった。
• 参考スコア（独自算出の注目度）: 50.5691094768954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity linking (EL) in conversations faces notable challenges in practical applications, primarily due to the scarcity of entity-annotated conversational datasets and sparse knowledge bases (KB) containing domain-specific, long-tail entities. We designed targeted evaluation scenarios to measure the efficacy of EL models under resource constraints. Our evaluation employs two KBs: Fandom, exemplifying real-world EL complexities, and the widely used Wikipedia. First, we assess EL models' ability to generalize to a new unfamiliar KB using Fandom and a novel zero-shot conversational entity linking dataset that we curated based on Reddit discussions on Fandom entities. We then evaluate the adaptability of EL models to conversational settings without prior training. Our results indicate that current zero-shot EL models falter when introduced to new, domain-specific KBs without prior training, significantly dropping in performance. Our findings reveal that previous evaluation approaches fall short of capturing real-world complexities for zero-shot EL, highlighting the necessity for new approaches to design and assess conversational EL models to adapt to limited resources. The evaluation setup and the dataset proposed in this research are made publicly available.
• Abstract（参考訳）: 会話におけるエンティティリンク(EL)は、主にドメイン固有のロングテールエンティティを含むエンティティアノテーション付き会話データセットとスパースナレッジベース(KB)の不足により、実用的なアプリケーションにおいて顕著な課題に直面している。 我々は,資源制約下でのELモデルの有効性を評価するための評価シナリオを設計した。 評価には、Fandom、現実世界のEL複雑度を例示するFandom、広く使われているWikipediaの2つのKBが使われている。 まず、Fandomを用いた新しい不慣れKBに一般化するELモデルの能力と、RedditのFandomエンティティに関する議論に基づいて収集したゼロショット対話エンティティリンクデータセットを評価する。 次に,ELモデルの事前学習を伴わずに,会話環境への適応性を評価する。 以上の結果から,既存のゼロショットELモデルは,事前トレーニングを伴わずに新しいドメイン固有KBに導入され,性能が著しく低下していることが示唆された。 その結果,従来の評価手法はゼロショットELにおける実世界の複雑さを捉えるには不十分であり,限られたリソースに適応するための会話型ELモデルの設計と評価のための新たなアプローチの必要性が浮き彫りになった。 本研究で提案した評価設定とデータセットを公開している。

関連論文リスト

• Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
  数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。 モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。 本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T17:55:33Z)
• ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
  大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
  論文  参考訳（メタデータ） (2024-06-27T01:37:57Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• ACLSum: A New Dataset for Aspect-based Summarization of Scientific Publications [10.529898520273063]
  ACLSumは、ドメインの専門家によって慎重に作成され、評価される新しい要約データセットである。 以前のデータセットとは対照的に、ACLSumは科学論文のマルチアスペクト要約を容易にする。
  論文  参考訳（メタデータ） (2024-03-08T13:32:01Z)
• Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset [37.02104430195374]
  要素が自由テキストの形で存在するCSKB(Commonsense Knowledge Base)に対する推論は、NLPにおいて重要であるが難しい課題である。 我々はCSKB集団タスクを新しい大規模データセットでベンチマークする。 また,グラフ上の推論を行う新しい帰納的コモンセンス推論モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-16T02:50:01Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
  エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。 新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。 我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
  論文  参考訳（メタデータ） (2020-09-15T16:33:05Z)
• Novel Human-Object Interaction Detection via Adversarial Domain Generalization [103.55143362926388]
  本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。 この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。 本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-05-22T22:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。