論文の概要: Commonsense Knowledge Salience Evaluation with a Benchmark Dataset in
E-commerce
- arxiv url: http://arxiv.org/abs/2205.10843v1
- Date: Sun, 22 May 2022 15:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 17:11:37.931075
- Title: Commonsense Knowledge Salience Evaluation with a Benchmark Dataset in
E-commerce
- Title(参考訳): eコマースにおけるベンチマークデータセットを用いたコモンセンスナレッジ・サリアンス評価
- Authors: Yincen Qu, Ningyu Zhang, Hui Chen, Zelin Dai, Zezhong Xu, Chengming
Wang, Xiaoyu Wang, Qiang Chen, Huajun Chen
- Abstract要約: 電子商取引においては、コモンセンス・ナレッジ(CSK)のサリエンスは、製品検索やレコメンデーションといった幅広い応用に有用である。
しかし、既存のCSKコレクションの多くは、信頼スコアのみによってランク付けされており、人間の視点ではどのコレクションが健全であるかに関する情報はない。
本研究では,CSK三重項が与えられた場合,三重項が正当かどうかを学習するためには,教師付きサリエンス評価の課題を定義する。
- 参考スコア(独自算出の注目度): 42.726755541409545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In e-commerce, the salience of commonsense knowledge (CSK) is beneficial for
widespread applications such as product search and recommendation. For example,
when users search for "running" in e-commerce, they would like to find items
highly related to running, such as "running shoes" rather than "shoes".
However, many existing CSK collections rank statements solely by confidence
scores, and there is no information about which ones are salient from a human
perspective. In this work, we define the task of supervised salience
evaluation, where given a CSK triple, the model is required to learn whether
the triple is salient or not. In addition to formulating the new task, we also
release a new Benchmark dataset of Salience Evaluation in E-commerce (BSEE) and
hope to promote related research on commonsense knowledge salience evaluation.
We conduct experiments in the dataset with several representative baseline
models. The experimental results show that salience evaluation is a hard task
where models perform poorly on our evaluation set. We further propose a simple
but effective approach, PMI-tuning, which shows promise for solving this novel
problem.
- Abstract(参考訳): eコマースでは、コモンセンス・ナレッジ(csk)は製品検索やレコメンデーションといった幅広い応用に有用である。
例えば、ユーザがeコマースで"runing"を検索すると、"shoes"ではなく"runing shoes"のようなランニングに関連するアイテムが見つかる。
しかし、既存のCSKコレクションの多くは、信頼スコアのみによってランク付けされており、人間の視点ではどのコレクションが健全であるかに関する情報はない。
本研究では,CSK三重項が与えられた場合,三重項が正当かどうかを学習するためには,教師付きサリエンス評価の課題を定義する。
また,新たな課題の定式化に加えて,BSEE(Salience Evaluation in E-Commerce)のベンチマークデータセットも公開し,コモンセンス・ナレッジ・サリエンス評価に関する関連研究の促進を期待する。
いくつかの代表的なベースラインモデルを用いてデータセットで実験を行う。
実験結果から,サリエンス評価はモデルが評価セットに不適合な作業であることがわかった。
さらに,PMIチューニングというシンプルな手法を提案し,この問題の解決を約束する。
関連論文リスト
- Revisiting Few-Shot Object Detection with Vision-Language Models [54.39740692635763]
FSOD(Few-shot Object Detection)ベンチマークは、アノテーションを限定した新しいカテゴリを検出するための高度な技術を持っている。
我々は,任意の外部データセット上で事前訓練された検出器と,ターゲットクラス毎のKショットに微調整された検出器を評価するための,新しいベンチマークプロトコルであるFoundational FSODを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:42:00Z) - Mitigating Pooling Bias in E-commerce Search via False Negative
Estimation [26.49818342810219]
Bias-mitigating Hard Negative Smplingは、偽陰性の特定と調整に適した新しいネガティブサンプリング戦略である。
検索実験により,BHNSがeコマースの実用化に有効であることが確認された。
論文 参考訳(メタデータ) (2023-11-11T00:22:57Z) - Going beyond research datasets: Novel intent discovery in the industry
setting [60.90117614762879]
本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。
ドメイン内データに基づく事前学習型言語モデルの利点を示す。
また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
論文 参考訳(メタデータ) (2023-05-09T14:21:29Z) - KGxBoard: Explainable and Interactive Leaderboard for Evaluation of
Knowledge Graph Completion Models [76.01814380927507]
KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。
実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
論文 参考訳(メタデータ) (2022-08-23T15:11:45Z) - Benchmarking Commonsense Knowledge Base Population with an Effective
Evaluation Dataset [37.02104430195374]
要素が自由テキストの形で存在するCSKB(Commonsense Knowledge Base)に対する推論は、NLPにおいて重要であるが難しい課題である。
我々はCSKB集団タスクを新しい大規模データセットでベンチマークする。
また,グラフ上の推論を行う新しい帰納的コモンセンス推論モデルを提案する。
論文 参考訳(メタデータ) (2021-09-16T02:50:01Z) - An End-to-End Solution for Named Entity Recognition in eCommerce Search [7.240345005177374]
名前付きエンティティ認識(NER)は、現代の検索クエリ理解における重要なステップである。
近年の研究では、深層学習手法を用いた共有ベンチマークNERタスクの有望な結果が示されている。
本稿では,これらの課題を解決するためのエンドツーエンドソリューションを示す。
論文 参考訳(メタデータ) (2020-12-11T04:58:13Z) - RethinkCWS: Is Chinese Word Segmentation a Solved Task? [81.11161697133095]
中国語の単語(CWS)システムの性能は、ディープニューラルネットワークの急速な発展とともに、徐々に高水準に達している。
本稿では、私たちが達成した事柄の株式を取得し、CWSタスクに残されている事柄を再考する。
論文 参考訳(メタデータ) (2020-11-13T11:07:08Z) - E-commerce Query-based Generation based on User Review [1.484852576248587]
本稿では,従来のユーザによるレビューに基づいて,ユーザの質問に対する回答を生成するための新しいセク2seqベースのテキスト生成モデルを提案する。
ユーザの質問や感情の極性が与えられた場合,関心事の側面を抽出し,過去のユーザレビューを要約した回答を生成する。
論文 参考訳(メタデータ) (2020-11-11T04:58:31Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳(メタデータ) (2020-06-13T07:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。