論文の概要: From Precision to Perception: User-Centred Evaluation of Keyword Extraction Algorithms for Internet-Scale Contextual Advertising
- arxiv url: http://arxiv.org/abs/2504.21667v1
- Date: Wed, 30 Apr 2025 14:10:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 18:27:53.318687
- Title: From Precision to Perception: User-Centred Evaluation of Keyword Extraction Algorithms for Internet-Scale Contextual Advertising
- Title（参考訳）: 精度から知覚へ:インターネット規模の文脈広告のためのキーワード抽出アルゴリズムのユーザ中心評価
- Authors: Jingwen Cai, Sara Leckner, Johanna Björklund,
- Abstract要約: 本研究はTF-IDF, KeyBERT, Llama 2の比較評価を行った。
KeyBERTはパフォーマンスと計算効率のバランスが良い。
金標準のキーワードを強く好んでいるにもかかわらず、アルゴリズムの出力の違いは統計的に有意ではない。
- 参考スコア（独自算出の注目度）: 0.25822445089477464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyword extraction is a foundational task in natural language processing, underpinning countless real-world applications. A salient example is contextual advertising, where keywords help predict the topical congruence between ads and their surrounding media contexts to enhance advertising effectiveness. Recent advances in artificial intelligence, particularly large language models, have improved keyword extraction capabilities but also introduced concerns about computational cost. Moreover, although the end-user experience is of vital importance, human evaluation of keyword extraction performances remains under-explored. This study provides a comparative evaluation of three prevalent keyword extraction algorithms that vary in complexity: TF-IDF, KeyBERT, and Llama 2. To evaluate their effectiveness, a mixed-methods approach is employed, combining quantitative benchmarking with qualitative assessments from 552 participants through three survey-based experiments. Findings indicate a slight user preference for KeyBERT, which offers a favourable balance between performance and computational efficiency compared to the other two algorithms. Despite a strong overall preference for gold-standard keywords, differences between the algorithmic outputs are not statistically significant, highlighting a long-overlooked gap between traditional precision-focused metrics and user-perceived algorithm efficiency. The study highlights the importance of user-centred evaluation methodologies and proposes analytical tools to support their implementation.
- Abstract（参考訳）: キーワード抽出は自然言語処理の基本課題であり、数え切れないほどの現実世界の応用を支えている。
適切な例として、キーワードが広告と周囲のメディアコンテキスト間のトピックの一致を予測し、広告の有効性を高める、文脈広告がある。
人工知能の最近の進歩、特に大きな言語モデルにより、キーワード抽出能力は向上したが、計算コストに関する懸念ももたらされた。
さらに、エンドユーザー体験は極めて重要であるが、キーワード抽出性能の人的評価は未検討のままである。
本研究では, TF-IDF, KeyBERT, Llama 2の3種類のキーワード抽出アルゴリズムの比較評価を行った。
これらの有効性を評価するために, 定量的ベンチマークと552人の被験者の質的評価を3つのサーベイベース実験で組み合わせ, 混合メソドス法を適用した。
KeyBERTは、他の2つのアルゴリズムと比較して、パフォーマンスと計算効率のバランスが良い。
金標準のキーワードを強く好んでいるにもかかわらず、アルゴリズムの出力の違いは統計的に有意ではなく、従来の精度重視のメトリクスとユーザの知覚するアルゴリズムの効率との間には、長い間見過ごされてきたギャップが浮かび上がっている。
本研究は,ユーザ中心評価手法の重要性を強調し,その実装を支援する分析ツールを提案する。
関連論文リスト
- ProgRoCC: A Progressive Approach to Rough Crowd Counting [66.09510514180593]
私たちはRough Crowd Countingというラベルを付け、取得が容易なトレーニングデータに基づいて精度を向上します。
本稿では,ProgRoCCと呼ばれるCLIPに基づく大群カウント問題に対するアプローチを提案する。
具体的には、粗大なアプローチによってオブジェクト数を決定するプログレッシブな推定学習戦略を導入する。
論文 参考訳（メタデータ） (2025-04-18T01:57:42Z) - Adaptive Prompting: Ad-hoc Prompt Composition for Social Bias Detection [30.836788377666]
本稿では,与えられた入力に対する最適プロンプト合成アドホックを予測する適応的プロンプト手法を提案する。
我々は,意味的理解を必要とする文脈に依存した社会的偏見検出にアプローチを適用した。
我々の手法は高い検出性能を確実に保証し、いくつかの設定で最善である。
論文 参考訳（メタデータ） (2025-02-10T14:06:19Z) - Scalable Multi-phase Word Embedding Using Conjunctive Propositional Clauses [14.088007380798635]
入力シーケンスの文脈埋め込みを発見するために,2相学習を取り入れた新しい手法を提案する。
この技術はスケーラブルなモデルの設計を促進するだけでなく、解釈可能性も維持する。
実験の結果,提案手法は従来の手法と比較して競争性能が高いことがわかった。
論文 参考訳（メタデータ） (2025-01-31T10:39:04Z) - A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。
我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-12-17T04:41:07Z) - Open-vocabulary Keyword-spotting with Adaptive Instance Normalization [18.250276540068047]
本稿では,キーワード条件付き正規化パラメータを出力するためにテキストエンコーダを訓練するキーワードスポッティングの新しい手法であるAdaKWSを提案する。
近年のキーワードスポッティングやASRベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-09-13T13:49:42Z) - Two Approaches to Supervised Image Segmentation [55.616364225463066]
本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。
ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。
代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
論文 参考訳（メタデータ） (2023-07-19T16:42:52Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。
KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
論文 参考訳（メタデータ） (2023-03-27T17:45:38Z) - Keyword Targeting Optimization in Sponsored Search Advertising:
Combining Selection and Matching [0.0]
最適なキーワードターゲティング戦略は、適切な人口に効果的に到達することを保証する。
本稿では,過去の広告パフォーマンス指標の不完全性から,キーワードターゲティングの問題に対処することを目的とする。
実験の結果, (a) BB-KSMは利益率において7つの基準線を上回り, (b) BB-KSMは予算の増加とともにその優位性を示した。
論文 参考訳（メタデータ） (2022-10-19T03:37:32Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Representation Learning for Resource-Constrained Keyphrase Generation [78.02577815973764]
本稿では,言語モデリングの目的を導くために,有能なスパンリカバリと有能なスパン予測を導入する。
提案手法が低リソースおよびゼロショットのキーフレーズ生成に有効であることを示す。
論文 参考訳（メタデータ） (2022-03-15T17:48:04Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-01-12T18:31:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。