論文の概要: On the Biased Assessment of Expert Finding Systems

• arxiv url: http://arxiv.org/abs/2410.05018v1
• Date: Mon, 7 Oct 2024 13:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:48:04.695227
• Title: On the Biased Assessment of Expert Finding Systems
• Title（参考訳）: エキスパート発見システムのバイアス評価について
• Authors: Jens-Joris Decorte, Jeroen Van Hautte, Chris Develder, Thomas Demeester,
• Abstract要約: 大きな組織では、特定のトピックについて専門家を特定することが、チームや部門にまたがる内部知識を活用する上で非常に重要です。 このケーススタディでは、これらのレコメンデーションが専門家発見システムの評価に与える影響について分析する。 本稿では,システム検証アノテーションが従来の用語ベース検索モデルの性能過大評価につながることを示す。 また,同義語を用いた知識領域を拡大し,その構成語に対するリテラル言及に対する強い偏見を明らかにする。
• 参考スコア（独自算出の注目度）: 11.083396379885478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large organisations, identifying experts on a given topic is crucial in leveraging the internal knowledge spread across teams and departments. So-called enterprise expert retrieval systems automatically discover and structure employees' expertise based on the vast amount of heterogeneous data available about them and the work they perform. Evaluating these systems requires comprehensive ground truth expert annotations, which are hard to obtain. Therefore, the annotation process typically relies on automated recommendations of knowledge areas to validate. This case study provides an analysis of how these recommendations can impact the evaluation of expert finding systems. We demonstrate on a popular benchmark that system-validated annotations lead to overestimated performance of traditional term-based retrieval models and even invalidate comparisons with more recent neural methods. We also augment knowledge areas with synonyms to uncover a strong bias towards literal mentions of their constituent words. Finally, we propose constraints to the annotation process to prevent these biased evaluations, and show that this still allows annotation suggestions of high utility. These findings should inform benchmark creation or selection for expert finding, to guarantee meaningful comparison of methods.
• Abstract（参考訳）: 大きな組織では、特定のトピックについて専門家を特定することが、チームや部門にまたがる内部知識を活用する上で非常に重要です。 いわゆる企業専門家検索システムは、従業員とその作業に関する大量の異種データに基づいて、従業員の専門知識を自動的に発見し、構成する。 これらのシステムを評価するには、総合的な真理の専門家アノテーションが必要であるが、入手は困難である。 したがって、アノテーションのプロセスは一般的に、検証するために知識領域の自動化レコメンデーションに依存します。 このケーススタディでは、これらのレコメンデーションが専門家発見システムの評価に与える影響について分析する。 我々は、システム検証アノテーションが従来の用語ベースの検索モデルの性能過大評価につながり、より最近のニューラルメソッドとの比較を無効にする、という一般的なベンチマークを実証する。 また,同義語を用いた知識領域を拡大し,その構成語に対するリテラル言及に対する強い偏見を明らかにする。 最後に、これらのバイアス評価を防止するためにアノテーションプロセスに対する制約を提案し、高ユーティリティのアノテーション提案がまだ可能であることを示す。 これらの知見は,有意義な手法比較を保証するために,専門家発見のためのベンチマーク作成や選択を行う必要がある。

関連論文リスト

• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Designing an Interpretable Interface for Contextual Bandits [0.0]
  我々は,盗賊の根底にある振る舞いを説明するために,ドメインの専門家に新しいインターフェースを設計する。 技術的厳密さとアクセシブルなプレゼンテーションを慎重にバランスさせることで、非専門家に複雑な機械学習システムを管理する力を与えることが可能であることを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T15:47:44Z)
• The FIX Benchmark: Extracting Features Interpretable to eXperts [9.688218822056823]
  FIX(Features Interpretable to eXperts)は、機能の集合が専門家の知識とどの程度うまく一致しているかを測定するベンチマークである。 FIXScoreは、宇宙論、心理学、医学領域にまたがる多様な現実世界の設定に適用可能な、統一された専門家アライメント尺度である。
  論文  参考訳（メタデータ） (2024-09-20T17:53:03Z)
• Improving Retrieval in Theme-specific Applications using a Corpus Topical Taxonomy [52.426623750562335]
  ToTER (Topical Taxonomy Enhanced Retrieval) フレームワークを紹介する。 ToTERは、クエリとドキュメントの中心的なトピックを分類学のガイダンスで識別し、そのトピックの関連性を利用して、欠落したコンテキストを補う。 プラグイン・アンド・プレイのフレームワークとして、ToTERは様々なPLMベースのレトリバーを強化するために柔軟に使用できる。
  論文  参考訳（メタデータ） (2024-03-07T02:34:54Z)
• Causal Discovery with Language Models as Imperfect Experts [119.22928856942292]
  専門知識を用いて因果グラフの同定を改善する方法について検討する。 整合性に基づく専門家の知識を改良するための戦略を提案する。 本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
  論文  参考訳（メタデータ） (2023-07-05T16:01:38Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• A Comprehensive Overview of Recommender System and Sentiment Analysis [1.370633147306388]
  本稿では,レコメンデーションシステムと感情分析の活用を目指す研究者を支援するために,包括的概要を提供する。 これには、フェーズ、アプローチ、レコメンダシステムで使用されるパフォーマンスメトリクスなど、レコメンダシステムの概念の背景が含まれている。 次に、感情分析の概念について議論し、レベル、アプローチを含む感情分析の要点を強調し、アスペクトベースの感情分析に焦点を当てる。
  論文  参考訳（メタデータ） (2021-09-18T01:08:41Z)
• Human readable network troubleshooting based on anomaly detection and feature scoring [11.593495085674343]
  i) 時間領域における異常検出のための教師なし学習手法,(ii) 特徴空間における特徴のランク付けのための注意機構,(iii) 専門知識モジュールに基づくシステムを提案する。 本研究は, システム全体の性能と, 個々のビルディングブロックの性能を, 徹底的に評価する。
  論文  参考訳（メタデータ） (2021-08-26T14:20:36Z)
• Rethinking Search: Making Experts out of Dilettantes [55.90140165205178]
  情報を必要とする場合、ユーザは専門家と関わりたがるが、検索エンジンのような情報検索システムに目を向けることが多い。 本稿では,古典的情報検索と大規模学習済み言語モデルからアイデアをいかに合成し,専門家の助言の約束を真に果たすシステムへと進化させるかを検討する。
  論文  参考訳（メタデータ） (2021-05-05T18:40:00Z)
• Fairness-Aware Explainable Recommendation over Knowledge Graphs [73.81994676695346]
  ユーザのアクティビティのレベルに応じて異なるグループのユーザを分析し、異なるグループ間での推奨パフォーマンスにバイアスが存在することを確認する。 不活性なユーザは、不活性なユーザのためのトレーニングデータが不十分なため、不満足なレコメンデーションを受けやすい可能性がある。 本稿では、知識グラフに対する説明可能な推奨という文脈で、この問題を緩和するために再ランク付けすることで、公平性に制約されたアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-03T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。