論文の概要: Comment Ranking Diversification in Forum Discussions

• arxiv url: http://arxiv.org/abs/2002.12457v1
• Date: Thu, 27 Feb 2020 21:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 09:09:50.564072
• Title: Comment Ranking Diversification in Forum Discussions
• Title（参考訳）: フォーラムディスカッションにおけるコメントランキングの多様化
• Authors: Curtis G. Northcutt, Kimberly A. Leon, Naichun Chen
• Abstract要約: コメントがほぼランク付けされたコメントのセマンティックな類似性を調整することなく順序付けされたスコアでランク付けされる場合、上位ランク付けされたコメントは、多数意見と不適切な冗長性を強調する傾向にある。 MMR(Maximal Marginal Relevance)を用いたトップKコメントの多様化モデルを提案する。 その結果,オンラインディスカッションフォーラムの上位K人の中で,(1)多様化,(2)包摂,(3)冗長性の向上が示唆された。
• 参考スコア（独自算出の注目度）: 4.511923587827301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Viewing consumption of discussion forums with hundreds or more comments depends on ranking because most users only view top-ranked comments. When comments are ranked by an ordered score (e.g. number of replies or up-votes) without adjusting for semantic similarity of near-ranked comments, top-ranked comments are more likely to emphasize the majority opinion and incur redundancy. In this paper, we propose a top K comment diversification re-ranking model using Maximal Marginal Relevance (MMR) and evaluate its impact in three categories: (1) semantic diversity, (2) inclusion of the semantics of lower-ranked comments, and (3) redundancy, within the context of a HarvardX course discussion forum. We conducted a double-blind, small-scale evaluation experiment requiring subjects to select between the top 5 comments of a diversified ranking and a baseline ranking ordered by score. For three subjects, across 100 trials, subjects selected the diversified (75% score, 25% diversification) ranking as significantly (1) more diverse, (2) more inclusive, and (3) less redundant. Within each category, inter-rater reliability showed moderate consistency, with typical Cohen-Kappa scores near 0.2. Our findings suggest that our model improves (1) diversification, (2) inclusion, and (3) redundancy, among top K ranked comments in online discussion forums.
• Abstract（参考訳）: 数百以上のコメントを持つディスカッションフォーラムの閲覧は、トップランクのコメントしか見ることができないため、ランキングに依存する。 コメントが順序付きスコア(リプライ数やアップボイト数など)でランク付けされた場合、ほぼランク付けされたコメントのセマンティックな類似性を調整することなく、トップランクのコメントは多数意見と冗長性を強調する傾向にある。 本稿では,MMR(Maximal Marginal Relevance)を用いたトップKコメントの再分類モデルを提案し,その影響を(1)意味的多様性,(2)下級コメントの意味論の含意,(3)冗長性の3つのカテゴリで評価する。 本研究は,多彩度ランキングの上位5点と得点順の基準ランクの2点を被験者が選択することを目的とした,二重盲検小規模評価実験を行った。 対象者は,100の試験において,多変量化(75%,25%の多変量化)を,(1)多変量化,(2)包括的化,(3)冗長度低下の順に選択した。 各カテゴリの信頼性は中等度で,典型的なコーエンカッパスコアは0.2。 その結果,(1)多様化,(2)包括性,(3)冗長性が改善され,オンラインディスカッションフォーラムの上位kランクのコメントの中で評価された。

関連論文リスト

• AGRaME: Any-Granularity Ranking with Multi-Vector Embeddings [53.78802457488845]
  我々は,多ベクトル埋め込みを利用して粒度の異なるレベルにランク付けする,任意の粒度ランキングの考え方を紹介した。 検索強化世代におけるポストホック励振付加への命題レベルのランク付けの適用を実証する。
  論文  参考訳（メタデータ） (2024-05-23T20:04:54Z)
• Hybrid moderation in the newsroom: Recommending featured posts to content moderators [1.8122816058828908]
  特集記事の選択においてモデレーターを支援・強化するためのランキングクラス確率に基づく推薦システムを提案する。 検証項目の集合に対して,0.87のNDCG@5の最適平均値を観察した。 まず、テキスト機能を追加すると、最高のスコアが得られ、次に、フィーチャーコンテンツを選択することは、ある程度主観的だ、と結論付けます。
  論文  参考訳（メタデータ） (2023-07-14T12:51:12Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Stay on Topic, Please: Aligning User Comments to the Content of a News Article [7.3203631241415055]
  新たな記事ベースに投稿されたユーザコメントとその内容との整合性を分類する分類アルゴリズムを提案する。 このアライメントは、コンテンツ、議論のエンティティ、トピック間の類似性に基づいて、ユーザーコメントと記事とを一致させようとする。 分類作業の難易度を理解するために,人間のラベル付け性能を評価するためのユーザ調査を行う。
  論文  参考訳（メタデータ） (2021-03-03T18:29:00Z)
• Abstractive Opinion Tagging [65.47649273721679]
  eコマースでは、意見タグは、アイテムのレビューの特徴を反映したEコマースプラットフォームが提供するタグのランクリストを指す。 意見タグを生成するための現在のメカニズムは、手作業またはラベル付け方法に依存します。 AOT-Net と呼ばれる抽象的な意見タグフレームワークを提案し、多数のレビューからランク付けされた意見タグのリストを生成します。
  論文  参考訳（メタデータ） (2021-01-18T05:08:15Z)
• User Fairness, Item Fairness, and Diversity for Rankings in Two-Sided Markets [28.537935838669423]
  ユーザフェアネス、アイテムフェアネス、多様性は根本的に異なる概念であることを示す。 3つのデシラタを明示的に強制する最初のランク付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-04T02:53:09Z)
• A Robust Reputation-based Group Ranking System and its Resistance to Bribery [8.300507994596416]
  マルチパートレーティングワークを利用した評価に基づく新しいランキングシステムを提案する。 贈賄に対する抵抗性と最適な贈賄戦略の設計方法について検討する。
  論文  参考訳（メタデータ） (2020-04-13T22:28:29Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。