論文の概要: Multi-Facet Counterfactual Learning for Content Quality Evaluation

• arxiv url: http://arxiv.org/abs/2410.07693v1
• Date: Thu, 10 Oct 2024 08:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:25:43.577169
• Title: Multi-Facet Counterfactual Learning for Content Quality Evaluation
• Title（参考訳）: コンテンツ品質評価のための多面対物学習
• Authors: Jiasheng Zheng, Hongyu Lin, Boxi Cao, Meng Liao, Yaojie Lu, Xianpei Han, Le Sun,
• Abstract要約: コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。 我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
• 参考スコア（独自算出の注目度）: 48.73583736357489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the quality of documents is essential for filtering valuable content from the current massive amount of information. Conventional approaches typically rely on a single score as a supervision signal for training content quality evaluators, which is inadequate to differentiate documents with quality variations across multiple facets. In this paper, we propose Multi-facet cOunterfactual LEarning (MOLE), a framework for efficiently constructing evaluators that perceive multiple facets of content quality evaluation. Given a specific scenario, we prompt large language models to generate counterfactual content that exhibits variations in critical quality facets compared to the original document. Furthermore, we leverage a joint training strategy based on contrastive learning and supervised learning to enable the evaluator to distinguish between different quality facets, resulting in more accurate predictions of content quality scores. Experimental results on 2 datasets across different scenarios demonstrate that our proposed MOLE framework effectively improves the correlation of document content quality evaluations with human judgments, which serve as a valuable toolkit for effective information acquisition.
• Abstract（参考訳）: ドキュメントの品質を評価することは、現在の膨大な情報から貴重なコンテンツをフィルタリングするのに不可欠である。 従来のアプローチでは、コンテンツ品質評価器を訓練するための監督信号として、1つのスコアを頼りにしており、複数の面にわたる品質変化のある文書を区別するには不十分である。 本稿では,コンテンツ品質評価の複数の面を知覚する評価器を効率的に構築するフレームワークであるMOLE(Multi-facet cOunterfactual LEarning)を提案する。 特定のシナリオを前提として,我々は大規模言語モデルに対して,原文書と比較して重要な品質面のバリエーションを示す反事実コンテンツを生成するよう促す。 さらに、コントラスト学習と教師付き学習に基づく共同学習戦略を活用し、評価者が異なる品質の面を区別できるようにし、コンテンツ品質スコアをより正確に予測する。 異なるシナリオにまたがる2つのデータセットの実験結果から,提案するMOLEフレームワークは,文書品質評価と人的判断との相関性を効果的に改善し,効果的な情報取得のための有用なツールキットとして機能することを示した。

関連論文リスト

• ARTICLE: Annotator Reliability Through In-Context Learning [18.818071256242327]
  自己整合性を通じてアノテーションの品質を推定する,コンテキスト内学習フレームワークであるtexttARTICLEを提案する。 この結果から,TexttARTICLEは信頼性の高いアノテータを識別する堅牢な手法として利用でき,データ品質が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-18T17:59:32Z)
• Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification [0.0]
  我々は,高品質試料を同定するために2乗検定を用い,低品質試料を用いて得られた試料と比較した。 これらの結果から, 高品質な試料の利用により, 評価指標のすべてに対して, 性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T12:47:43Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
  データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。 本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。 ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
  論文  参考訳（メタデータ） (2024-02-15T06:36:07Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study [63.27346930921658]
  ChatGPTは、参照なしで様々な視点からテキスト品質を効果的に評価することができる。 ChatGPTを用いてテキスト品質を測定するExplicit Scoreは、3つの手法の中で最も効果的で信頼性の高い方法である。
  論文  参考訳（メタデータ） (2023-04-03T05:29:58Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Cognitive Representation Learning of Self-Media Online Article Quality [24.084727302752377]
  セルフメディアオンライン記事は主にユーザによって作成され、異なるテキストレベルの外観特性とマルチモーダルハイブリッド編集が特徴である。 レイアウト構造, 特徴記述, テキスト意味論と組み合わせて, 共同モデルCoQANを構築した。 また,大規模な実世界評価データセットを構築した。
  論文  参考訳（メタデータ） (2020-08-13T02:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。