論文の概要: Classifying Constructive Comments

• arxiv url: http://arxiv.org/abs/2004.05476v4
• Date: Wed, 5 Aug 2020 03:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 10:17:05.922545
• Title: Classifying Constructive Comments
• Title（参考訳）: 構成的コメントの分類
• Authors: Varada Kolhatkar, Nithum Thain, Jeffrey Sorensen, Lucas Dixon and Maite Taboada
• Abstract要約: 我々は12,000の注釈付きニュースコメントからなるコンストラクティブコメントコーパス(C3)を紹介した。 コンストラクティブコメントを,会話に寄与する高品質なコメントと定義する。 機能ベースと多種多様なディープラーニングアプローチを用いてC3で訓練された構成性のためのモデルを提供する。
• 参考スコア（独自算出の注目度）: 6.344765041827866
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce the Constructive Comments Corpus (C3), comprised of 12,000 annotated news comments, intended to help build new tools for online communities to improve the quality of their discussions. We define constructive comments as high-quality comments that make a contribution to the conversation. We explain the crowd worker annotation scheme and define a taxonomy of sub-characteristics of constructiveness. The quality of the annotation scheme and the resulting dataset is evaluated using measurements of inter-annotator agreement, expert assessment of a sample, and by the constructiveness sub-characteristics, which we show provide a proxy for the general constructiveness concept. We provide models for constructiveness trained on C3 using both feature-based and a variety of deep learning approaches and demonstrate that these models capture general rather than topic- or domain-specific characteristics of constructiveness, through domain adaptation experiments. We examine the role that length plays in our models, as comment length could be easily gamed if models depend heavily upon this feature. By examining the errors made by each model and their distribution by length, we show that the best performing models are less correlated with comment length.The constructiveness corpus and our experiments pave the way for a moderation tool focused on promoting comments that make a contribution, rather than only filtering out undesirable content.
• Abstract（参考訳）: 12,000の注釈付きニュースコメントからなるコンストラクティブコメントコーパス(c3)を導入することで、オンラインコミュニティが議論の質を向上させるための新しいツールを構築することを目的としています。 コンストラクティブコメントを,会話に寄与する高品質なコメントと定義する。 群集労働者のアノテーションスキームを説明し,構成性のサブ特性の分類を定義した。 アノテーションスキームの品質と得られたデータセットは、アノテーション間の合意、サンプルのエキスパートアセスメント、および構成性サブ特性を用いて評価され、一般的な構成性概念のプロキシを提供する。 我々はc3上で機能ベースとさまざまなディープラーニングアプローチを使って訓練された構築性モデルを提供し、これらのモデルが、ドメイン適応実験を通じて、トピックやドメイン固有の構築性の特徴よりもむしろ一般性を捉えることを実証する。 モデルがこの機能に大きく依存している場合、コメント長を簡単にゲームできるので、モデルで長さが果たす役割について検討する。 提案手法は,各モデルが犯した誤りと,その分布を長さで検証することにより,コメント長との相関性が低くなることを示す。構成性コーパスと実験は,好ましくないコンテンツだけをフィルタリングするのではなく,コメントを推奨するモデレーションツールへの道を開くものである。

関連論文リスト

• Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries [54.325172923155414]
  ミケランジェロ(Michelangelo)は、大規模言語モデルに対する最小限の、合成的で、未学習の長文推論評価である。 この評価は、任意に長いコンテキストに対する評価のための、新しく統一された枠組みによって導出される。
  論文  参考訳（メタデータ） (2024-09-19T10:38:01Z)
• Establishing a Unified Evaluation Framework for Human Motion Generation: A Comparative Analysis of Metrics [6.708543240320757]
  本稿では,人体動作生成のための8つの評価指標について詳細に検討する。 我々は一貫したモデル比較を容易にするため、統一的な評価設定を通じて標準化されたプラクティスを提案する。 変形する多様性を分析して時間歪みの多様性を評価する新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-05-13T12:10:57Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• Predicting Desirable Revisions of Evidence and Reasoning in Argumentative Writing [1.0878040851638]
  我々は,学生の議論的文章における望ましい証拠と望ましい推論の修正を分類するモデルを開発する。 本研究は,改訂のエッセイコンテキストと,改訂前の学生のフィードバックを用いて,パフォーマンスを改善するための2つの方法を検討する。 その結果,フィードバック情報を用いたモデルがベースラインモデルよりも改善する一方で,コンテキストを利用したモデルが望ましいリビジョンを特定する上で最も有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-10T03:59:59Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• A Focused Study on Sequence Length for Dialogue Summarization [68.73335643440957]
  既存のモデルの出力とそれに対応する人間の参照の長さの差を解析する。 モデル設定を比較し,要約長予測のための有能な特徴を同定する。 第3に,要約長を十分に組み込むことができれば,既存のモデルに顕著な改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-09-24T02:49:48Z)
• Aspect-Controllable Opinion Summarization [58.5308638148329]
  アスペクトクエリに基づいてカスタマイズした要約を生成する手法を提案する。 レビューコーパスを用いて、アスペクトコントローラで強化された(リビュー、サマリ)ペアの合成トレーニングデータセットを作成する。 合成データセットを用いて事前学習したモデルを微調整し、アスペクトコントローラを変更することでアスペクト固有の要約を生成する。
  論文  参考訳（メタデータ） (2021-09-07T16:09:17Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。