論文の概要: ELF22: A Context-based Counter Trolling Dataset to Combat Internet
Trolls
- arxiv url: http://arxiv.org/abs/2208.00176v2
- Date: Tue, 2 Aug 2022 04:43:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 11:08:28.766977
- Title: ELF22: A Context-based Counter Trolling Dataset to Combat Internet
Trolls
- Title(参考訳): ELF22:インターネットトロルに悪影響を与えるコンテキストベースのカウンタトラリングデータセット
- Authors: Huije Lee, Young Ju NA, Hoyun Song, Jisu Shin, Jong C. Park
- Abstract要約: 本稿では,自動応答生成のための新しいデータセットを提案する。
特に,ラベル付き応答戦略を用いたトロルコメントと対応応答を含むペアワイズデータセットを構築した。
提案するデータセットに微調整したモデルでは,戦略制御文生成の性能が大幅に向上していることが実証された。
- 参考スコア(独自算出の注目度): 0.23624125155742054
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Online trolls increase social costs and cause psychological damage to
individuals. With the proliferation of automated accounts making use of bots
for trolling, it is difficult for targeted individual users to handle the
situation both quantitatively and qualitatively. To address this issue, we
focus on automating the method to counter trolls, as counter responses to
combat trolls encourage community users to maintain ongoing discussion without
compromising freedom of expression. For this purpose, we propose a novel
dataset for automatic counter response generation. In particular, we
constructed a pair-wise dataset that includes troll comments and counter
responses with labeled response strategies, which enables models fine-tuned on
our dataset to generate responses by varying counter responses according to the
specified strategy. We conducted three tasks to assess the effectiveness of our
dataset and evaluated the results through both automatic and human evaluation.
In human evaluation, we demonstrate that the model fine-tuned on our dataset
shows a significantly improved performance in strategy-controlled sentence
generation.
- Abstract(参考訳): オンライントロルは社会的コストを高め、個人に心理的損害を与える。
ボットをトロールに利用する自動アカウントの急増に伴い、個々の利用者が定量的かつ質的に状況を処理することは困難である。
この問題に対処するため,戦闘トロルに対する対応として,表現の自由を損なうことなく,コミュニティユーザによる議論の継続を促すため,トラル対策の自動化に重点を置いている。
そこで本研究では,自動応答生成のための新しいデータセットを提案する。
特に,ラベル付き応答戦略によるトロルコメントとカウンター応答を含むペアワイズデータセットを構築し,そのモデルに微調整したモデルに対して,所定の戦略に従ってカウンター応答を可変させることで応答を生成する。
データセットの有効性を評価するために3つのタスクを実施し,自動評価と人的評価の両面で結果を評価した。
人的評価において,我々のデータセットに微調整されたモデルでは,戦略制御文生成の性能が大幅に向上することが示されている。
関連論文リスト
- Towards Effective Counter-Responses: Aligning Human Preferences with Strategies to Combat Online Trolling [9.598920004159696]
本研究では,異なる種類のトロリング行動に合わせた戦略を人間が好んでいるかを検討する。
本稿では,適切なRSを推奨することでトロルに対する反応答を生成する手法を提案する。
実験の結果,提案手法は建設的議論をガイドし,トロルの負の効果を低減させることを示した。
論文 参考訳(メタデータ) (2024-10-05T14:01:52Z) - Self-Improving Customer Review Response Generation Based on LLMs [1.9274286238176854]
SCRABLEは、自己最適化プロンプトによって自己向上する、適応的な顧客レビュー応答自動化である。
顧客レビュー領域で発生する応答の質を評価するために,人間評価者の役割を模倣する自動スコアリング機構を導入する。
論文 参考訳(メタデータ) (2024-05-06T20:50:17Z) - Decoding the Silent Majority: Inducing Belief Augmented Social Graph
with Large Language Model for Response Forecasting [74.68371461260946]
SocialSenseは、既存のソーシャルネットワーク上に信念中心のグラフを誘導するフレームワークであり、グラフベースの伝播によって社会的ダイナミクスを捉える。
本手法は,ゼロショット設定と教師あり設定の両方に対する実験的な評価において,既存の最先端技術を超えている。
論文 参考訳(メタデータ) (2023-10-20T06:17:02Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。
提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。
これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
論文 参考訳(メタデータ) (2023-05-25T21:01:00Z) - Boosting Distress Support Dialogue Responses with Motivational
Interviewing Strategy [4.264192013842096]
いくつかの応答型が、より MI に固執した形式に書き換えられるかを示す。
We build several rephrasers by fine-tuning Blender and GPT3 to rephrasers MI non-adherent "Advise without permission" response to "Advise with permission"
論文 参考訳(メタデータ) (2023-05-17T13:18:28Z) - A Systematic Evaluation of Response Selection for Open Domain Dialogue [36.88551817451512]
同じダイアログで生成された複数の応答生成元からの応答を、適切な(正)と不適切な(負)として手動でアノテートするデータセットをキュレートした。
反応選択のための最先端手法の体系的評価を行い、複数の正の候補を用いたり、手動で検証された強陰性候補を用いたりすることで、それぞれRecall@1スコアの3%と13%の増加など、相手のトレーニングデータを用いた場合と比較して、大幅な性能向上が期待できることを示す。
論文 参考訳(メタデータ) (2022-08-08T19:33:30Z) - What is wrong with you?: Leveraging User Sentiment for Automatic Dialog
Evaluation [73.03318027164605]
本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。
本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
論文 参考訳(メタデータ) (2022-03-25T22:09:52Z) - Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。
我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。
我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-09-15T10:50:05Z) - The World is Not Binary: Learning to Rank with Grayscale Data for
Dialogue Response Selection [55.390442067381755]
人間の努力なしに、グレースケールのデータを自動的に構築できることが示される。
本手法では,自動グレースケールデータ生成装置として,市販の応答検索モデルと応答生成モデルを用いる。
3つのベンチマークデータセットと4つの最先端マッチングモデルの実験は、提案手法が大幅に、一貫したパフォーマンス改善をもたらすことを示している。
論文 参考訳(メタデータ) (2020-04-06T06:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。