Fugu-MT 論文翻訳(概要): Content Moderation by LLM: From Accuracy to Legitimacy

論文の概要: Content Moderation by LLM: From Accuracy to Legitimacy

arxiv url: http://arxiv.org/abs/2409.03219v1
Date: Thu, 5 Sep 2024 03:33:54 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 21:57:04.969926
Title: Content Moderation by LLM: From Accuracy to Legitimacy
Title（参考訳）: LLMによるコンテンツモデレーション:正確性から合法性へ
Authors: Tao Huang,
Abstract要約: 論文は、正確さが不十分で誤解を招くのは、容易なケースと難しいケースの区別がつかめないからであると主張している。著者は、コンテンツモデレーションはプラットフォームガバナンスの一部であり、その鍵は正当性を獲得し、強化することだと主張している。
参考スコア（独自算出の注目度）: 4.249974621573213
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: One trending application of LLM (large language model) is to use it for content moderation in online platforms. Most current studies on this application have focused on the metric of accuracy - the extent to which LLM makes correct decisions about content. This article argues that accuracy is insufficient and misleading, because it fails to grasp the distinction between easy cases and hard cases as well as the inevitable trade-offs in achieving higher accuracy. Closer examination reveals that content moderation is a constitutive part of platform governance, the key of which is to gain and enhance legitimacy. Instead of making moderation decisions correct, the chief goal of LLM is to make them legitimate. In this regard, this article proposes a paradigm shift from the single benchmark of accuracy towards a legitimacy-based framework of evaluating the performance of LLM moderators. The framework suggests that for easy cases, the key is to ensure accuracy, speed and transparency, while for hard cases, what matters is reasoned justification and user participation. Examined under this framework, LLM's real potential in moderation is not accuracy improvement. Rather, LLM can better contribute in four other aspects: to conduct screening of hard cases from easy cases, to provide quality explanations for moderation decisions, to assist human reviewers in getting more contextual information, and to facilitate user participation in a more interactive way. Using normative theories from law and social sciences to critically assess the new technological application, this article seeks to redefine LLM's role in content moderation and redirect relevant research in this field.
Abstract（参考訳）: LLM(大規模言語モデル)のトレンドの1つは、オンラインプラットフォームにおけるコンテンツモデレーションに利用することである。このアプリケーションに関する最近の研究は、LLMがコンテンツについて正しい判断を下す程度である精度の指標に焦点を当てている。本論では, 難解なケースと難解なケースの区別や, 高い精度を達成するための必然的なトレードオフを把握できないため, 精度が不十分で誤解を招く。より綿密な調査により、コンテンツモデレーションはプラットフォームガバナンスを構成する部分であり、その鍵は正当性を獲得し、向上することであることが明らかになった。モデレーションの決定を正す代わりに、LLMの主な目標は、それらを合法化することです。本稿では,LLMモデレータの性能を評価するための正当性に基づくフレームワークに,単一の精度ベンチマークからパラダイムシフトを提案する。フレームワークは、簡単なケースでは、正確さ、スピード、透明性を保証するのが鍵であり、難しいケースでは、正当化とユーザの参加が重要となることを示唆している。この枠組みの下では、LLMのモデレーションの本当のポテンシャルは精度の向上ではない。 LLMは、簡単なケースからハードケースのスクリーニングを実行し、モデレーション決定のための品質説明を提供すること、コンテキスト情報を得るための人間レビュアーを支援すること、よりインタラクティブな方法でユーザ参加を促進すること、の4つの側面によりよい貢献をすることができます。法律・社会科学の規範的理論を用いて新たな技術応用を批判的に評価し、コンテンツモデレーションにおけるLLMの役割を再定義し、この分野の関連研究をリダイレクトする。

関連論文リスト

To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
論文参考訳（メタデータ） (2024-07-24T09:48:48Z)
TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
論文参考訳（メタデータ） (2024-07-06T07:19:30Z)
Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文参考訳（メタデータ） (2024-06-28T20:06:30Z)
CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文参考訳（メタデータ） (2024-05-20T14:34:01Z)
Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness [39.74642729786543]
我々は、現在の事実性向上手法は、大規模言語モデル(LLM)の文脈忠実性を著しく損なう可能性があると論じている。実験の結果、これらの手法は事実の正確性に矛盾する改善をもたらす可能性があるが、文脈不信感の低下も引き起こすことが明らかとなった。
論文参考訳（メタデータ） (2024-03-30T02:08:28Z)
Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
論文参考訳（メタデータ） (2024-02-28T17:29:27Z)
Don't Go To Extremes: Revealing the Excessive Sensitivity and Calibration Limitations of LLMs in Implicit Hate Speech Detection [29.138463029748547]
本稿では,暗黙のヘイトスピーチを検出し,その応答に自信を表現できる大規模言語モデルを提案する。 1) LLMは, 公平性問題を引き起こす可能性のあるグループやトピックに対して過度な感受性を示し, ヘイトスピーチとして良心的発言を誤分類する。
論文参考訳（メタデータ） (2024-02-18T00:04:40Z)
Best Practices for Text Annotation with Large Language Models [11.421942894219901]
LLM(Large Language Models)は、新しいテキストアノテーションの時代を担っている。本稿では, 信頼性, 再現性, 倫理的利用に関する包括的基準とベストプラクティスを提案する。
論文参考訳（メタデータ） (2024-02-05T15:43:50Z)
Alignment for Honesty [105.72465407518325]
最近の研究は、大きな言語モデル(LLM)を有用性と無害性と整合させることに大きく貢献している。本稿は,LLMが知識の欠如に積極的に回答を拒むことを確実にする,エンフォネストリーにおけるアライメントの重要性を論じる。これらの課題に対処するために、まずは正確な問題定義を確立し、儒教の分析に触発された「誠実さ」を定義します。
論文参考訳（メタデータ） (2023-12-12T06:10:42Z)
Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文参考訳（メタデータ） (2023-10-11T14:18:03Z)
Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。