論文の概要: From Ground Trust to Truth: Disparities in Offensive Language Judgments on Contemporary Korean Political Discourse

• arxiv url: http://arxiv.org/abs/2509.14712v1
• Date: Thu, 18 Sep 2025 07:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.113889
• Title: From Ground Trust to Truth: Disparities in Offensive Language Judgments on Contemporary Korean Political Discourse
• Title（参考訳）: 地上信頼から真実へ:現代朝鮮政治談話における攻撃的言語判断の相違
• Authors: Seunguk Yu, Jungmin Yun, Jinhee Jang, Youngbin Kim,
• Abstract要約: 本研究は、現代政治談話の大規模なデータセットを構築し、真理を欠いた3つの洗練された判断を用いた。 我々は,各判断の異なるパターンを特定し,離脱戦略を用いてラベル合意の傾向を示した。 これは、本質的な制約のある現実世界の設定に適用可能なアプローチを示唆している。
• 参考スコア（独自算出の注目度）: 19.382948880868522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although offensive language continually evolves over time, even recent studies using LLMs have predominantly relied on outdated datasets and rarely evaluated the generalization ability on unseen texts. In this study, we constructed a large-scale dataset of contemporary political discourse and employed three refined judgments in the absence of ground truth. Each judgment reflects a representative offensive language detection method and is carefully designed for optimal conditions. We identified distinct patterns for each judgment and demonstrated tendencies of label agreement using a leave-one-out strategy. By establishing pseudo-labels as ground trust for quantitative performance assessment, we observed that a strategically designed single prompting achieves comparable performance to more resource-intensive methods. This suggests a feasible approach applicable in real-world settings with inherent constraints.
• Abstract（参考訳）: 攻撃的言語は時間とともに進化し続けるが、最近のLLMを用いた研究でさえ、時代遅れのデータセットに大きく依存しており、目に見えないテキストの一般化能力を評価することはめったにない。 本研究では,現代政治談話の大規模データセットを構築し,基礎的真理の欠如を理由として3つの精密な判断を行った。 各判断は、代表的攻撃的言語検出法を反映し、最適条件のために慎重に設計される。 我々は,各判断の異なるパターンを特定し,離脱戦略を用いてラベル合意の傾向を示した。 定量的性能評価のための地上信頼として擬似ラベルを確立することにより,戦略的に設計された単一プロンプトが,より資源集約的な手法に匹敵する性能を達成できることを示した。 これは、本質的な制約のある現実世界の設定に適用可能なアプローチを示唆している。

関連論文リスト

• BIPOLAR: Polarization-based granular framework for LLM bias evaluation [0.0]
  本研究では,大規模言語モデルにおける偏光関連バイアスを評価するために,再利用性,粒度,トピックに依存しないフレームワークを提案する。 我々のアプローチは、偏極感性感情メトリクスと、競合関連文の合成的に生成されたバランスの取れたデータセットを組み合わせる。 ケーススタディでは、ロシアとウクライナの戦争に焦点を当てた合成データセットを作成し、いくつかのLSMのバイアスを評価した。
  論文  参考訳（メタデータ） (2025-08-14T20:44:19Z)
• Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement [22.992484902761994]
  本研究では,攻撃言語検出における多言語モデル(LLM)の性能を系統的に評価する。 本研究では,二項分類の精度を分析し,モデル信頼度と人的不一致度の関係を検証し,不一致サンプルがモデル決定にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:14:26Z)
• Uncovering Biases with Reflective Large Language Models [2.5200794639628032]
  人間のラベル付きデータのバイアスとエラーは、機械学習にとって重要な課題である。 本稿では,多種多様な視点を明らかにするために,構造化逆対話を利用した反射型LLM対話フレームワーク RLDF を提案する。 実験の結果、RDDFは人間のラベル付きデータの制限を露呈しながら、公開コンテンツの潜在的なバイアスを特定することに成功した。
  論文  参考訳（メタデータ） (2024-08-24T04:48:32Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation [71.72465617754553]
  対象中心の3次元空間関係を伝達する低レベルな文を生成し,これらを追加言語として組み込んで,深度推定における下流の影響を評価する。 我々の重要な発見は、現在の言語誘導深度推定器がシーンレベルの記述のみを最適に実行することである。 追加データを活用するにもかかわらず、これらの手法は敵の直接攻撃や分散シフトの増加に伴う性能低下に対して堅牢ではない。
  論文  参考訳（メタデータ） (2024-04-12T15:35:20Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• Distributionally Robust Batch Contextual Bandits [20.667213458836734]
  歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。 既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。 本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-10T03:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。