論文の概要: From Ground Trust to Truth: Disparities in Offensive Language Judgments on Contemporary Korean Political Discourse

• arxiv url: http://arxiv.org/abs/2509.14712v1
• Date: Thu, 18 Sep 2025 07:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.113889
• Title: From Ground Trust to Truth: Disparities in Offensive Language Judgments on Contemporary Korean Political Discourse
• Title（参考訳）: 地上信頼から真実へ:現代朝鮮政治談話における攻撃的言語判断の相違
• Authors: Seunguk Yu, Jungmin Yun, Jinhee Jang, Youngbin Kim,
• Abstract要約: 本研究は、現代政治談話の大規模なデータセットを構築し、真理を欠いた3つの洗練された判断を用いた。 我々は,各判断の異なるパターンを特定し,離脱戦略を用いてラベル合意の傾向を示した。 これは、本質的な制約のある現実世界の設定に適用可能なアプローチを示唆している。
• 参考スコア（独自算出の注目度）: 19.382948880868522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although offensive language continually evolves over time, even recent studies using LLMs have predominantly relied on outdated datasets and rarely evaluated the generalization ability on unseen texts. In this study, we constructed a large-scale dataset of contemporary political discourse and employed three refined judgments in the absence of ground truth. Each judgment reflects a representative offensive language detection method and is carefully designed for optimal conditions. We identified distinct patterns for each judgment and demonstrated tendencies of label agreement using a leave-one-out strategy. By establishing pseudo-labels as ground trust for quantitative performance assessment, we observed that a strategically designed single prompting achieves comparable performance to more resource-intensive methods. This suggests a feasible approach applicable in real-world settings with inherent constraints.
• Abstract（参考訳）: 攻撃的言語は時間とともに進化し続けるが、最近のLLMを用いた研究でさえ、時代遅れのデータセットに大きく依存しており、目に見えないテキストの一般化能力を評価することはめったにない。 本研究では,現代政治談話の大規模データセットを構築し,基礎的真理の欠如を理由として3つの精密な判断を行った。 各判断は、代表的攻撃的言語検出法を反映し、最適条件のために慎重に設計される。 我々は,各判断の異なるパターンを特定し,離脱戦略を用いてラベル合意の傾向を示した。 定量的性能評価のための地上信頼として擬似ラベルを確立することにより,戦略的に設計された単一プロンプトが,より資源集約的な手法に匹敵する性能を達成できることを示した。 これは、本質的な制約のある現実世界の設定に適用可能なアプローチを示唆している。

関連論文リスト

• BIPOLAR: Polarization-based granular framework for LLM bias evaluation [0.0]
  本研究では,大規模言語モデルにおける偏光関連バイアスを評価するために,再利用性,粒度,トピックに依存しないフレームワークを提案する。 我々のアプローチは、偏極感性感情メトリクスと、競合関連文の合成的に生成されたバランスの取れたデータセットを組み合わせる。 ケーススタディでは、ロシアとウクライナの戦争に焦点を当てた合成データセットを作成し、いくつかのLSMのバイアスを評価した。
  論文  参考訳（メタデータ） (2025-08-14T20:44:19Z)
• Evaluating Style-Personalized Text Generation: Challenges and Directions [13.84471733325089]
  スタイルのパーソナライゼーションは、すべてのユーザに対して非常に具体的であり、実用的コンテキストに強く依存する。 BLEU, 埋め込み, LLMs-as-judgesなど, この分野で最も一般的な測定値の有効性について検討した。 多様な評価指標のアンサンブルを用いることで、単一評価手法よりも一貫して優れているという強い証拠が得られます。
  論文  参考訳（メタデータ） (2025-08-08T15:07:31Z)
• Is LLM an Overconfident Judge? Unveiling the Capabilities of LLMs in Detecting Offensive Language with Annotation Disagreement [22.992484902761994]
  本研究では,攻撃言語検出における多言語モデル(LLM)の性能を系統的に評価する。 本研究では,二項分類の精度を分析し,モデル信頼度と人的不一致度の関係を検証し,不一致サンプルがモデル決定にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:14:26Z)
• Uncovering Biases with Reflective Large Language Models [2.5200794639628032]
  人間のラベル付きデータのバイアスとエラーは、機械学習にとって重要な課題である。 本稿では,多種多様な視点を明らかにするために,構造化逆対話を利用した反射型LLM対話フレームワーク RLDF を提案する。 実験の結果、RDDFは人間のラベル付きデータの制限を露呈しながら、公開コンテンツの潜在的なバイアスを特定することに成功した。
  論文  参考訳（メタデータ） (2024-08-24T04:48:32Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• On the Robustness of Language Guidance for Low-Level Vision Tasks: Findings from Depth Estimation [71.72465617754553]
  対象中心の3次元空間関係を伝達する低レベルな文を生成し,これらを追加言語として組み込んで,深度推定における下流の影響を評価する。 我々の重要な発見は、現在の言語誘導深度推定器がシーンレベルの記述のみを最適に実行することである。 追加データを活用するにもかかわらず、これらの手法は敵の直接攻撃や分散シフトの増加に伴う性能低下に対して堅牢ではない。
  論文  参考訳（メタデータ） (2024-04-12T15:35:20Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• Semantics-Preserved Distortion for Personal Privacy Protection in Information Management [65.08939490413037]
  本稿では,意味的整合性を維持しつつテキストを歪ませる言語学的アプローチを提案する。 本稿では, 意味保存歪みの枠組みとして, 生成的アプローチと置換的アプローチの2つを提示する。 また、特定の医療情報管理シナリオにおけるプライバシ保護についても検討し、機密データの記憶を効果的に制限していることを示す。
  論文  参考訳（メタデータ） (2022-01-04T04:01:05Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Agreeing to Disagree: Annotating Offensive Language Datasets with Annotators' Disagreement [7.288480094345606]
  我々は、アノテータ間の合意のレベルに着目し、攻撃的な言語データセットを作成するためにデータを選択する。 本研究は、異なるトピックをカバーする英語ツイートの3つの新しいデータセットを作成することを含む。 合意の低さがあるような難しいケースは、必ずしも品質の悪いアノテーションによるものではないことを示す。
  論文  参考訳（メタデータ） (2021-09-28T08:55:04Z)
• Distributionally Robust Batch Contextual Bandits [20.667213458836734]
  歴史的観測データを用いた政策学習は、広く応用されている重要な問題である。 既存の文献は、学習方針が展開される将来の環境が過去の環境と同じである、という決定的な前提に基づいている。 本稿では、この仮定を引き上げ、不完全な観測データを用いて、分布的に堅牢なポリシーを学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-10T03:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。