論文の概要: DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs

• arxiv url: http://arxiv.org/abs/2608.26119v1
• Date: Thu, 18 Jun 2026 15:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.350736
• Title: DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs
• Title（参考訳）: DeflectBench: LLMの修辞的誤り発生評価ベンチマーク
• Abstract要約: 3つの偏向戦略で4つのフロンティアモデルから23,990世代を評価する。 請求1件の拒絶は、80件の請求のうち11ポイントしか変わっていない。 1つのプロンプトフレームの変更は、モデル拒絶の中で100ポイント近くスイングすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether large language models can be prompted to generate rhetorical fallacies on demand, and whether current safety post-training constrains this behavior, has received less attention than the related question of detecting fallacies in existing text. We close this gap with DeflectBench, evaluating 23,990 generations from four frontier models across three deflection strategies (whataboutism, ad hominem, red herring), seven prompt framings, and 80 claims spanning four controversy levels. Refusal is governed primarily by request structure rather than claim content. Per claim refusal varies by only 11 percentage points across the 80 claims, while a single prompt frame change can swing within model refusal by nearly 100 percentage points and switching the requested fallacy type can swing it by over 80 percentage points within explicit framings. An educational debate coach prompt framing collapses refusal to near zero across all four model families, but the bypassed behavior is not clean compliance. Models typically produce labeled compliance, naming the requested manipulation in the same response that contains it. The four models distribute differently across refusal, labeled compliance, soft refusal, and clean compliance. The code and dataset are released at https://github.com/ArtKanke/DeflectBench.
• Abstract（参考訳）: 大規模言語モデルが要求に対する修辞的誤字を発生させることができるか,また,現在行われているトレーニング後の行動に制約があるかは,既存のテキストにおける誤字を検出するための関連する問題よりも注目されていない。 私たちはDeflectBenchとこのギャップを埋めて、3つの偏向戦略(アバウトリズム、アドホミネム、レッドハーリング)にわたる4つのフロンティアモデルから23,990世代の評価を行い、7つのプロンプトフレーミング、そして4つの論争レベルにまたがる80のクレームを評価しました。 拒絶は主にクレームの内容ではなく要求構造によって管理される。 クレームごとの拒絶は80のクレームで11ポイントしか変化せず、一方1つのプロンプトフレームの変更はモデル拒絶を100ポイント近く変更でき、要求された誤認タイプを明示的なフレーミングで80ポイント以上変更することができる。 教育討論のコーチは、4つのモデルファミリーすべてでフレーミング崩壊がほぼゼロに拒否されるよう促すが、バイパスされた行動はクリーンなコンプライアンスではない。 モデルは通常、ラベル付きコンプライアンスを生成し、要求された操作をそれを含む同じレスポンスに命名する。 4つのモデルは、拒絶、ラベル付きコンプライアンス、ソフトな拒絶、クリーンなコンプライアンスに分散している。 コードとデータセットはhttps://github.com/ArtKanke/DeflectBench.orgで公開されている。

関連論文リスト

• RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
  厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。 18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
  論文  参考訳（メタデータ） (2026-05-20T09:53:31Z)
• Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
  本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。 単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。 これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
  論文  参考訳（メタデータ） (2026-05-12T06:58:35Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• Blind Refusal: Language Models Refuse to Help Users Evade Unjust, Absurd, and Illegitimate Rules [0.1753733541634709]
  安全訓練された言語モデルは規則を回避するための要求を定期的に拒否する。 本稿では,言語モデルがルールを破る助けを求める要求を拒否する傾向について考察する。 モデルが敗れたルール要求の75.4%を拒否し、その要求が独立した安全や二重利用の懸念を起こさない場合でも、そうすることを発見した。
  論文  参考訳（メタデータ） (2026-04-03T13:53:23Z)
• No One Size Fits All: QueryBandits for Hallucination Mitigation [27.117502300924183]
  我々は、最適なクエリ-リライト戦略を選択するために、オンラインを適応的に学習する、モデルに依存しないコンテキスト・バンディットフレームワークであるQueryBanditsを紹介した。 すべてのクエリに最適な書き直しポリシーは存在しないことを示す。 また、ある静的ポリシーはNo-Rewriteよりも累積的後悔を招き、非フレキシブルなクエリ書き換えポリシーは幻覚を悪化させる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-02-23T20:28:48Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。