論文の概要: Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor

• arxiv url: http://arxiv.org/abs/2610.00197v1
• Date: Fri, 18 Sep 2026 20:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.394341
• Title: Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor
• Title（参考訳）: コメディック・フールズ・ゴールド:会話のうなり声の反省と対策
• Abstract要約: 2つのアプローチは、理解可能な驚きと予測された観客の娯楽を捉えることを目的としています。 埋め込みベースのサプライズ報酬は、単語シャッフルされた応答を、機知に富むものと同じくらい容易に受け入れる。 オーディエンスモデルの笑いは、どちらかの話者のメッセージで笑いの手がかりに弱い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate automated rewards for training language models in conversational humor, focusing on reward exploits and countermeasures. Two approaches aim to capture understandable surprise and predicted audience amusement. Controlled tests show that an embedding-based surprise reward accepts word-shuffled replies as readily as witty ones. A fluency filter detects the shuffles, but the combined reward also rejects some witty replies and fails further validation. An audience model's predicted laughter is instead vulnerable to laughter cues in either speaker's messages. Normalizing these cues across speakers blocks the covered attacks, although unmatched expressions remain exploitable. Three reinforcement-learning runs evaluate training with successive reward revisions. The final run improves the combined evaluation score by 0.0903 and reduces zero-score sessions by 40%, but its humor-specific improvement remains below our preregistered target. These findings illustrate a broader challenge for automated reward design: countermeasures must block exploitable shortcuts while preserving the behavior the reward was intended to encourage.
• Abstract（参考訳）: 会話のユーモアにおける言語モデルの学習における報酬の自動評価について検討し,報酬の活用と対策に焦点をあてた。 2つのアプローチは、理解可能な驚きと予測された観客の娯楽を捉えることを目的としています。 制御されたテストによると、埋め込みベースのサプライズ報酬は、単語シャッフルされた応答を、機知に富むものと同じくらい容易に受け入れる。 周波数フィルタはシャッフルを検出するが、組み合わせた報酬は微妙な応答も拒否し、さらなる検証に失敗する。 オーディエンスモデルの笑いは、どちらかの話者のメッセージで笑いの手がかりに弱い。 話者間でのこれらのキューの正規化は、カバーされた攻撃をブロックするが、マッチしない表現は引き続き悪用できる。 3つの強化学習は、連続的な報酬修正によるトレーニングを評価する。 最終結果は、総合評価スコアを0.0903改善し、ゼロスコアセッションを40%削減するが、そのユーモア固有の改善は、登録済みの目標より低いままである。 これらの知見は、自動報酬設計の幅広い課題を示している: 対策は、その報酬を奨励する行動を保存する一方で、悪用可能なショートカットをブロックしなければならない。

関連論文リスト

• Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks [8.249133191294703]
  内部安全スコアは、テキストが生成される前にプロンプトを判断する。 間違った量を測定するスコアに調整されたフィルターは、いずれにせよ失敗した攻撃に対して偽陽性の予算を費やす。 固定コンテンツ独立計測座標を提供するアクティブアテンション・プロービングを導入する。
  論文  参考訳（メタデータ） (2026-08-10T14:05:32Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Information-Theoretic Reward Decomposition for Generalizable RLHF [51.550547285296794]
  我々は報酬値を2つの独立したコンポーネントに分解する。 提案手法は,データサンプルを不利な報酬値に基づいて優先順位付けすることで,新たな報酬学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-08T13:26:07Z)
• Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
  我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。 本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。 我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
  論文  参考訳（メタデータ） (2025-01-30T23:41:40Z)
• Backdoor Attacks on Dense Retrieval via Public and Unintentional Triggers [46.19574403393449]
  本稿では,攻撃者が検索システムを誤認して攻撃者の特定内容を検索する新たな攻撃シナリオについて検討する。 これらのコンテンツは、攻撃者によって検索コーパスに注入され、ヘイトスピーチやスパムのような有害なテキストを含むことができる。 モデル重みに頼り、顕著で不自然な出力を生成する従来の手法とは異なり、文法エラーによって引き起こされる隠れたバックドア攻撃を提案する。
  論文  参考訳（メタデータ） (2024-02-21T05:03:07Z)
• Reward Collapse in Aligning Large Language Models [73.78408135192471]
  著者らは,ランキングに基づくアプローチがテキストの報酬分布をもたらす経験的観察である「テクストトレワード崩壊現象」について検討した。 実験結果から,提案手法により,報酬モデルのトレーニングにおいて,報酬の崩壊が著しく軽減されることが示唆された。
  論文  参考訳（メタデータ） (2023-05-28T02:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。