論文の概要: LLM Output Detectability and Task Performance Can be Jointly Optimized

• arxiv url: http://arxiv.org/abs/2605.01350v1
• Date: Sat, 02 May 2026 09:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.721009
• Title: LLM Output Detectability and Task Performance Can be Jointly Optimized
• Title（参考訳）: LLM出力検出性とタスク性能の同時最適化
• Authors: Koshiro Saito, Ryuto Koike, Masahiro Kaneko, Naoaki Okazaki,
• Abstract要約: PUPPETは大規模な言語モデルを微調整してテキストを生成するフレームワークである。 長期QA,要約,エッセイ作成実験の結果,PUPPETで訓練されたLPMは透かし法と競合する高い検出性が得られることがわかった。
• 参考スコア（独自算出の注目度）: 29.75569649982415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting machine-generated text is essential for transparency and accountability when deploying large language models (LLMs). Among detection approaches, watermarking is a statistically reliable method by design -- it embeds detectable signals into LLM outputs by biasing their token distributions. However, it has been reported that watermarked LLMs often perform worse on downstream tasks. We propose PUPPET, a framework that fine-tunes an LLM via reinforcement learning to generate text that is both more detectable and better performing on downstream tasks. We use two reward functions: a detector that outputs a machine-class likelihood and an evaluator that measures a task-specific metric. Experiments on long-form QA, summarization, and essay writing show that LLMs trained with PUPPET achieve high detectability competitive with watermarking methods while outperforming them on downstream tasks. The analysis shows that this optimization can be performed efficiently with only a few thousand samples in 1--2 GPU hours. Moreover, these gains are consistent across out-of-domain tasks, different LLM families, and model sizes, and are even robust to paraphrasing attacks.
• Abstract（参考訳）: 機械生成テキストの検出は、大きな言語モデル(LLM)をデプロイする際の透明性と説明責任に不可欠である。 検出アプローチの中で、ウォーターマーキングは設計による統計的に信頼性の高い手法であり、検出可能な信号をトークン分布をバイアスすることでLLM出力に埋め込む。 しかし、透かし付きLLMは下流のタスクでよく悪くなることが報告されている。 本稿では,LLMを強化学習により微調整するフレームワークであるPUPPETを提案する。 我々は2つの報酬関数を使う: 機械階級の確率を出力する検出器と、タスク固有の計量を測定する評価器である。 長文QA,要約,エッセイ作成実験により,PUPPETで訓練されたLCMは,下流タスクで性能を向上しつつ,透かし法と競合する高い検出性が得られることが示された。 解析の結果、この最適化は1～2GPU時間で数千のサンプルで効率的に実行できることがわかった。 さらに、これらのゲインはドメイン外のタスク、異なるLLMファミリー、モデルサイズで一貫性があり、パラフレーズ攻撃に対しても堅牢である。

関連論文リスト

• Watermarking LLM-Generated Datasets in Downstream Tasks [26.31171813997747]
  大規模言語モデル(LLM)は、感情分類、レビュー生成、質問応答など幅広い分野にまたがる、急速な進歩を経験した。 効率性と汎用性のため、研究者や企業はモデルをトレーニングするためにLLM生成データをますます活用している。 LLMが生成したコンテンツを追跡できないことは大きな課題となり、LLM所有者の著作権侵害につながる可能性がある。 本研究では,LLM生成データセットに透かしを注入する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T13:51:49Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。