論文の概要: LLM Output Detectability and Task Performance Can be Jointly Optimized

• arxiv url: http://arxiv.org/abs/2605.01350v1
• Date: Sat, 02 May 2026 09:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.721009
• Title: LLM Output Detectability and Task Performance Can be Jointly Optimized
• Title（参考訳）: LLM出力検出性とタスク性能の同時最適化
• Abstract要約: PUPPETは大規模な言語モデルを微調整してテキストを生成するフレームワークである。 長期QA,要約,エッセイ作成実験の結果,PUPPETで訓練されたLPMは透かし法と競合する高い検出性が得られることがわかった。
• 参考スコア（独自算出の注目度）: 29.75569649982415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting machine-generated text is essential for transparency and accountability when deploying large language models (LLMs). Among detection approaches, watermarking is a statistically reliable method by design -- it embeds detectable signals into LLM outputs by biasing their token distributions. However, it has been reported that watermarked LLMs often perform worse on downstream tasks. We propose PUPPET, a framework that fine-tunes an LLM via reinforcement learning to generate text that is both more detectable and better performing on downstream tasks. We use two reward functions: a detector that outputs a machine-class likelihood and an evaluator that measures a task-specific metric. Experiments on long-form QA, summarization, and essay writing show that LLMs trained with PUPPET achieve high detectability competitive with watermarking methods while outperforming them on downstream tasks. The analysis shows that this optimization can be performed efficiently with only a few thousand samples in 1--2 GPU hours. Moreover, these gains are consistent across out-of-domain tasks, different LLM families, and model sizes, and are even robust to paraphrasing attacks.
• Abstract（参考訳）: 機械生成テキストの検出は、大きな言語モデル(LLM)をデプロイする際の透明性と説明責任に不可欠である。 検出アプローチの中で、ウォーターマーキングは設計による統計的に信頼性の高い手法であり、検出可能な信号をトークン分布をバイアスすることでLLM出力に埋め込む。 しかし、透かし付きLLMは下流のタスクでよく悪くなることが報告されている。 本稿では,LLMを強化学習により微調整するフレームワークであるPUPPETを提案する。 我々は2つの報酬関数を使う: 機械階級の確率を出力する検出器と、タスク固有の計量を測定する評価器である。 長文QA,要約,エッセイ作成実験により,PUPPETで訓練されたLCMは,下流タスクで性能を向上しつつ,透かし法と競合する高い検出性が得られることが示された。 解析の結果、この最適化は1～2GPU時間で数千のサンプルで効率的に実行できることがわかった。 さらに、これらのゲインはドメイン外のタスク、異なるLLMファミリー、モデルサイズで一貫性があり、パラフレーズ攻撃に対しても堅牢である。

関連論文リスト

• LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
  インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。 我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。 検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
  論文  参考訳（メタデータ） (2026-07-21T17:11:02Z)
• DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection [39.153744982595036]
  勾配のないテスト時間最適化手法である検出プロンプト最適化(DetPO)を提案する。 提案手法は,Roboflow20-VLおよびLVIS上の一般MLLMに対して一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2026-03-24T17:26:55Z)
• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
  大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。 コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
  論文  参考訳（メタデータ） (2025-07-22T13:40:26Z)
• Watermarking LLM-Generated Datasets in Downstream Tasks [26.31171813997747]
  大規模言語モデル(LLM)は、感情分類、レビュー生成、質問応答など幅広い分野にまたがる、急速な進歩を経験した。 効率性と汎用性のため、研究者や企業はモデルをトレーニングするためにLLM生成データをますます活用している。 LLMが生成したコンテンツを追跡できないことは大きな課題となり、LLM所有者の著作権侵害につながる可能性がある。 本研究では,LLM生成データセットに透かしを注入する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T13:51:49Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning [23.932500424117244]
  In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である 従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。 本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
  論文  参考訳（メタデータ） (2023-11-16T07:03:54Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。