Fugu-MT 論文翻訳(概要): Learning to Follow In-Context Watermark Instructions via Self-Distillation

論文の概要: Learning to Follow In-Context Watermark Instructions via Self-Distillation

arxiv url: http://arxiv.org/abs/2608.29030v1
Date: Sat, 29 Aug 2026 03:42:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.821651
Title: Learning to Follow In-Context Watermark Instructions via Self-Distillation
Title（参考訳）: 自己蒸留によるインテクスト透かし指導の学習
Abstract要約: In-context Watermarking (ICW) は、モデルに統計的に検出可能な信号をその応答に埋め込むよう要求するクエリへの命令をプリペイドする。我々は、3つの検証可能なICW命令ファミリのベンチマークである$mathsfICWBench$を導入し、それぞれが検出性と応答品質の両方にスコア付けする。本研究では,より強いモデルからの蒸留を必要とせず,手動のアノテーションも必要とせず,既存のICW IF能力も必要としない自己完結型2段階訓練法を提案する。
参考スコア（独自算出の注目度）: 117.19153619258644
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In-context watermarking (ICW) prepends an instruction to a query asking the model to embed a statistically detectable signal in its response. It thus equips LLMs with a watermarking interface that third parties can invoke without access to model internals. Its reliability hinges on the LLM following the instruction without degrading answer quality, yet how well current LLMs do so has not been measured. We introduce $\mathsf{ICWBench}$, a benchmark of three verifiable ICW instruction families, each scored on both detectability and answer quality. Evaluating 14 frontier proprietary and open-source LLMs, we find that none of the evaluated LLMs achieves both objectives across all three families. To address this, we propose a self-contained two-stage training method, requiring no distillation from a stronger model, no manual annotation, and no pre-existing ICW IF ability. The first stage, self-distillation with logits perturbation (SDLP), uses the same base LLM as both teacher and student: an instruction-equivalent decoding-time logits perturbation makes the teacher follow the ICW instruction, and the student is trained to match the teacher's output distribution. The second stage applies reinforcement learning with the automatic verifier as the reward. Applied to Qwen3-14B and GPT-OSS-20B, our method raises average TPR@$1\%$FPR across three ICW instructions from $0.100$ to $0.974$ and from $0.337$ to $0.968$, respectively, while maintaining high response quality under both perplexity evaluation and LLM-as-a-Judge.
Abstract（参考訳）: In-context Watermarking (ICW) は、モデルに統計的に検出可能な信号をその応答に埋め込むよう要求するクエリへの命令をプリペイドする。これにより、LLMには、サードパーティがモデル内部にアクセスせずに呼び出すことのできる透かしインターフェースが備わっている。その信頼性は、回答の品質を低下させることなく、LLMの指示に従っているが、現在のLLMの精度は測定されていない。我々は3つの検証可能なICW命令ファミリのベンチマークである$\mathsf{ICWBench}$を導入し、それぞれが検出性と応答品質の両方でスコア付けする。 14のフロンティアプロプライエタリおよびオープンソース LLM を評価すると、評価された LLM はいずれも3つのファミリーで目的を達成できないことがわかった。そこで本研究では,より強いモデルからの蒸留を必要とせず,手動のアノテーションを必要とせず,既存のICW IF能力も必要としない,自己完結型2段階訓練法を提案する。最初の段階であるSDLP (Self-distillation with logits perturbation) は、教師と生徒の双方で同じベースLLMを使用している。第2段階では、自動検証器を報酬として強化学習を適用する。提案手法はQwen3-14BとGPT-OSS-20Bに適用され、3つのICW命令の平均TPR@$1\%$FPRを0.100$から0.974$に、0.337$から0.968$に引き上げる。

関連論文リスト

Human-in-the-Loop LLM Grading for Handwritten Mathematics Assessments [4.291185382337384]
LLM支援によるペンと紙の短い評価の段階化のためのスケーラブルでエンドツーエンドなワークフローを提案する。本システムは,6つの低学級試験を用いて,2つの学部数学コースに展開する。
論文参考訳（メタデータ） (2026-03-13T15:32:09Z)
Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward [4.921470220575384]
大規模言語モデル(LLM)における幻覚の緩和は、信頼性の高いデプロイメントにおいて重要である。我々は,$textbfunderlineFine-fine underline Semantic UnderlineConfidence underlineReward (Ours) に基づく新しい強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-10-28T03:00:35Z)
e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs [49.01449646799905]
既存の推論モデルでは外挿がうまく行われていないことが示される。レシピ e3 は AIME'25 と HMMT'25 のスコアに基づいて最もよく知られた 1.7B モデルを生成する。 e3-1.7Bモデルは、高いpass@1スコアを得るだけでなく、ベースモデルよりもpass@kを改善する。
論文参考訳（メタデータ） (2025-06-10T17:52:42Z)
Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
大型言語モデル(LLM)はインジェクション攻撃に弱い。本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
論文参考訳（メタデータ） (2025-04-29T07:13:53Z)
Ensemble ToT of LLMs and Its Application to Automatic Grading System for Supporting Self-Learning [0.8490659704051299]
Ensemble Tree-of-Thought (ToT)は、複数のモデルを統合することでLCM出力を強化するフレームワークである。評価システムはまずLLMの分解傾向を評価し,次に複数の結果を生成し,シミュレーションによる議論を通じてそれらを統合する。
論文参考訳（メタデータ） (2025-02-23T01:17:46Z)
S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文参考訳（メタデータ） (2025-02-18T13:40:22Z)
Understanding the Dark Side of LLMs' Intrinsic Self-Correction [58.12627172032851]
LLMの応答を改善するために,本質的な自己補正法が提案された。近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
論文参考訳（メタデータ） (2024-12-19T15:39:31Z)
TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation [24.954629877691623]
TICK(Targeted Instruct-evaluation with ChecKlists)は、完全に自動化され、解釈可能な評価プロトコルである。まず,LLMが高品質な評価チェックリストを確実に生成できることを示す。次に、STICKは、自己精製とBest-of-N選択により、複数のベンチマークで生成品質を向上させることができることを示す。
論文参考訳（メタデータ） (2024-10-04T17:09:08Z)
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models [54.14602121129874]
トレーニングデータを自動的に生成する最初のスケーラブルで信頼性の高いAutoIFを導入する。 AutoIFは命令追従データ品質の検証をコード検証に変換する。
論文参考訳（メタデータ） (2024-06-19T13:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。