論文の概要: Behavioral Canaries: Auditing Private Retrieved Context Usage in RL Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.22191v1
• Date: Fri, 24 Apr 2026 03:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.329155
• Title: Behavioral Canaries: Auditing Private Retrieved Context Usage in RL Fine-Tuning
• Title（参考訳）: 行動カナリア:RLファインチューニングにおけるプライベート検索コンテキスト使用の検討
• Authors: Chaoran Chen, Dayu Yuan, Peter Kairouz,
• Abstract要約: RLFTパイプラインの新しい監査機構である振舞いカナリアを導入する。 動作信号が文書条件のないトレーニングの検出を可能にすることを示す。 RLFTパイプラインの新しい監査機構として行動カナリアを構築した。
• 参考スコア（独自算出の注目度）: 16.355936006045948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In agentic workflows, LLMs frequently process retrieved contexts that are legally protected from further training. However, auditors currently lack a reliable way to verify if a provider has violated the terms of service by incorporating these data into post-training, especially through Reinforcement Learning (RL). While standard auditing relies on verbatim memorization and membership inference, these methods are ineffective for RL-trained models, as RL primarily influences a model's behavioral style rather than the retention of specific facts. To bridge this gap, we introduce Behavioral Canaries, a new auditing mechanism for RLFT pipelines. The framework instruments preference data by pairing document triggers with feedback that rewards a distinctive stylistic response, inducing a latent trigger-conditioned preference if such data are used in training. Empirical results show that these behavioral signals enable detection of unauthorized document-conditioned training, achieving a 67% detection rate at a 10% false-positive rate (AUROC = 0.756) at a 1% canary injection rate. More broadly, our results establish behavioral canaries as a new auditing mechanism for RLFT pipelines, enabling auditors to test for training-time influence even when such influence manifests as distributional behavioral change rather than memorization.
• Abstract（参考訳）: エージェントワークフローでは、LLMは、さらなるトレーニングから法的に保護された検索されたコンテキストを頻繁に処理する。 しかしながら、監査側は、特に強化学習(RL)を通じて、これらのデータをポストトレーニングに組み込むことで、プロバイダがサービス規約に違反しているかどうかを検証するための信頼性の高い方法がない。 標準的な監査は動詞の暗記とメンバーシップ推論に頼っているが、これらの手法はRL訓練モデルには効果がない。 このギャップを埋めるために、我々はRLFTパイプラインの新しい監査機構である振舞いカナリアを導入する。 このフレームワークは、文書トリガのペア化による嗜好データと、独特のスタイル的応答を報ずるフィードバックとを具備し、そのようなデータがトレーニングに使用される場合、遅延トリガー条件付き嗜好を誘導する。 実験の結果、これらの行動信号は、未認可の文書条件訓練の検出を可能にし、10%の偽陽性率(AUROC = 0.756)で67%の検出率を、1%のカナリアインジェクションレートで達成している。 より広範に,RLFTパイプラインの新たな監査機構として行動カナリアを確立した。

関連論文リスト

• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Veri-R1: Toward Precise and Faithful Claim Verification via Online Reinforcement Learning [53.05161493434908]
  大規模言語モデル(LLM)によるクレーム検証は、その強力な推論能力と透過的な検証プロセスのため、近年注目を集めている。 我々は、LLMが検索エンジンと対話し、その計画、検索、推論行動を明確に形作る報酬信号を受け取ることができるオンライン強化学習フレームワークであるVeri-R1を紹介した。 実験の結果、Veri-R1は最大30%の精度で関節の精度を向上し、エビデンススコアを2倍にし、より大きなモデルを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-10-02T11:49:48Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• Data Provenance via Differential Auditing [5.7962871424710665]
  本稿では,データ提示を監査するための実践的フレームワークである差分監査(DPDA)によるデータ公開について紹介する。 本稿では,2つの効果的な監査機能実装,加算関数と乗算関数を提案する。 提案手法の有効性を示す実世界のデータセットの評価について報告する。
  論文  参考訳（メタデータ） (2022-09-04T06:02:25Z)
• Balancing Reinforcement Learning Training Experiences in Interactive Information Retrieval [19.723551683930776]
  対話型情報検索(IIR)と強化学習(RL)は、対話中に学習するエージェントなど、多くの共通点を共有している。 IIRにRLメソッドをうまく適用するには、RLエージェントを訓練するための十分な関連ラベルを得ることが課題である。 本論文は、ドメインランダム化を用いて、より関連性の高い文書を合成することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2020-06-05T00:38:39Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。