論文の概要: Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF

• arxiv url: http://arxiv.org/abs/2607.10750v1
• Date: Sun, 12 Jul 2026 13:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.523389
• Title: Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF
• Title（参考訳）: エージェントSDFにおけるファントムの移動
• Abstract要約: 本研究では, 対向相互作用を含む合成剤軌道に対するトレーニングの効果について検討した。 これらの軌道の微調整は、常に不整合挙動を増大させる。 以上の結果から, エージェント・トレーニングデータの安全性を確保するためには, アクション・レベル・フィルタリングが不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data is widely used to train large language models because it is inexpensive to generate and easy to control. As models are increasingly deployed as agents, synthetic trajectories are likely to become an important source of training data for agentic behavior. We investigate the effects of training on synthetic agentic trajectories containing adversarial interactions, including actions such as terminating another agents process, lowering its scheduling priority, or accessing resources without authorization. We finetune Llama 3.3 70B Instruct on these trajectories, generated to approximate reinforcement learning rollouts, and evaluate the resulting models on Anthropics Agentic Misalignment suite and Apollos in context scheming scenarios. Finetuning on these trajectories consistently increases misaligned behavior. Leaking rises by roughly a factor of five over the baseline, 4.6% to 24.9%. This increase survives the removal of every adversarial action from the trajectories. Finetuning on structurally comparable trajectories generated benign from the start produce a substantially smaller effect, 15.5%. These results indicate that the misaligned disposition is introduced during the generation process and encoded diffusely throughout the trajectory, rather than being localized to the harmful actions themselves. The effect also depends on the generating model. Benign trajectories produced by Gemini 2.5 Flash induce slightly higher leaking rates than trajectories generated from identical tasks by Claude 3.7 Sonnet. In contrast, broad safety benchmarks degrade similarly across all finetuned models and therefore fail to distinguish these effects. Our results suggest that action level filtering is insufficient to ensure the safety of synthetic agentic training data and that dispositions introduced by the generating model can survive semantic inspection.
• Abstract（参考訳）: 合成データは、生成が安価で制御が容易であるため、大規模な言語モデルのトレーニングに広く利用されている。 モデルがエージェントとしてますますデプロイされるにつれて、合成軌跡はエージェント行動のためのトレーニングデータの重要な情報源になりそうである。 本稿では,他のエージェントプロセスの終了,スケジュールの優先順位の低下,許可なくリソースへのアクセスなどの行為を含む,敵対的相互作用を含む合成エージェントトラジェクトリに対するトレーニングの効果について検討する。 我々はこれらの軌道上でLlama 3.3 70Bを微調整し、強化学習のロールアウトを近似するために生成し、その結果として得られたモデルを、文脈スケジューリングのシナリオでArthhropics Agentic Misalignment SuiteとApollosで評価する。 これらの軌道の微調整は、常に不整合挙動を増大させる。 リーク率はベースラインの約5倍の4.6%から24.9%に上昇する。 この増加は、全ての敵の行動が軌跡から取り除かれるのを乗り越える。 構造的に比較可能な軌道の微細化は開始時から発生するベニグニグニグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネグネ これらの結果は, 有害な作用自体に局所化されるのではなく, 生成過程中に不整合が導入され, 軌道全体を通して拡散的にコード化されていることを示唆している。 効果は生成モデルにも依存する。 Gemini 2.5 Flashによる良質なトラジェクトリは、Claude 3.7 Sonnetによる同一タスクから生成されるトラジェクトリよりもわずかに高いリーク率を誘導する。 対照的に、幅広い安全性ベンチマークは、すべての微調整されたモデルで同様に分解され、したがってこれらの効果を区別することができない。 この結果から, 合成エージェント学習データの安全性を確保するためには, 動作レベルのフィルタリングが不十分であることが示唆され, 生成モデルによって導入された配置が意味検査に耐えられることが示唆された。

関連論文リスト

• TailBooster: A Dual-Layer Generative Framework for Extreme Value Augmentation with Operational Validity Enforcement [0.0]
  航空輸送における極度の出来事は、大規模な運用、経済、安全コストを伴うカスケードネットワークの破壊を引き起こす。 合成データ拡張は、原則化された解を提供するが、従来の生成モデルは分布尾を表現していない。 生成モデルと異常検出層を組み合わせた二重層生成フレームワークTailBoosterを提案する。
  論文  参考訳（メタデータ） (2026-08-12T11:37:09Z)
• A Systematic Evaluation of Trajectory Data Curation for LoRA Fine-Tuning of Code Agents [0.0]
  専門的エージェント軌道上のオープンウェイトLSMの微調整が、有能なコードエージェントを構築するための顕著なアプローチとして現れている。 本稿では,SWEトラジェクトリデータセット上でのQwen2.5-Coder-7B-InstructのLoRA微調整のためのトラジェクトリデータフィルタリングの系統的研究について述べる。 我々は,2軸品質評価フレームワークである効率とスタイルを提案し,戦略,スケール,アブレーション分析にまたがる16の制御実験を通じて評価する。
  論文  参考訳（メタデータ） (2026-07-19T11:52:32Z)
• What Makes Interaction Trajectories Effective for Training Terminal Agents? [55.62817294510983]
  Terminal-Legoは、現実世界の問題を環境検証されたエージェントタスクに変換するスケーラブルなパイプラインである。 下着剤であるDeepSeek-V3.2の軌跡を微調整した学生は、はるかに強力な一般化を示している。 Qwen3-32Bは15.3kの終端レゴ軌道しか持たず、終端ベンチ2.0で24.3%のスコアを獲得し、データボリュームの30倍以上で確立された以前のSOTAのパフォーマンスと競合する。
  論文  参考訳（メタデータ） (2026-06-02T10:37:47Z)
• Signals: Trajectory Sampling and Triage for Agentic Interactions [1.6631602844999722]
  エージェント間相互作用をトリアージするための軽量な信号ベースフレームワークを提案する。 提案手法は,ライブインタラクションから,安価で広く適用可能な信号を計算し,軌道トリアージのための構造化属性としてアタッチする。 その結果, 信号を用いたサンプリングでは, フィルタリングでは74%, ランダムサンプリングでは54%と, 82%の情報化率が得られることがわかった。
  論文  参考訳（メタデータ） (2026-04-01T01:08:07Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• In-the-Wild Model Organisms: Mitigating Undesirable Emergent Behaviors in Production LLM Post-Training via Data Attribution [1.518298096221251]
  本稿では,アクティベーションに基づくデータ属性を提案する。 我々は、特定の行動を引き起こすデータポイントを特定し、修正されたデータで再トレーニングすることで、これらの属性を因果的に検証する。 これをOLMo 2のプロダクションDPOトレーニングに適用すると、邪魔なコンプライアンスが表面化します。
  論文  参考訳（メタデータ） (2026-02-11T17:45:31Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• t-RAIN: Robust generalization under weather-aliasing label shift attacks [0.0]
  自動車のマルチウェザー分類におけるラベルシフトの影響を解析する。 大規模生成モデルを用いた合成データ拡張のための類似度マッピング手法としてt-RAINを提案する。 本稿では,82.69 AP (雪) と62.31 AP (霧) が最適である実地および合成気象領域の歩行者検出結果について述べる。
  論文  参考訳（メタデータ） (2023-05-15T02:05:56Z)
• Improving Adversarial Transferability via Intermediate-level Perturbation Decay [79.07074710460012]
  我々は,一段階の最適化で敵の例を再現する新しい中間レベル手法を開発した。 実験結果から, 種々の犠牲者モデルに対する攻撃において, 最先端技術よりも大きな差が認められた。
  論文  参考訳（メタデータ） (2023-04-26T09:49:55Z)
• Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
  ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。 これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。 本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
  論文  参考訳（メタデータ） (2022-07-29T22:35:05Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。