論文の概要: Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation

• arxiv url: http://arxiv.org/abs/2609.21088v1
• Date: Thu, 17 Sep 2026 21:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.780573
• Title: Origin Is All You Need: Provenance-Aware Transformers for Structural Trust-Boundary Separation
• Title（参考訳）: 構造的信頼境界分離のためのプロヴァンス・アウェア・トランスフォーマー(動画あり)
• Abstract要約: Provenance-Aware Transformersは,アプリケーションが提供するソースラベルをモデル内で動作可能にする,プロファイナンス対応のディフェンスである。 我々の研究は、一級建築信号としての証明を明らかにすることで、安全アライメントを不安定なパターンマッチングから明確な信頼分離へとシフトできることを示している。
• 参考スコア（独自算出の注目度）: 15.7006705671428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indirect prompt injection (IPI) remains a central safety and security challenge for large language model (LLM) systems because standard transformers lack architectural notion of source authority. Retrieved documents, user inputs, and system instructions are all processed through the same undifferentiated attention mechanism, forcing the model to infer from wording alone what should be obeyed and what should be treated as data. We propose Provenance-Aware Transformers, a provenance-aware defense that makes application-supplied source labels actionable inside the model. Each input token is assigned a ring ID encoding its origin, and the model is augmented with origin embeddings, a learnable origin attention bias, and a learnable origin scale that preserves provenance under normalization. The resulting architecture enforces a structural boundary between authoritative and non-authoritative sources during generation. To instantiate this architecture on released pretrained models, we propose a two-stage fine-tuning pipeline to teach the model origin semantics and task behavior under ring constraints. Evaluation shows that Provenance-Aware Transformers maintain robust resistance to IPI both in-distribution and out-of-distribution while preserving utility comparable to the base pretrained model. More broadly, our work shows that exposing provenance as a first-class architectural signal can shift LLM safety alignment from brittle pattern matching toward explicit trust separation.
• Abstract（参考訳）: インダイレクト・プロンプト・インジェクション(IPI)は、標準トランスフォーマーにはソース・オーソリティというアーキテクチャ的概念が欠けているため、大きな言語モデル(LLM)システムでは依然として中心的な安全性とセキュリティ上の課題である。 検索された文書、ユーザ入力、システム命令はすべて、同じ未分化の注意機構を通じて処理され、モデルが従うべきもの、データとして扱うべきもののみから推論する。 本稿では,提案するProvenance-Aware Transformersを提案する。 各入力トークンは、その原点を符号化するリングIDを割り当てられ、モデルは、原点埋め込み、学習可能な原点注意バイアス、および正規化の下で証明を保存する学習可能な原点尺度で拡張される。 結果として生じるアーキテクチャは、世代間における権威的ソースと非権威的ソースの間の構造的境界を強制する。 このアーキテクチャを事前訓練されたモデル上でインスタンス化するために、リング制約の下でモデルの起源の意味とタスクの振る舞いを教えるための2段階の微調整パイプラインを提案する。 評価の結果, Provenance-Aware Transformers は, 基本事前学習モデルに匹敵する実用性を保ちながら, 分布内および分布外の両方に頑健な IPI 耐性を維持していることがわかった。 より広範に、我々の研究は、第一級のアーキテクチャ信号として証明されたことは、LCMの安全性のアライメントを不安定なパターンマッチングから明確な信頼分離へとシフトできることを示している。

関連論文リスト

• Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering [9.737607721974664]
  ビジョン-言語モデル(VLM)はモデルサプライチェーンを通じてますます展開される。 本稿では,VLMサプライチェーンにアーキテクチャバックドアを埋め込むことで,悪意のあるプロバイダがこの信頼境界を活用できることを示す。
  論文  参考訳（メタデータ） (2026-07-28T09:12:11Z)
• The Attribution Blind Spot: Detecting When Language Models Rely on Memory Rather Than Retrieved Context [22.202409807556517]
  帰属盲点に対処するために,計算現実モニタリングを導入する。 CRMは、認知科学の現実監視フレームワークから適応した原則を運用する。 プレトレーニングされた露光が測定可能な内部軌道シグネチャを残すかどうかを検出する。
  論文  参考訳（メタデータ） (2026-05-26T09:48:51Z)
• Containment Verification: AI Safety Guarantees Independent of Alignment [13.629487815782355]
  本稿では,エージェントフレームワーク自体の安全性を保証する封じ込め検証を導入する。 ハボックオラクルセマンティクスの下では、AIは型付きアクション空間全体にわたって制約のないオラクルとしてモデル化される。 モデル付き境界イベント、アクション引数、状態上で表現される境界強化性については、普遍的な保証を証明します。
  論文  参考訳（メタデータ） (2026-05-09T16:36:45Z)
• Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims [2.0403981727850233]
  現代の大規模言語モデル(LLM)システムは、事前トレーニングされた重み付け、微調整アダプタ、データセット、依存関係パッケージ、コンテナイメージといったサードパーティの成果物から組み立てられている。 このスピードには、妥協された依存関係、悪意のあるハブアーティファクト、安全でないデフォールト化、偽造された前兆、バックドアモデルなど、サプライチェーンのリスクが伴う。 本稿では,信頼された環境にアーティファクトが認められる前に,クレームエビデンスを検証し,安全なローディングと静的スキャンポリシーを適用し,セキュアなシリアル配置制約を適用した,証明対応のプロモーションゲートを提案する。
  論文  参考訳（メタデータ） (2026-03-30T20:37:48Z)
• Countermind: A Multi-Layered Security Architecture for Large Language Models [0.0]
  本稿では,多層型セキュリティアーキテクチャであるCountermindを提案する。 アーキテクチャは、すべての入力を構造的に検証し変換するように設計された強化された周辺装置と、出力が発生する前にモデルのセマンティック処理経路を制約する内部ガバナンス機構を提案する。
  論文  参考訳（メタデータ） (2025-10-13T18:41:18Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。