論文の概要: ClaimMirage: When Self-Claims in Domain Names Change LLM Threat Judgments
- arxiv url: http://arxiv.org/abs/2609.29130v1
- Date: Thu, 24 Sep 2026 07:08:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.764358
- Title: ClaimMirage: When Self-Claims in Domain Names Change LLM Threat Judgments
- Title(参考訳): ClaimMirage: ドメイン名の自己判断がLLMの脅威判断を変えるとき
- Abstract要約: フィッシングやオフィシャルといった短いクレームは、大きな言語モデルがドメイン名を判断する方法を変える可能性がある。
我々は64のブランドと5つの大きな言語モデルにわたる622,080の判断を分析した。
- 参考スコア(独自算出の注目度): 0.7391823486666542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Short claims such as not-phishing or official can change how a large language model (LLM) judges a domain name, without explicit prompt-injection commands. We study this manipulation as ClaimMirage: a name under inspection claims its own safety or approval. We analyze 622,080 judgments across 64 brands and five LLMs, comparing ten claims with length- and hyphen-matched controls in constructed brand-like names. Self-claims can substantially reduce or increase alerts, depending on the LLM and input setting. In one setting, risk-denial terms inside the registrable name reduce alerts by 45.3 percentage points even with a basic safeguard: the prompt supplies the potentially impersonated brand and its official domain for comparison. Without these references, endorsement terms at that position increase alerts by 65.6 points in the same LLM. References and component annotation remove some alert reductions but leave others or make them larger. These findings motivate testing resistance to self-claims and seeking independent evidence before treating a domain name under inspection as safe or authorized.
- Abstract(参考訳): not-phishingや officialのような短いクレームは、大きな言語モデル(LLM)が明示的なプロンプトインジェクションコマンドなしでドメイン名を判断する方法を変えることができる。
私たちは、この操作をClimMirageとして研究しています。
我々は64のブランドと5のLCMの622,080の判断を分析し、10のクレームと10のクレームを比較した。
自己評価は、LSMと入力設定に依存するため、警告を大幅に削減または増加させる可能性がある。
ある設定では、登録可能な名前の内にあるリスク・否定的な用語は、基本的な安全を保ったとしても警告を45.3ポイント削減する。
これらの参照がなければ、その位置での支持条件は同じLSMで65.6ポイントの警告が増加する。
参照とコンポーネントアノテーションは、いくつかの警告を削除しますが、他のものを残したり、大きくしたりします。
これらの知見は、検査中のドメイン名を安全または認可されたものとして扱う前に、自己申告に対する試験抵抗と独立した証拠を求める動機付けとなる。
関連論文リスト
- TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors [0.0]
本稿では,LLMの行動安全評価のための危険度ベンチマークであるTIERを紹介する。
TIERは4つのリスクドメインと4つの脅威レベルをカバーしている。
実験によると、安全行動は、拒絶からコンプライアンスへ直接移行するのではなく、脅威レベルを越えて徐々に進化している。
論文 参考訳(メタデータ) (2026-09-04T13:13:11Z) - The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions [12.920644711310109]
Cautious Benchは、エージェントガードレールの構成を過度に安全にするための最初のベンチマークである。
ビルドタイムゲートは、すべての例を再帰して認証するので、各ラベルはポリシーの機械的な結果である。
それぞれが認証されたアクションを、怖いオブジェクト名の下でより頻繁に、過度に排除します。
論文 参考訳(メタデータ) (2026-08-27T11:55:22Z) - REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems [21.484325207774166]
逆入力はエージェントと環境の間の相互作用を利用することができ、実行中にエージェントが安全ポリシーに違反する。
自律的なリピートと忠実な測定を行うためのフレームワークであるREDAgentBenchを紹介する。
明示的な安全制約と関連するエージェントシステム脆弱性から攻撃を導き、独立したサービスサンドボックスでそれらを実行し、サービスレシートと最終状態の変更による有害な影響を検証する。
論文 参考訳(メタデータ) (2026-08-11T08:48:54Z) - Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。
我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。
グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
論文 参考訳(メタデータ) (2026-08-01T08:24:30Z) - Can LLMs Reason About Brand Ownership? An Empirical Study of Domain Attribution Intelligence [2.949222434075052]
ブランド所有ドメインを悪意のあるものとして誤ってフラグ付けすると、エンドユーザーを害し、ブランドの評判を損なう偽陽性が生じる。
ブランドドメイン関係に関する幅広い知識を持つ大規模言語モデル(LLM)は、この問題に対して有望なゼロ設定アプローチを提供する。
3つの課題にまたがるLCMブランドインテリジェンスについて,最初の系統的実証評価を行った。
論文 参考訳(メタデータ) (2026-06-18T18:58:06Z) - Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。
BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。
そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
論文 参考訳(メタデータ) (2026-06-04T14:48:23Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳(メタデータ) (2025-05-08T13:04:45Z) - Shh, don't say that! Domain Certification in LLMs [124.61851324874627]
大きな言語モデル(LLM)は狭いドメインで制約されたタスクを実行するためにしばしばデプロイされる。
ドメイン認証は、言語モデルのドメイン外動作を正確に特徴付ける保証である。
次に, 逆境界を証明として提供するVALIDを, 単純かつ効果的なアプローチとして提案する。
論文 参考訳(メタデータ) (2025-02-26T17:13:19Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳(メタデータ) (2025-02-10T09:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。