論文の概要: Can LLMs Reason About Brand Ownership? An Empirical Study of Domain Attribution Intelligence
- arxiv url: http://arxiv.org/abs/2606.20868v1
- Date: Thu, 18 Jun 2026 18:58:06 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-06-23 11:16:24.452168
- Title: Can LLMs Reason About Brand Ownership? An Empirical Study of Domain Attribution Intelligence
- Title(参考訳): LLMはブランドの所有について理にかなっているか? : ドメイン属性インテリジェンスに関する実証的研究
- Authors: Fathima Mashood, Mohamed Nabeel,
- Abstract要約: ブランド所有ドメインを悪意のあるものとして誤ってフラグ付けすると、エンドユーザーを害し、ブランドの評判を損なう偽陽性が生じる。
ブランドドメイン関係に関する幅広い知識を持つ大規模言語モデル(LLM)は、この問題に対して有望なゼロ設定アプローチを提供する。
3つの課題にまたがるLCMブランドインテリジェンスについて,最初の系統的実証評価を行った。
- 参考スコア(独自算出の注目度): 2.949222434075052
- License:
- Abstract: When a new domain resembling a popular brand appears, defenders face a fundamental ambiguity: it may be an attacker-created squatting site for phishing, or it may be a domain the brand itself registered, either defensively, to block attackers, or legitimately, for a new product or service launch. Incorrectly flagging a brand-owned domain as malicious produces a false positive that harms end users and damages the brand's reputation. Resolving this ambiguity requires brand intelligence: the ability to determine, at scale, whether a given domain belongs to a brand. Large language models (LLMs), with their broad knowledge of brand domain relationships, offer a promising zero configuration approach to this problem, but their reliability for brand intelligence tasks remains unknown. We present the first systematic empirical evaluation of LLM brand intelligence across three tasks: domain enumeration (Q1), open ended brand attribution (Q2), and binary ownership classification (Q3). We evaluate four models, Gemini 2.5 Flash, Gemini 3.5 Flash, Claude Sonnet 4.5, and Claude Sonnet 4.6, across four retrieval settings (in context, web search, WHOIS lookup, and combined) on 36 of the most phished brands. Our results reveal a stark dichotomy: models achieve up to 82% precision enumerating brand domains from memory alone, yet fail at ownership verification without external tools, with macro F1 at most 0.37 in ICL mode. WHOIS augmentation lifts Q3 macro F1 by up to 0.65 points, yielding near perfect precision (<= 0.99), dramatically reducing the false positive risk for defenders. We provide concrete recommendations for deploying LLMs in brand protection pipelines.
- Abstract(参考訳): 人気のあるブランドに似た新しいドメインが現れると、ディフェンダーは基本的な曖昧さに直面している。フィッシングのために攻撃者が作成したスクワットサイトかもしれないし、ブランド自体が防衛的に、攻撃者をブロックするために、または合法的に、新しい製品やサービスローンチのために登録したドメインかもしれない。
ブランド所有ドメインを悪意のあるものとして誤ってフラグ付けすると、エンドユーザーを害し、ブランドの評判を損なう偽陽性が生じる。
この曖昧さを解決するには、ブランドインテリジェンス(ブランドインテリジェンス)が必要です。
大きな言語モデル (LLM) はブランドドメインの関係を広く知っており、この問題に対して有望なゼロ設定アプローチを提供するが、ブランドインテリジェンスタスクに対する信頼性は依然として不明である。
ドメイン列挙(Q1)、オープンエンドブランド属性(Q2)、バイナリオーナシップ分類(Q3)の3つのタスクでLCMブランドインテリジェンスを初めて体系的に評価した。
Gemini 2.5 Flash、Gemini 3.5 Flash、Claude Sonnet 4.5、Claude Sonnet 4.6の4つのモデルを評価し、36のブランドで検索設定(コンテキスト、Web検索、WHOISルックアップ、組み合わせ)を行った。
モデルは最大82%の精度でメモリのみからブランドドメインを列挙するが、外部ツールなしではオーナシップ検証に失敗し、マクロF1はICLモードで0.37である。
WHOISはQ3マクロF1を最大0.65ポイント引き上げ、ほぼ完全な精度(=0.99)を得る。
ブランド保護パイプラインにLLMを配置するための具体的な勧告を提供する。
関連論文リスト
- From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents [0.0]
単一制御のtau2-benchドメインでは45~48%、二重制御の通信では3%、AppWorldの自己評価のコーディングエージェントトラジェクトリでは75.8%、明確なステータスクレームでは75.8%である。
TF-IDF検出器は、tau2-benchでタスク非結合のAUROC 0.83、AppWorldで0.95を達成する。
論文 参考訳(メタデータ) (2026-06-01T00:13:23Z) - Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks [0.3303672705634661]
デュアルモードベンチマークにより,フロンティアLSMがサイバーセキュリティの準備ができているかを評価する。
我々は6つのフロンティアモデル(GPT-5.4、Codex5.3、Claude Opus4.6、Sonnet4.6、Gemini3.1Pro、Gemini3Flash)と4つのテストパラダイムにまたがる2つのドメイン特化モデルをテストする。
論文 参考訳(メタデータ) (2026-05-22T05:24:43Z) - Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR [1.7107991816118835]
我が国の金融インシシデント・コミット認識における測定リスクについて検討する。
ルーブリックな単語は、モデル指定ラベルを根本的に変えることが判明した。
すべての計量は、JF-ICRクラス分布の下では情報的ではない。
論文 参考訳(メタデータ) (2026-04-30T03:39:14Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳(メタデータ) (2026-04-29T19:32:58Z) - CLASP: Defending Hybrid Large Language Models Against Hidden State Poisoning Attacks [48.54598003197356]
Mambaのような状態空間モデル(SSM)はトランスフォーマーの効率的な代替品として大きな注目を集めている。
HiSPAsは、最近発見された脆弱性で、敵対する文字列を通じてSSMメモリを破損させる。
この脅威に対して防御するためのCLASPモデルを紹介します。
論文 参考訳(メタデータ) (2026-03-12T17:29:55Z) - BrandFusion: A Multi-Agent Framework for Seamless Brand Integration in Text-to-Video Generation [64.5799743375449]
テキスト・ツー・ビデオ(T2V)モデルにシームレスなブランド統合を導入する。
この課題は,迅速な忠実さの維持,ブランド認識性の確保,コンテキストによる自然な統合の実現という,3つの課題に直面する。
2つの相乗位相からなる新しいマルチエージェントフレームワークであるBrandFusionを提案する。
論文 参考訳(メタデータ) (2026-03-03T10:10:41Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳(メタデータ) (2025-02-10T09:15:56Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳(メタデータ) (2025-02-05T18:58:19Z) - The Open Brands Dataset: Unified brand detection and recognition at
scale [33.624955564405425]
Open Brands」は、リッチなアノテーションによるブランド検出と認識のための最大のデータセットです。
ブランドネット」はブランド認識を扱う「ブランドネット」と呼ばれるネットワークである。
論文 参考訳(メタデータ) (2020-12-14T09:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。