論文の概要: CRATOR: a Dark Web Crawler
- arxiv url: http://arxiv.org/abs/2405.06356v1
- Date: Fri, 10 May 2024 09:39:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 16:07:56.575372
- Title: CRATOR: a Dark Web Crawler
- Title（参考訳）: CRATOR:ダークウェブクローラー
- Authors: Daniel De Pascale, Giuseppe Cascavilla, Damian A. Tamburri, Willem-Jan Van Den Heuvel,
- Abstract要約: 本研究では,キャプチャなどのセキュリティプロトコルを扱うページを抽出するための一般的なダークウェブクローラを提案する。
我々のアプローチでは、シードURLリスト、リンク分析、スキャンを組み合わせて新しいコンテンツを見つけます。
- 参考スコア（独自算出の注目度）: 1.7224362150588657
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Dark web crawling is a complex process that involves specific methodologies and techniques to navigate the Tor network and extract data from hidden services. This study proposes a general dark web crawler designed to extract pages handling security protocols, such as captchas, efficiently. Our approach uses a combination of seed URL lists, link analysis, and scanning to discover new content. We also incorporate methods for user-agent rotation and proxy usage to maintain anonymity and avoid detection. We evaluate the effectiveness of our crawler using metrics such as coverage, performance and robustness. Our results demonstrate that our crawler effectively extracts pages handling security protocols while maintaining anonymity and avoiding detection. Our proposed dark web crawler can be used for various applications, including threat intelligence, cybersecurity, and online investigations.
- Abstract（参考訳）: ダークウェブクローリングは、Torネットワークをナビゲートし、隠されたサービスからデータを抽出する特定の方法論とテクニックを含む複雑なプロセスである。
本研究では,キャプチャなどのセキュリティプロトコルを扱うページを効率的に抽出するための一般的なダークウェブクローラを提案する。
我々のアプローチでは、シードURLリスト、リンク分析、スキャンを組み合わせて新しいコンテンツを見つけます。
また、匿名性を維持し、検出を避けるために、ユーザエージェントの回転とプロキシの使用法も取り入れた。
カバレッジや性能,堅牢性といった指標を用いて,クローラの有効性を評価した。
その結果,クローラはセキュリティプロトコルを扱うページを効果的に抽出し,匿名性を維持しながら検出を回避することができた。
提案したダークウェブクローラは、脅威情報、サイバーセキュリティ、オンライン調査など、さまざまなアプリケーションに使用することができる。
関連論文リスト
- Unveiling the Digital Fingerprints: Analysis of Internet attacks based on website fingerprints [0.0]
本稿では,最新の機械学習アルゴリズムを用いて,攻撃者がTorトラフィックを非匿名化できることを示す。
ネットワークパケットを11日間にわたってキャプチャし、ユーザが特定のWebページをナビゲートし、Wiresharkネットワークキャプチャツールを通じて.pcapng形式でデータを記録します。
論文 参考訳（メタデータ） (2024-09-01T18:44:40Z) - AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。
既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。
本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
論文 参考訳（メタデータ） (2024-04-19T09:59:44Z) - Darknet Traffic Analysis A Systematic Literature Review [0.0]
匿名ツールの目的は、強力な暗号化と難読化技術を実装することによって、ユーザの匿名性を保護することである。
この強力な匿名性機能は、ネットワーク上で追跡されるのを避けることを目的とした不正活動に関わる人々の避難所としても機能する。
本稿では,ダークネット内のトラフィック攻撃を監視し,識別するための機械学習技術を用いて,ダークネットトラフィックの手法を網羅的に分析する。
論文 参考訳（メタデータ） (2023-11-27T19:27:50Z) - PURL: Safe and Effective Sanitization of Link Decoration [20.03929841111819]
PURLは、Webページ実行の層間グラフ表現を利用して、リンクの装飾を安全かつ効果的に衛生化する機械学習手法である。
評価の結果,PURLは既存の対策よりも精度が高く,ウェブサイトの破損を低減できることがわかった。
論文 参考訳（メタデータ） (2023-08-07T09:08:39Z) - ThreatCrawl: A BERT-based Focused Crawler for the Cybersecurity Domain [0.0]
ThreatCrawlと呼ばれる新しい集中クローラが提案されている。
BiBERTベースのモデルを使用して文書を分類し、クローリングパスを動的に適応する。
収穫率は最大52%で、私たちの知る限りでは、現在の最先端技術よりも優れています。
論文 参考訳（メタデータ） (2023-04-24T09:53:33Z) - Detecting Backdoors in Deep Text Classifiers [43.36440869257781]
本稿では,テキスト分類モデルに対するバックドア攻撃を一般化する,最初の堅牢な防御機構を提案する。
我々の技術は、データ中毒や重毒など、最先端のバックドア攻撃に対する防御に極めて正確です。
論文 参考訳（メタデータ） (2022-10-11T07:48:03Z) - An anomaly detection approach for backdoored neural networks: face
recognition as a case study [77.92020418343022]
本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。
バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
論文 参考訳（メタデータ） (2022-08-22T12:14:13Z) - Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
有効モデル選択に現代検証エンジンをどのように利用できるかを示す。
具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。
我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
論文 参考訳（メタデータ） (2022-05-26T17:56:43Z) - Classification of URL bitstreams using Bag of Bytes [3.2204506933585026]
本稿では,URL文字列から特徴ベクトルを生成するための機械的手法を適用する。
従来のDL法に比べて精度が23%向上した。
論文 参考訳（メタデータ） (2021-11-11T07:43:45Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:40Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2020-06-19T18:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。