[PYTHON] Photon Scanner를 사용하여 웹 데이터 스크랩하기 Scraping Web Data Using Photon Scanner

어떤 사이트 도메인을 수집해야 하는데 하위 도메인이 많고 특정 정보한 경우 한 대상에 대한 정보를 수집하는 데 시간이 많이 소요될 수 있습니다.

If you need to collect a site domain, but have many subdomains and have specific information, it can be time consuming to collect information about one target.

OSINT용으로 설계된 Photon이라는 웹 크롤러를 사용하여 무거운 작업을 수행을 합니다.

It uses a web crawler called Photon designed for OSINT to do the heavy lifting.

Photon OSINT Scanner는 대상 웹 페이지를 탐색할 수 있고 쉬운 명령 줄 인터페이스를 제공합니다.

Photon OSINT Scanner allows you to navigate through target web pages and provides an easy command line interface.

Photon은 페이지 스크립트, 이메일 주소, 중요한 암호 또는 API 키와 같은 특정 종류의 데이터를 자동으로 인식하고 추출하는 기능입니다.

Photon is a feature that automatically recognizes and extracts certain kinds of data, such as page scripts, email addresses, sensitive passwords or API keys.

설명은 여기서 마치도록 하고 Photon을 시작하기 전에 Photon에 필요한 도구들을 설치해야 합니다.

The explanation ends here, and you need to install the necessary tools for Photon before starting Photon.

Photon을 실행하기 위해서는 Python을 설치해야 하는데 Python2를 실행하면 충돌이 발생하므로 Photon Github 설명에 따라서 Python3 명령으로 실행하는 것을 추천드립니다.

In order to run Photon, you need to install Python, but when you run Python2, it crashes, so it is recommended to run it with the Python3 command according to the Photon Github instructions.

Photon 다운로드를 진행하세요. Proceed to download Photon.

다운하기 전에 Photon 설치를 위해 여러 패키지들을 설치를 해야 합니다. 나열하겠습니다.

Before downloading, you need to install several packages to install Photon. I'll list it.

Packages : git, python3, python3-pip

Install Packaged Software Written in Python : requests, tld

git clone https://github.com/s0md3v/Photon.git

git 패키지 설치 후 Photon 다운로드 진행

After installing the git package, proceed to download Photon

sudo apt install git
sudo git clone https://github.com/s0md3v/Photon

Go to Photon Folder

python3-pip Install

sudo apt install python3-pip

requests and tld Install

sudo pip install requests
sudo pip install tld

Photon 옵션 보기 View Photon Options

sudo python3 photon.py -h

DNS 정보 매핑 Map DNS Information

The End