ABBO 기술 블로그

GoScrapy - Go 기반 초고속 웹 스크래핑 프레임워크 소개웹 스크래핑 이야기가 나올 때마다 저는 한 가지 고민에 빠집니다. Python의 BeautifulSoup, Scrapy는 편하지만 속도가 부족하고, C++은 빠르지만 진입장벽이 높다는 것이죠. 그런데 최근 Go로 만들어진 GoScrapy를 만나면서 솔직히 "오, 이게 바로 찾던 것인가" 하는 생각이 들었습니다.왜 GoScrapy인가?GoScrapy는 Go의 동시성(Concurrency) 강점을 최대한 활용한 웹 스크래핑 프레임워크입니다. Goroutine 기반의 병렬 처리로 Python 기반 도구 대비 10배 이상의 성능을 낼 수 있습니다. 그리고 무엇보다 싱글 바이너리로 배포된다는 점이 클라우드 환경에서 얼마나 강력한지 아십니까?실무 활용..