마우스 클릭 몇 번으로 웹 크롤링을 할 수 있는 시대가 왔다. 코드 한 줄 쓰지 않고 인스타그램 댓글, 유튜브 댓글을 크롤링할 수 있는 크롬 확장 프로그램을 소개하려 한다.
1. 리스틀리란?
- 리스틀리(Listly)는 웹 데이터를 클릭 몇 번으로 크롤링 해주는 프로그램이다.
- 리스틀리는 구글 크롬과 웨일 확장프로그램을 지원한다. 브라우저 확장 프로그램으로 지원하기 때문에 누구나 손쉽게 리스틀리 프로그램을 사용할 수 있다. 아래 그림처럼 브라우저 내에서 슬래쉬(/) 모양의 리스틀리 아이콘을 클릭하면 정말 클릭 몇 번으로 웹 데이터를 모두 크롤링 할 수 있다.
- Listly 전체를 클릭하면 웹사이트의 전부를 크롤링 할 수 있고, Listly 부분을 선택하고, 웹사이트에서 크롤링 원하는 영역을 클릭하면 해당 영역에 한정해서 데이터를 크롤링 할 수 있다.
2. 리스틀리 크롤링 결과물
- 아래는 리스틀리를 통해 한 유튜브 영상의 댓글을 크롤링 요청한 결과 페이지다. 결과 페이지에서 크롤링한 데이터를 엑셀 파일로 다운 받을 수 있고, 구글 시트를 통해 오픈할 수도 있다. 아직 베타 단계이지만 API 연동을 할 수도 있다.
- 아래는 유튜브 댓글 크롤링 결과를 엑셀 파일로 저장한 결과다. 정확히 마우스 클릭 5번만으로 유튜브 댓글을 아래처럼 정리된 엑셀 파일로 결과를 얻을 수 있었다.
- 직접 코딩하여 크롤링을 하더라도, 크롤링 결과를 정제하는 것에도 꽤나 품이 드는데 리스틀리에서는 결과 데이터도 꽤나 깔끔하게 정제된 값으로 정리해주는 것 같다.
3. 리스틀리 크롤링 200% 활용하기
- 우선 리스틀리를 통해 번거롭던 수동 업무를 자동화 할 수 있다. 마케터라면 이벤트 운영 업무를 위해서 유튜브나 인스타그램 댓글을 엑셀에 정리하는 게 필요할 때가 종종 있다. 코딩을 할 줄 모른다면 하나하나 수동으로 복사, 붙여넣기를 해야만 한다. 하지만 리스틀리를 사용하면 코딩 할 줄 몰라도 단 몇 초만에 엑셀로 정리할 수 있으니 마케터에게는 정말 유용한 업무 자동화 프로그램이다. 단순 작업은 빠르게 툴에 맡기고, 다른 중요한 업무에 집중할 수 있다.
- 이전에는 크롤링 하는 것이 기술이 요구되는 일이었지만, 이제는 누구나 쉽게 크롤링 할 수 있는 시대가 되었다. 앞으로는 어떻게 데이터를 취합 할 것인지가 아니라 어떤 데이터를 취합 할 것인지, 그 데이터를 어떻게 활용할 것인지를 고민하는 일이 필요한 시대가 된 것 같다. 이러한 일환으로 리스틀리를 통해서 기존에 확인하지 않았던 KPI를 발견하고, 개선점을 도출한 사례를 공유 해보려 한다.
- 리스틀리를 통해서 네이버 상에서의 우리 브랜드 점유율을 확인하고, 인플루언서 마케팅 광고비를 증대하기로 의사결정을 하였다.
1) 리스틀리를 통해 산업 대표 키워드의 네이버 블로그 결과페이지 크롤링
2) 추출한 네이버 블로그 제목에서 우리 브랜드 이름이 언급된 횟수와 경쟁사가 언급된 횟수를 확인, 비교
3) 우리 브랜드의 언급 횟수는 매우 저조 했고, 타 경쟁사 언급된 횟수는 많음을 확인
4) 인플루언서 마케팅 광고비를 증대하기로 의사결정
대표키워드에서 우리 브랜드 언급 횟수가 적으니, 우리 브랜드의 노출량이 타사 대비 매우 적을 수 밖에 없다. 따라서 인플루언서 마케팅을 통해서 우리 브랜드의 언급 횟수, 노출량을 확보해 나가도록 결정했다. 쉽게 크롤링 해볼 수 있으니, 이전에는 번거롭다는 이유로 확인하지 못했던 영역에서 KPI 개선점을 도출해낼 수 있었다.
- 리스틀리에는 스케쥴 기능이 있어, 원하는 주기에 따라 웹 데이터를 자동으로 크롤링할 수 있다. 예를 들어 매주마다 / 매월 1일마다 특정 웹 데이터를 크롤링할 수 있도록 설정할 수 있는 거다. 그리고 그 결과를 이메일 알람을 통해 노티 받을 수 있다. 앞으로 매월 네이버 블로그 상에서의 우리 브랜드 언급 횟수, 점유율을 KPI로 지정하여 관리해나가기로 하였다.
* 본 포스팅은 리스틀리 측으로부터 원고료를 받아 작성되었습니다.