8 min read AI 인사이트

웹크롤링 활용 사례 5가지 : 크롤링 활용으로 수천억 기업 가치가 된 회사들

웹크롤링 활용 사례 5가지 : 크롤링 활용으로 수천억 기업 가치가 된 회사들

크롤링을 기반으로 수천억 기업가치를 가진 회사들이 많다는 것 알고 계셨나요? 웹 크롤링을 똑똑하게 활용해 굉장히 커진 회사들의 이야기를 정리해 보았습니다.

요약

  • Clay AI - 링크드인 크롤링
  • BuiltWith - 웹사이트 URL 크롤링
  • ChatGPT - 웹사이트, 책, SNS, 코드, 논문 크롤링
  • Harvey AI - 법률 자료 크롤링
  • CB Insights - 전세계 기업 정보 크롤링  

웹크롤링(Web Crawling)이란?

웹 크롤링은 웹사이트의 데이터를 자동으로 수집하는 기술입니다. 프로그램이 웹페이지를 자동으로 방문해서 필요한 정보를 가져오죠. 쉽게 말해 인터넷에서 원하는 정보를 자동으로 긁어 모으는 겁니다.

기업들은 웹 크롤링으로 이런 정보를 모읍니다:

  • 상품 가격과 리뷰
  • 기업 채용 정보
  • 뉴스 기사
  • SNS 게시물
  • 웹사이트 기술 정보

웹크롤링을 똑똑하게 활용한 회사들

웹크롤링 활용 사례 1. Clay AI

회사 소개

Clay AI는 2020년에 생긴 회사예요. 영업팀이 잠재 고객을 찾고 관리하는 걸 도와주는 서비스를 만듭니다. 우리 제품을 살 것 같은 사람들의 목록을 알아서 제안해 줍니다. 메시지 보내는 것도 도와주고요. 현재는 7,000억원의 기업 가치를 인정 받고 있습니다.

기능 소개

Clay는 영업 사원들이 자신의 제품을 판매할 잠재 고객들을 찾는 것을 도와주기에, 주로 링크드인 데이터를 크롤링 해 옵니다. 몇가지 예시를 보여드릴게요.

회사 이름만 입력하면, 그 회사의 채용 공고 정보를 모두 크롤링한 뒤, 현재 회사에서 해결하고자 하는 문제가 무엇인지 한 줄로 정리합니다. 정리된 문제를 활용해서 콜드메일을 쓸 수 있게 도와주는 거죠.

회사 이름을 넣어 놓으며, 회사의 미션을 뽑아주기도 하고요.

회사의 가격 정보 페이지를 방문해서, 가격 정책을 긁어올 수도 있습니다.

크롤링 데이터

  • Linkedin, Twitter와 같은 SNS에 공개되어 있는 정보를 긁어옵니다.
  • 회사 홈페이지, 채용 공고에 올라와 있는 데이터를 활용합니다.
  • Techcrunch와 같은 미디어에서 공개한 정보를 가져오기도 해요.

웹크롤링 활용 사례 2. BuiltWith

회사 소개

BuiltWith는 2007년에 만들어진 회사예요. 전 세계 웹사이트들이 어떤 기술을 쓰는지 찾아서 알려주는 게 주요 서비스입니다. 지금은 7억 개가 넘는 사이트의 정보를 가지고 있어요. 연 20억원 이상의 매출이 나오는 것으로 알려져 있습니다.

기능 소개

웹사이트 URL을 입력하면, 웹사이트를 작동시키기 위해 어떤 서비스들을 사용하고 있는지 알려줍니다.

특정 SaaS를 어떤 회사들에서 사용하고 있는지 파악할 수도 있고요.

크롤링 데이터

수많은 웹사이트들의 HTML 코드를 크롤링해서, 어떤 서비스들을 사용하고 있는지 파악합니다.

웹크롤링 활용 사례 3. OpenAI

회사 소개

Chat GPT로 유명한 Open AI가 전세계에서 가장 많은 크롤링 봇을 돌리고 있는 회사라는 것 알고 게셨나요? GPT와 같은 언어 모델을 만들기 위해서는 실제 데이터를 통한 모델 학습이 필요한데요. Open AI는 인터넷을 돌아다니며 모델 학습에 필요한 데이터를 크롤링하는 봇 GPT-Bot을 사용하고 있어요.

웹크롤링 활용 사례 4. Harvey AI

회사 소개

Harvey는 창업 2년 만에 유니콘이 된 법률 AI 스타트업이에요. 변호사들이 일할 때 도움이 되는 AI를 만들어요. 법률 문서를 읽고 이해하거나, 계약서를 검토하는 일을 도와준답니다.

크롤링 활용

법률에 특화된 AI 모델을 만들기 위해서 인터넷에 공개된 수많은 법률 자료들을 크롤링하고 있는 것으로 보여요.

웹크롤링 활용 사례 5. CB Insights

회사 소개

CB Insights는 전 세계 기업들의 정보를 모아서 "어떤 스타트업이 잘 될지", "어떤 기술이 뜨고 있는지" 분석해주는 서비스를 만들어요. 특히 투자자들이나 큰 기업들이 많이 사용하고 있습니다.

크롤링 활용

2014년에 발표된 자료에 따르면 전세계 뉴스와 기업 페이지를 돌아다니는 크롤러를 만들어 매일 수만개의 아티클을 확인하고 있는 것으로 보여요.

  • 전 세계 뉴스에서 기업 소식을 실시간으로 모아요
  • 특허청에서 새로 등록되는 특허 정보를 수집해요
  • 채용 공고에서 회사들이 어떤 인재를 찾는지 분석해요
  • 기업들의 투자 소식과 금액을 모아요
  • 회사 웹사이트나 SNS에서 제품 출시 소식을 찾아요

마무리하며…

지금까지 살펴본 회사들은 모두 같은 특징이 있어요. 바로 '누구나 볼 수 있는 정보'를 '새로운 방식'으로 모으고 활용했다는 거예요.

Clay AI는 링크드인 정보로 영업 사원을 도와주고, BuiltWith는 웹사이트 코드로 기업 정보를 알려주고, OpenAI는 인터넷의 글로 AI를 만들었어요. Harvey는 공개된 법률 정보로 변호사를 돕고, CB Insights는 기업 소식으로 투자자를 도와줍니다.

매일 보는 정보들을 모아서 어떤 새로운 서비스를 만들 수 있을까요?

웹크롤링, 생각보다 어렵지 않습니다. AI와 함께라면 큰 임팩트를 낼 수 있어요.

회사 이름만 넣으세요. 어떤 AI를 써야 하는지 알려드리겠습니다. 무료입니다.

kyungsuk chon

kyungsuk chon