AI는 브라우저를 어떻게 다룰까: 스크린샷, 접근성 트리, CDP, 확장 프로그램의 원리와 한계
ChatGPT가 내 Chrome 탭을 읽고 조작한다는 소개를 읽고, 같은 일을 Claude Code도 하는지, 두 도구가 내부에서 같은 방식을 쓰는지 궁금해졌다. 공식 문서를 따라가 보니 답은 "AI가 브라우저를 다루는 방법은 몇 가지로 정해져 있고, 제품마다 그중 무엇을 고르느냐가 다르다"였다. 그 몇 가지가 왜 그 몇 가지뿐인지는 지금 기술의 한계와 맞물려 있다. 이 글은 방식 네 가지의 원리와 한계, ChatGPT와 Claude Code의 선택, headless 브라우저, 토큰 효율, AI를 브라우저 안에 넣은 Aside와의 비교, 권한 문제를 차례로 정리한다.한 줄 요약AI는 브라우저 화면을 눈으로 보지 못한다. 화면 사진(스크린샷), 요소 목록(접근성 트리), 브라우저 원격 조종 규약(CDP),..