Claude가 내 Mac을 직접 조작하기 시작했다 — Computer Use + Dispatch 정리

3월 24일, Anthropic이 Claude에 컴퓨터 직접 제어 기능을 추가함. 이름 그대로 Computer Use. Claude가 마우스를 움직이고, 키보드를 치고, 앱을 열고, 브라우저를 탐색함. 사람이 Mac 앞에 앉아서 하는 것과 똑같은 동작을 AI가 대신 하는 것.

동시에 Dispatch라는 기능도 함께 나옴. 폰에서 Claude한테 작업을 지시하면, 집이나 사무실에 있는 Mac에서 Claude가 실행하는 구조. 폰으로 “피치덱 PDF로 내보내서 회의 초대에 첨부해줘”라고 보내면, Claude가 Mac에서 키노트 열고, PDF 변환하고, 캘린더에 첨부하는 걸 알아서 해줌.

지난주 Channels(텔레그램/디스코드 연동)에 이어서, Anthropic이 일주일 만에 또 하나를 내놓은 것. 이 세 가지가 합쳐지면 뭐가 되는지까지 정리함.

Computer Use + Dispatch — 뭘 할 수 있는지

Computer Use의 작동 방식

Claude는 작업을 받으면 먼저 기존 연동(Slack, Google Calendar 등)으로 처리할 수 있는지 확인함. 연동이 없으면 그때 화면을 직접 제어함. 즉 Computer Use는 기본값이 아니라 폴백임. API가 있으면 API를 쓰고, 없을 때만 마우스/키보드를 잡는 구조.

할 수 있는 것:

  • 앱 열기, 전환하기
  • 웹 브라우저 탐색 (검색, 클릭, 스크롤, 폼 입력)
  • 스프레드시트 데이터 입력
  • IDE에서 코드 수정, 테스트 실행, PR 제출
  • 파일 변환 (키노트 → PDF 등)
  • 캘린더에 파일 첨부, 이메일 작성

Anthropic이 공개한 데모에서는 “피치덱을 PDF로 내보내서 회의 초대에 첨부해줘”라는 요청을 Claude가 자율적으로 수행하는 모습을 보여줬음. 키노트 열기 → PDF 변환 → 캘린더 앱에서 회의 찾기 → 파일 첨부까지.

기술적 배경: 이 기능은 Anthropic이 2월에 인수한 Vercept AI 기술을 기반으로 함. 시애틀의 9명짜리 스타트업인데, 컴퓨터 비전으로 자연어 컴퓨터 제어를 만들던 곳. 인수 후 4주 만에 첫 제품을 출하했다고 함. Claude Sonnet 4.6의 OSWorld 벤치마크(컴퓨터 조작 평가) 점수가 72.5%인데, 2024년 말에는 15% 미만이었음. 1년 사이에 5배 가까이 올라간 것.

Dispatch — 폰에서 지시, Mac에서 실행

Dispatch는 Computer Use의 원격 리모컨임. 폰과 데스크톱에서 하나의 연속된 대화를 유지하면서 작업을 지시할 수 있음.

시나리오를 그려보면 이런 식:

  1. 출근길 지하철에서 폰으로 Claude한테 “오늘 아침 브리핑 만들어줘” 지시
  2. Claude가 사무실 Mac에서 이메일, 캘린더, 슬랙을 확인하고 브리핑 문서 작성
  3. 사무실 도착해서 Mac 열면 브리핑이 완성되어 있음
  4. 브리핑 보면서 “3번 항목 좀 더 자세히 써줘” → Claude가 이어서 수정

핵심은 대화가 끊기지 않는다는 것. 폰에서 시작한 대화를 데스크톱에서 이어가고, 다시 폰으로 돌아가도 맥락이 유지됨. 이전에 만든 내 텔레그램 봇은 매번 새 세션이라 맥락이 리셋됐는데, Dispatch는 그 문제가 없음.

Anthropic이 공개한 사용 예시:

  • 출퇴근길에 아침 브리핑 생성
  • 외출 중 IDE에서 코드 변경 → 테스트 → PR 제출
  • 3D 프린팅 프로젝트 진행 상황 관리

보안과 제한

모든 앱 접근은 사용자가 명시적으로 승인해야 함. 새 앱에 접근할 때마다 허가를 요청하고, 사용자는 언제든 중지할 수 있음.

Anthropic은 민감한 앱(금융, 의료, 법률)에는 접근을 허용하지 말 것을 권고함. Claude는 주식 거래, 민감한 데이터 입력, 얼굴 이미지 수집을 하지 않도록 훈련되어 있다고 함.

현재 macOS 전용, Claude Pro/Max 구독자 한정, 리서치 프리뷰 상태.

Anthropic의 큰 그림 — 일주일 만에 3종 세트

지난 일주일 동안 Anthropic이 낸 것을 시간순으로 보면 패턴이 보임.

날짜 기능 하는 일
3/20 Channels 텔레그램/디스코드/iMessage → Claude Code 세션에 메시지 주입
3월 중순 Dispatch 폰 ↔ 데스크톱 연속 대화. 원격 작업 지시.
3/24 Computer Use Claude가 Mac 화면을 직접 조작

이 세 개가 합쳐지면:

폰에서 메시지 전송 (Channels/Dispatch)
→ Mac의 Claude가 수신
→ API 연동 가능하면 API로 처리
→ 없으면 화면 직접 조작 (Computer Use)
→ 결과를 폰으로 보고

즉, 어디에 있든 폰 하나로 Mac의 모든 작업을 AI한테 시킬 수 있는 인프라가 완성된 것. Channels는 메시징 앱 연동, Dispatch는 연속 대화, Computer Use는 실행력. 각각은 부분이지만 합치면 완전한 원격 AI 에이전트가 됨.

이건 OpenClaw나 Manus My Computer가 하려는 것과 같은 방향인데, Anthropic은 자기 모델(Claude) + 자기 인프라(Claude Code/Cowork)로 수직 통합한 형태. 모델과 에이전트 하니스가 한 회사에서 나오니까 최적화가 가능한 구조.

경쟁 구도와 현실

“AI가 컴퓨터를 직접 조작한다” 시장이 3월에만 이렇게 됐음.

Claude Computer Use Manus My Computer OpenClaw
출시 3/24 3/17 2025/11 (바이럴 1월)
개발사 Anthropic Manus (Meta) 오픈소스 커뮤니티
가격 Pro $20/월~ 크레딧 기반 $20/월~ 무료
모델 Claude 고정 멀티 모델 (자동 선택) 사용자 선택 (아무 LLM)
플랫폼 macOS만 macOS + Windows macOS + Windows + Linux
폰 연동 Dispatch + Channels 웹 기반 50+ 메시징 앱
보안 방식 앱별 승인 + 행위 제한 폴더별 승인 사용자 책임 (CVE 다수)
상태 리서치 프리뷰 출시 출시

Claude Computer Use의 강점은 수직 통합. 모델(Claude Opus/Sonnet) + 에이전트(Claude Code/Cowork) + 원격(Dispatch/Channels)이 한 회사에서 나와서 끊김이 없음. OpenClaw는 어떤 모델이든 연결할 수 있지만 그만큼 설정이 복잡하고 보안 리스크가 큼. Manus는 비개발자에게 가장 접근성이 좋지만 크레딧 소모가 빠름.

약점은 macOS 한정이라는 것. Windows 지원이 아직 없음. OpenClaw와 Manus는 둘 다 Windows를 지원하는데, Claude만 Mac에 묶여 있음. 리서치 프리뷰라 안정성도 검증이 안 된 상태.

그리고 가장 근본적인 질문: AI가 마우스/키보드를 직접 조작하는 게 정말 최선인가? Claude도 인정하듯이 Computer Use는 “기존 연동이 없을 때의 폴백”임. API가 있으면 API가 더 빠르고 정확함. 화면을 눈으로 보고 마우스로 클릭하는 건 사람이 하는 방식이지 기계에게 최적인 방식은 아님. 장기적으로는 더 많은 앱이 API/MCP를 지원하면서 Computer Use의 필요성이 줄어들 수도 있음.

하지만 현실적으로 API가 없는 앱이 아직 훨씬 많고, 모든 앱이 MCP를 지원할 때까지 수년이 걸릴 것. 그 간극을 메우는 게 Computer Use의 역할.

정리

Anthropic이 일주일 만에 Channels + Dispatch + Computer Use를 연달아 내놓은 건, “AI가 당신 대신 일하는 세상”을 본격적으로 밀겠다는 선언임. 기술적 완성도는 아직 리서치 프리뷰 수준이지만, 구조 자체는 이미 갖춰짐.

이론적으로는 해변에서 모히또 한 잔 하면서 폰으로 “오늘 일정 정리하고 보고서 만들어놔”라고 보내면, 집에 있는 Mac에서 Claude가 알아서 처리하는 세상이 된 것. 물론 현실은 macOS 전용 프리뷰에 민감한 앱은 못 건드리고 가끔 엉뚱한 곳을 클릭할 수도 있음. 그래도 방향은 명확함. 그리고 그 방향이 생각보다 빨리 오고 있음.

Claude Code Channels에 대해 자세히 알고 싶으면 텔레그램 봇 vs Claude Code Channels 비교, 데스크톱 AI 에이전트 전체 흐름이 궁금하면 Manus My Computer 리뷰OpenClaw 활용 + 보안 참고.

댓글 남기기