Claude Code "Computer use" を CLI から使ってみた — GUI でしか確認できないバグを Claude に自動検証させる

Computer use が CLI でも使えるようになった（3/30 週、リサーチプレビュー）。Claude が iOS シミュレータやネイティブアプリを操作し、自分が加えた変更を自分で検証する。Claude Code を使い始めて 3 ヶ月の Learner として、実際に動かしてみた手順と気づきを残す。

Computer use とは：CLI 拡張の意味

Computer use は、Claude がコンピュータの **GUI を直接操作する**機能。マウスを動かしてクリックし、キーボード入力をし、スクリーンショットで結果を確認する、人間と同じやり方で。

これ自体は前週（3/23–27 週）に Desktop アプリに来た機能だが、**3/30–4/3 週に CLI でも使えるようになった**のが今回の話。

公式ドキュメントが推す使いどころはこう：

"Best for closing the loop on apps and tools where there's no API to call."

Web アプリは Playwright や headless ブラウザで検証できる。でも **ネイティブ iOS / macOS アプリは GUI でしか動作確認できない**。そこを Computer use が埋める。

最短手順：/mcp で有効化

CLI を起動して、まず MCP を有効化する：

> /mcp

リストから `computer-use` を見つけてトグル ON にする。これで使える状態になる。あとは普通にプロンプトを書くだけ：

> Open the iOS simulator, tap through onboarding, and screenshot each step

これだけで、Claude が iOS シミュレータを起動し、オンボーディング画面を順にタップし、各ステップでスクリーンショットを撮ってくれる。

私は最初これを試したとき、本当に Claude がシミュレータを操作しているところを見て驚いた。手元の Mac 上で、自分のマウスカーソルが動いていく。

試してみた：iOS シミュレータでのオンボーディング検証

私が試した実例。小さな個人プロジェクトの iOS アプリで、オンボーディング画面に新しい "プライバシー同意" ステップを追加したあと：

> Open the iOS simulator with my app, go through onboarding from scratch.
> Verify that:
> 1. The privacy consent step appears between welcome and account creation
> 2. Tapping "Disagree" returns to the welcome screen
> 3. Tapping "Agree" advances to account creation
> Take screenshots at each transition.

結果：3 つのケースを順番に検証して、Disagree 時にスタックが戻らないバグを発見してくれた。スクリーンショット付きで。

これ、ちょっと前まで Detox やマニュアル QA を組まないとできなかった作業。Learner 視点で言うと、**E2E テスト未経験者でも、自然言語で書ければ動く**のは衝撃的。

Web アプリでは既にできた、何が新しい？

Web アプリの自動検証は前から Playwright や Puppeteer でできた。これらは：

• ブラウザの DOM を直接操作する（CSS セレクタやアクセシビリティラベル経由）
• API でテキスト・要素を取得する

Computer use はこれと違って **画面を画像として見る**。DOM ではなくピクセル。だからこそネイティブアプリでも動く。

逆に言えば、Web アプリでも Computer use を使うと「**ユーザーが実際に見ているもの**」での検証になる。CSS の崩れ、フォントの読み込み失敗、モバイル表示の壊れ、こうした "DOM はあるが見えない" 問題に強い。

Boris のデモから学ぶ：リアルタイム UI プレビュー

Code w/ Claude 2026 で Boris Cherny がライブデモした ACME 返金ダッシュボードでも、Computer use が使われていた。Simon Willison のライブブログから引用：

"real-time edge-case bug discovery via live UI preview"

Claude が UI を実際に動かしながら、エッジケースのバグを発見していた。これは「テストケースを書く → 実行する → 結果を見る」のループを、人間が考えなくてもよくなる、ということ。

Learner として一番嬉しいのは、**バグ検出の "知恵" を借りられる**こと。「こういうケースって試した？」と Claude が勝手にやってくれる。自分の経験不足を補ってもらえる感覚。

まだリサーチプレビュー：注意点

実際に試して感じた限界：