Pythonでマウス操作を自動化！PyAutoGUI徹底ガイド【画像認識・クリック・日本語入力対応】

Pythonでマウス操作を自動化するためには、いくつかの基礎知識と事前準備が必要です。この章では、必要な環境やライブラリ、そして最初に行うべき設定について解説します。まず、Python本体がパソコンにインストールされていることが前提となります。PythonはWindows、Mac、Linuxのいずれの環境でも利用できますが、本記事では一般的なWindows環境を中心に解説します。MacやLinuxでも、ほぼ同じ手順でマウス操作の自動化が可能です。次に必要なのが、マウス操作を簡単に自動化できる「PyAutoGUI」というライブラリです。PyAutoGUIは、マウスの移動やクリック、ドラッグ操作、スクロール、画面の座標取得や画像認識による自動クリックまで、幅広い機能を備えています。また、日本語の自動入力には「pyperclip」というクリップボード操作用のライブラリもあわせて利用するのが一般的です。これらのライブラリは、Pythonのパッケージ管理ツール「pip」を使って簡単にインストールできます。コマンドプロンプトやターミナルを開いて、以下のコマンドを順番に入力してください。

pip install pyautogui pip install pyperclip pillow

pyautogui がマウス操作の本体、 pyperclip は日本語入力の補助、 pillow は画像処理のサポートのために必要です。インストールが完了したら、次のような簡単なスクリプトを実行して、ライブラリが正しく動作するかを確認してみましょう。

import pyautogui print(pyautogui.position())

3. Pythonでできるマウス操作の基礎

PythonとPyAutoGUIを使うと、マウスの動きを思いのままに自動化できます。この章では、日常的によく使われる基本的なマウス操作について、実用例を交えながら詳しく解説します。 3-1. マウスカーソルの移動方法

マウスカーソルを画面上の指定した位置に移動させるには、 pyautogui.moveTo() 関数を使います。例えば、画面左上の座標（100, 200）にカーソルを移動させる場合は次のように記述します。

import pyautogui pyautogui.moveTo(100, 200) さらに、 duration 引数を使うことで、移動を滑らかに見せることもできます。以下は2秒かけてカーソルを移動させる例です。 pyautogui.moveTo(500, 300, duration=2) また、現在の位置から相対的に移動したい場合は、 moveRel() （または move() ）を使います。 pyautogui.moveRel(50, 0) # 右に50px移動 3-2. クリック操作（シングル／ダブル／右クリック）指定した座標でマウスクリックを行うには、 pyautogui.click() を使います。以下は座標(400, 400)で左クリックを1回行う例です。 pyautogui.click(400, 400) ダブルクリックや右クリックを行いたい場合は、 click() の引数や専用の関数を使います。 pyautogui.doubleClick(400, 400) # ダブルクリック pyautogui.rightClick(400, 400) # 右クリック pyautogui.click(400, 400, button='right') # 右クリック（引数指定でもOK） pyautogui.click(400, 400, clicks=3, interval=0.5) # 3回連続クリック（0.5秒間隔） 3-3. ドラッグ＆ドロップ操作ファイルの移動や範囲選択などで便利なのが、ドラッグ＆ドロップの自動化です。 dragTo() や dragRel() を使い、カーソルを押したまま目的地まで移動できます。 # (300, 300)から(600, 600)まで2秒かけてドラッグ pyautogui.moveTo(300, 300) pyautogui.dragTo(600, 600, duration=2) または、今いる位置から相対的にドラッグしたい場合は dragRel() を使います。 pyautogui.dragRel(100, 0, duration=1) # 現在地から右へ100pxドラッグ 3-4. マウスホイールによるスクロールウェブページやExcelシートを自動でスクロールしたい場合は、 pyautogui.scroll() を使います。プラス値で上方向、マイナス値で下方向にスクロールできます。 pyautogui.scroll(500) # 上に500px分スクロール pyautogui.scroll(-300) # 下に300px分スクロール

4. 座標取得・画像認識による自動クリック

4-1. 画面座標の取得方法

自動化スクリプトを作る際、クリックしたい位置やドラッグの開始点などの「座標」を調べる必要があります。 PyAutoGUIには現在のマウスカーソルの位置を取得する pyautogui.position() という関数があります。以下のスクリプトを実行し、知りたい位置にマウスを動かしてからEnterキーを押すことで、座標を簡単に取得できます。

import pyautogui input("座標を取得したい位置にマウスカーソルを移動し、Enterキーを押してください：") print(pyautogui.position()) pyautogui.displayMousePosition() このコマンドをターミナルで実行すると、カーソル位置がリアルタイムで表示されるウィンドウが開きます。 4-2. 画像マッチング（画像認識）でクリック位置を特定

クリックしたいボタンやアイコンの座標が毎回変わる場合や、アプリケーションの画面が動的に変化する場合には、「画像認識」を使った自動化が有効です。PyAutoGUIの locateOnScreen() や click() 関数を利用することで、画面上から指定した画像と一致する部分を探し、自動でクリックすることができます。まず、クリックしたいボタンやアイコンのスクリーンショット画像（例：button.png）を用意します。その後、次のようなコードを使って画像認識クリックを実行できます。

import pyautogui # 画面上からbutton.pngと一致する箇所を検索し、その中央をクリック location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8) if location is not None: pyautogui.click(location) else: print("画像が見つかりませんでした。")

スクリーンショット画像は、できるだけ解像度やサイズを実際の表示に合わせる
OSや画面拡大率の違いで一致しない場合がある
ボタンの色やデザインが変化する場合は認識しづらい

5. キーボード自動入力との連携テクニック

5-1. 文字入力と特殊キー操作 PyAutoGUIには、キーボード入力を自動化するための write() や press() 、 hotkey() などの関数があります。 import pyautogui pyautogui.write('Hello, world!') # 英数字の入力 pyautogui.press('enter') # Enterキーを押す pyautogui.hotkey('ctrl', 'a') # Ctrl + A（全選択）を送信 pyautogui.hotkey('ctrl', 'c') # Ctrl + C（コピー） pyautogui.hotkey('ctrl', 'v') # Ctrl + V（貼り付け）このように、英数字や記号、ショートカットキーなど多様な入力操作を自動化できます。 5-2. 日本語入力を自動化するコツ

PyAutoGUIの write() は英数字には強いのですが、日本語入力には対応していません。そのため、日本語を自動で入力したい場合は、 pyperclip ライブラリを使って一度クリップボードに文字列をコピーし、「貼り付け（Ctrl+V）」で対応するのが定番です。

import pyautogui import pyperclip import time text = "こんにちは、Python自動化！" pyperclip.copy(text) # 文字列をクリップボードにコピー pyautogui.hotkey('ctrl', 'v') # Ctrl + Vで貼り付け time.sleep(0.2) # 念のため少し待機 pyautogui.press('enter') # Enterキーで確定この方法なら、漢字やひらがな、カタカナなども正確に自動入力できます。 5-3. マウスとキーボードの連携例 import pyautogui import pyperclip import time # 入力欄をクリック pyautogui.click(500, 350) # 日本語を貼り付けてエンター pyperclip.copy("テストメッセージ") pyautogui.hotkey('ctrl', 'v') time.sleep(0.2) pyautogui.press('enter') このように、マウス操作とキーボード入力を組み合わせることで、より高度な自動化や多様な作業に対応できるようになります。次の章では、これらの技術を使った実践的なサンプルコードを紹介していきます。

6. よく使う実践サンプルコード集

ここでは、実際に使えるマウス操作の自動化サンプルをいくつか紹介します。どれもシンプルな構成で、手元の環境ですぐに試すことができます。ご自身の作業内容やアイデアに合わせてカスタマイズしてみてください。 6-1. 指定座標で自動クリックするスクリプト定期的に特定の場所をクリックしたい場合、以下のようなスクリプトが役立ちます。 import pyautogui import time # 10回、2秒間隔で座標(400, 500)をクリック for i in range(10): pyautogui.click(400, 500) time.sleep(2) 6-2. 画像認識でボタンを探してクリック画面上に表示されている特定のボタンやアイコンを探してクリックするには、画像認識を利用します。 import pyautogui import time for i in range(5): location = pyautogui.locateCenterOnScreen('button.png', confidence=0.8) if location is not None: pyautogui.click(location) print("ボタンをクリックしました") else: print("ボタンが見つかりませんでした") time.sleep(1) ※ button.png はクリックしたいボタンのスクリーンショット画像を用意してください。 6-3. 複数ウィンドウの切り替えと自動操作複数のアプリやウィンドウを切り替えて自動操作したい場合、Alt+Tabやウィンドウフォーカスの自動化も可能です。 import pyautogui import time # Alt + Tabでウィンドウを切り替えて、クリック pyautogui.hotkey('alt', 'tab') time.sleep(0.5) pyautogui.click(300, 300) 6-4. マウス操作＋キーボード操作の連携クリック後にキーボード入力や貼り付けを自動化する例です。 import pyautogui import pyperclip import time # 入力欄をクリックして、日本語テキストを貼り付ける pyautogui.click(600, 400) pyperclip.copy("自動化テストメッセージ") pyautogui.hotkey('ctrl', 'v') time.sleep(0.2) pyautogui.press('enter')

7. 応用Tips・トラブル対策

7-1. クリックが効かない時のチェックリスト

ウィンドウの前面化 操作対象のウィンドウやアプリケーションが「最前面」に表示されていないと、思った通りにクリックできないことがあります。 pyautogui の hotkey() などでAlt+Tabを使ってウィンドウを前面に出す工夫も有効です。
座標ズレ・画面解像度の違い 開発環境と実際の運用環境で画面解像度やスケーリング設定が異なると、指定座標がずれてしまう場合があります。環境を統一するか、画像認識と組み合わせて座標指定の柔軟性を高めるのがポイントです。
画像認識が機能しない ボタンやアイコン画像の解像度や色味が少し違うだけでも認識できないことがあります。画像を新たにキャプチャしたり、 confidence 値を調整したりして再試行してください。

7-2. ループ処理・一定間隔での自動クリック

繰り返しクリックやタイマー的な動作は、Pythonの while や for ループ、 time.sleep() と組み合わせて簡単に自動化できます。長時間実行する場合は、途中で停止できるように設計しておくと安心です。

import pyautogui import time try: while True: pyautogui.click(400, 500) time.sleep(60) # 1分ごとにクリック except KeyboardInterrupt: print("手動で停止しました") 7-3. 自動化実行中の安全対策（PAUSEとFAILSAFE）

pyautogui.PAUSE すべての pyautogui 関数実行後に自動的に待機時間を挿入する設定。人間の操作との兼ね合いや動作安定化にも有効です。

import pyautogui pyautogui.PAUSE = 0.5 # すべての動作の間に0.5秒待機

pyautogui.FAILSAFE マウスを画面左上隅に移動させると、強制的にスクリプトを停止できます（デフォルトは有効）。

import pyautogui pyautogui.FAILSAFE = True # 安全装置を有効にする（デフォルト） 7-4. 各OS（Windows/Mac/Linux）の違い・注意点

ショートカットキー（例：CtrlとCmdの違い）は注意
画像認識の精度やウィンドウ管理の仕様がOSで異なる場合がある
特定の機能やキー入力が一部のOSでのみサポートされていることも

8. GUIツール・バッチ化・exe化への発展

8-1. GUIツール化（PySimpleGUIの活用） import PySimpleGUI as sg import pyautogui import time layout = [ [sg.Text('クリック座標 (X, Y):')], [sg.InputText('400', key='X'), sg.InputText('500', key='Y')], [sg.Button('クリック開始'), sg.Button('終了')] ] window = sg.Window('マウス自動クリックツール', layout) while True: event, values = window.read() if event in (None, '終了'): break if event == 'クリック開始': x = int(values['X']) y = int(values['Y']) pyautogui.click(x, y) sg.popup('クリックしました') window.close() このようなGUIを使えば、座標の入力や実行がより分かりやすくなります。 8-2. バッチ処理化・複数動作の一括実行 @echo off python my_mouse_script.py pause これでダブルクリックで自動化スクリプトを実行できるようになります。 8-3. exe化（PyInstallerでの配布用実行ファイル化） pip install pyinstaller 次に、コマンドプロンプトで以下のコマンドを実行します。 pyinstaller --onefile my_mouse_script.py

9. まとめ・今後の発展

繰り返し作業や単純操作の自動化による「時間短縮」と「品質向上」
画像認識やキーボード入力の自動化との組み合わせによる多様な活用
トラブル時の対策・安全設計を意識することで安定運用が可能
GUI化やexe化など、周囲と共有しやすい形への発展性

10. FAQ（よくある質問と回答）

ここでは、Pythonによるマウス操作自動化について、よく寄せられる疑問やつまずきやすいポイントをQ&A形式でまとめました。トラブル解決や応用のヒントとしてご活用ください。 Q1. Windows・Mac・Linuxどれでも動きますか？ Q2. 日本語入力がうまくいかない場合の対処法は？

A. PyAutoGUIの write() 関数は日本語に対応していません。日本語や絵文字を入力したい場合は、 pyperclip でテキストをコピーし、 pyautogui.hotkey('ctrl', 'v') で貼り付ける方法が最も確実です。Windows以外のOSでも同様の方法で多くの場合対応できます。

Q3. 画像認識クリックができない・失敗する場合は？

スクリーンショット画像が実際のボタンやアイコンと同じ大きさ・色味になっているか
画面拡大率や解像度が変更されていないか
confidence値（例：0.8や0.9）を調整して認識率を上げてみる
ボタンやアイコンのデザインが変更されていないか

Q4. 実行中にスクリプトが止まる・エラーになることがあるのはなぜ？ Q5. クリック速度や動作の間隔を調整したい場合は？

A. pyautogui.click() や moveTo() には duration 引数で動作時間を指定できます。また、 time.sleep() で任意の待機時間を入れたり、 pyautogui.PAUSE で全体のインターバルを調整することも可能です。例： pyautogui.click(400, 500, clicks=5, interval=0.3)

Q6. マウス操作以外（キーボードや画面キャプチャなど）も自動化できますか？

A. はい、PyAutoGUIはマウスだけでなく、キーボード操作や画面キャプチャ、スクリーンショット保存など多様な自動化機能を備えています。公式ドキュメントや他のPythonライブラリと組み合わせることで、さらに高度な自動化も実現可能です。これらのQ&Aは、実際によくある疑問やトラブルをもとにまとめています。もしご自身で解決できない場合やさらに詳しく知りたい場合は、PyAutoGUI公式のドキュメントや、PythonコミュニティのQ&Aサイトなども参考にすると良いでしょう。

Pythonで重複を削除する全手法｜リスト・DataFrameの効率的な一括処理ガイド