GitHub hat am 1. Oktober 2026 den öffentlichen Vorschauzugang zu Computer Use freigeschaltet, einer Funktion, mit der GitHub Copilot Desktop-Anwendungen direkt steuern kann: klicken, Text eingeben, durch Menüs navigieren, ohne API oder Kommandozeile. Die Ankündigung adressiert einen blinden Fleck, den Automatisierung bislang kaum erreicht hat: professionelle Software ohne API, ohne Kommandozeilen-Schnittstelle und ohne MCP-Server.
Entwickelt für Anwendungen ohne API
Computer Use steht in der GitHub-Copilot-CLI sowie in der Desktop-App für macOS und Windows zur Verfügung. In der Praxis liest der Agent den zugänglichen Inhalt einer Anwendung samt visuellem Kontext und handelt dann: Er klickt auf Bedienelemente, gibt Text ein und bearbeitet ihn, drückt Tasten, scrollt, zieht Elemente und navigiert zwischen Anwendungen, um einen kompletten Arbeitsablauf durchzuführen.
GitHub nennt konkrete Anwendungsfälle: eine Spesenabrechnung in einer geschlossenen Buchhaltungssoftware ausfüllen, Benachrichtigungen aus mehreren Anwendungen zusammenfassen, eine Präsentation aktualisieren oder Daten zwischen Tools verschieben, die nie dafür gebaut wurden, miteinander zu kommunizieren. Das ist eine direkte Erweiterung der redaktionellen Agenten, die bereits produktiv im Einsatz sind, nun angewandt auf grafische Oberflächen, die Maschinen nichts preisgeben.
Was Copilot darf, und was kontrolliert bleibt
Die Funktion aktiviert sich nicht stillschweigend. Copilot fragt um Erlaubnis, bevor es die Kontrolle über eine Anwendung übernimmt, und Nutzer können die Liste bereits freigegebener Anwendungen einsehen oder zurücksetzen. Unter macOS führt die Einrichtung Nutzer durch die Systemberechtigungen für Bedienungshilfen und Bildschirmaufnahme, zwei technische Voraussetzungen für die Steuerung grafischer Oberflächen. Organisationen können die Funktion über verwaltete Einstellungen deaktivieren, was sie eher zu einem globalen Schalter als zu einer Einzelplatz-Entscheidung macht.
| Automatisierungsansatz | Voraussetzung auf Anwendungsseite | Hauptgrenze |
|---|---|---|
| API oder Webhook | Dokumentierter, stabiler Endpunkt | Fehlt bei den meisten geschlossenen Fachanwendungen |
| MCP-Server | Für das Tool entwickelte Integration | Vorarbeit bei der Implementierung, nicht immer gerechtfertigt |
| CLI-Skript | Offengelegte Kommandozeilen-Schnittstelle | Fehlt bei rein grafischer Software |
| Computer Use | Keine: liest Bildschirm und zugängliche Bedienelemente | Hängt von der visuellen Stabilität der Zielanwendung ab |
Mit Computer Use liest GitHub Copilot nicht mehr nur Code: Es klickt, tippt und navigiert durch jede Desktop-Anwendung, ob mit oder ohne API.
Aktivierung
In der CLI aktiviert der Befehl /computer on den Modus, /computer show zeigt den Status an, und /computer off deaktiviert ihn. In der Desktop-App findet sich derselbe Schalter unter Einstellungen, dann Computer Use, oder direkt über den Befehl /computer on innerhalb einer Sitzung.
# In der GitHub-Copilot-CLI
/computer on # aktiviert die Steuerung von Desktop-Anwendungen
/computer show # zeigt Status und freigegebene Anwendungen
/computer off # deaktiviert die Funktion
Die Funktion befindet sich weiterhin in der öffentlichen Vorschau: GitHub empfiehlt, sie zunächst auf unkritische Anwendungen zu beschränken, solange keine belastbare Zuverlässigkeitshistorie vorliegt, und jede Aktion an sensiblen Daten systematisch zu überprüfen.
Eine Alternative zu MCP, kein Ersatz
Computer Use konkurriert nicht mit Integrationen, die auf dem MCP-Protokoll aufbauen: Es deckt den Bereich ab, den diese nicht erreichen. Ein internes Tool ohne jegliche programmierbare Integration bleibt vorerst außer Reichweite klassischer, per Kommandozeile oder API gesteuerter Agenten. GitHub setzt darauf, dass visuelle Automatisierung, lange auf fragile UI-Testskripte beschränkt, zuverlässig genug für den professionellen Alltag wird, sobald sie einem Modell anvertraut wird, das Bildschirmkontext statt fester Koordinaten interpretiert.
Was man sich merken sollte
Computer Use eröffnet GitHub Copilot ein Terrain, das bisher spezialisierten RPA-Werkzeugen vorbehalten war: Software ohne API durch Bildschirmlektüre und direkte Interaktion mit ihren Bedienelementen zu steuern. Die Funktion befindet sich in der öffentlichen Vorschau, ist an eine ausdrückliche Freigabe gebunden und lässt sich auf Organisationsebene deaktivieren – eher eine vorsichtige Ergänzung als eine grundsätzliche Verschiebung der Automatisierung hin zum Agenten.
Auf dem Papier löst Computer Use ein echtes Problem: Die meisten Fachanwendungen, mit denen Teams täglich arbeiten, wurden nie dafür entwickelt, mit einer Maschine zu sprechen. Aber eine grafische Oberfläche per Bildschirmlektüre zu steuern, bleibt eine Wette auf Zuverlässigkeit, keine Gewissheit: Eine veränderte Darstellung, ein unerwartetes Bestätigungsfenster, und die Automatisierung bricht lautlos ab. Bevor Computer Use an einen Prozess rund um Rechnungsstellung oder Kundendaten angeschlossen wird, lohnt es sich, die Funktion mehrere Wochen lang an folgenlosen Aufgaben zu testen und jede Sitzung im Blick zu behalten, solange GitHub selbst noch von einer Vorschau spricht. — Simon Janvier
Zum Weiterlesen: die offizielle Ankündigung im GitHub-Changelog.
