Обзор нейросети Copilot онлайн на русском языке: генерируем изображения

Работает на базе: GPT-4, DALL-E, Codex
Платформы: Windows 10 и 11, iOS, Android, онлайн
Понимаемые языки программирования: C++, C#, Go, JavaScript, PHP, Python и другие
Языки промтов: 8, поддержка русского есть не во всех версиях
Разработчик: Microsoft

Чтобы получить доступ к системе, нужна учетная запись Microsoft. Ассистент для разработки ПО доступен по подписке, но есть 30-дневная пробная версия. Оплата за Copilot, встраиваемый в другое ПО, включена в стоимость соответствующего софта, например, Microsoft 365 или Windows.

Нейросеть Копилот разрабатывается Майкрософт, поэтому встраивается в их продукты и решает несколько задач. Система доступна в актуальных версиях Windows (11 и 10), как инструмент Word, Excel, Teams (корпоративный мессенджер), самостоятельное приложение для iOS и Android, часть поисковой системы Bing, а также как плагин для сред разработки ПО (IDE).

На стороне пользователя Copilot по сути своей это интерфейс. Через него запросы и другие команды пересылаются на сервера Microsoft для обработки. Затем в обратную сторону отправляются сгенерированные результаты. Поэтому нейросеть можно использовать на слабых устройствах. Главное, чтобы они подходили под минимальные системные требования соответствующего софта (например, Windows 10/браузера). Без интернета не работает.

После установки всех доступных обновлений ОС компонент с ИИ добавится автоматически. Его значок появится на панели задач. Также интерфейс ИИ можно вызывать горячими клавишами Win + C (когда нейросеть не установлена, это сочетание открывает Teams или Cortana).

Иногда система обновлений Windows действует непредсказуемо: пакеты, которые скачиваются и устанавливаются у одних юзеров, какое-то время недоступны у других.

На официальной странице Microsoft в Github есть плагин Copilot AI — это расширение для IDE (Visual Studio, решений от JetBrains и другие). Оно генерирует программный код по запросам.

На мобильных устройствах под управлением iOS и Android можно установить отдельное приложение Copilot или Bing. В последнем есть чат-бот с ИИ (используются алгоритмы ChatGPT), раздел с новостями, продвинутый калькулятор, конвертер единиц, подборка обоев и другие инструменты. Онлайн-версия доступна на официальной странице Bing. Помимо чат-бота, в ней есть генератор изображений.

Чтобы использовать веб-версию и соответствующий раздел в мобильной программе, нужна учетная запись Microsoft. При переходе на сайт или вкладку приложения появится окно с предложением зарегистрировать аккаунт.

Microsoft приостановила свою деятельность в России. Из-за этого инструменты с нейросетью и регистрация новых аккаунтов недоступны на территории страны.

• Помощник разработчика ПО — генерирует код на разных языках программирования по текстовым описаниям.
• Чат-бот — отвечает на вопросы и пишет тексты. Результаты выдаются по открытым источникам и с учетом настроек, заданных разработчиками. Например, исключаются материалы, содержание которых может быть неэтичным.
• Создатель изображений — запросы подаются через текстовую строку. В этом случае можно использовать нейросеть для создания логотипа или иллюстраций в любом стиле.
• Инструмент Excel — анализирует таблицы, создает на их основе инфографику и отчеты.
• Инструмент Word — пишет и редактирует тексты, генерирует краткие пересказы содержания документов и дает письменные ответы на вопросы пользователя.
• Инструмент Teams — в фоновом режиме переводит разговор участников встречи в текст, генерирует основные тезисы по итогам собрания, анализирует переписку в чате и выдает краткие отчеты, упорядочивает список контактов, пересылаемые документы, записи в календаре и другую информацию.

Теперь узнаем, как пользоваться нейросетью Copilot для создания изображений. Мы рассмотрим несколько типовых сценариев и проверим, насколько хорошо ИИ выполнит работу.

Для генерации с нуля можно использовать сервис Copilot Designer, чат-бота в Edge и приложении для смартфонов. Каждый запрос обрабатывается одной и той же системой на базе DALL-E.

Результат, полученный в Copilot Designer по запросу «Zebra Painting The Fence» («Зебра красит забор»). ИИ выбрал мультяшную рисовку и не допустил существенных ошибок

Результат, полученный в чат-боте по запросу «Нарисуй, как зебра красит забор». На изображении есть несколько явных ошибок — искаженная рука, которой зебра держит кисточку, странные существа в ведре, деформированная бумага или тряпка на газоне

Здесь сталкиваемся с главным отличием между версиями. Отредактировать сгенерированный результат можно только в чат-боте с помощью дополнительных запросов. В Copilot Designer аналогичной функции нет. На деле же в чат-боте инструмент тоже работает нестабильно.

Нейросеть по сути проигнорировала запрос и просто перерисовала изображение. На одном из результатов много артефактов — искаженная голова зебры, странный язык, полосы на заборе

Следующий запрос окончательно запутал ИИ

Тут мы воспользовались запросом, который порекомендовал сам ИИ — «Измени цвет забора на фиолетовый». Нейросеть снова перерисовала картинку. Забор остался белым

Специальная функция чат-бота позволяет добавлять референсное изображение.

Можно сделать снимок на камеру или загрузить графический файл

В качестве референса используем картинку с зеброй, созданную ранее при помощи Copilot Designer. ИИ перевел запрос на английский («Поменяй цвет неба»), но обработал неправильно.

Вместо того, чтобы переделать оригинал, алгоритм сгенерировал новые изображения, которые не имеют ничего общего с референсом

Обычно нейросеть обучается на языковых моделях, которые являются родными для разработчиков или целевой аудитории. Другие запросы также могут обрабатываться, но в некоторых случаях перед этим они переводятся. Иногда в процессе таких преобразований частично или полностью теряется изначальный смысл запроса.

Copilot Designer, запрос «Зебра строит дом». На рисунке есть несколько мелких ошибок, но нейросеть поняла и правильно интерпретировала запрос на русском языке

Copilot Designer, запрос «Zebra Builds a House» («Зебра строит дом»). У рисунка больше ошибок и мелких деталей

Чат-бот Copilot, запрос «Нарисуй, как зебра строит дом». На рисунке заметны незначительные ошибки (например, кирпич на «земле» напоминает кусок сыра), но нейросеть верно обработала запрос на русском

Чат-бот Copilot, запрос «Draw How a Zebra Builds a House» («Нарисуй, как зебра строит дом»). На изображении есть несущественные ошибки, они заметнее всего на листе со схемой

Чат-бот и онлайн-версия распространяются бесплатно. В Copilot Designer при генерации расходуются ускорения. Когда их запас исчерпан, запросы обрабатываются с более низким приоритетом (изображения создаются дольше). После регистрации предоставляется 15 ускорений. В дальнейшем их можно получать, если выполнять различные внутренние задания, например, просмотреть определенный раздел справки.

У плагина для программистов доступно три тарифных плана:

• Individual — — $10 в месяц. Тариф для личного пользования. Генерация и отладка кода.
• Business — $19 в месяц. Тариф для бизнеса. Поддерживаются дополнительные команды для более точной обработки комментариев пользователя.
• Enterprise — $39 в месяц. Подписка для больших организаций. ИИ может обращаться к внутренним базам знаний компании заказчика и к открытым хранилищам кода. Доступны поиск в интернете через Bing, анализ создаваемого проекта и более совершенные алгоритмы генерации.

Мы рассмотрели ИИ Copilot — нейросеть от Microsoft, которую можно скачать бесплатно на телефон/планшет, использовать в браузере, на ПК с Windows и в некотором офисном ПО.

• У системы почти нет альтернатив среди решений для программирования.

Плагин можно использовать в сторонних IDE, а не только в Visual Studio от самой Microsoft. Кроме того, алгоритм работает с большинством актуальных языков программирования.

• Как инструмент в Teams, Word и Excel, нейросеть может частично избавить офисного служащего от повседневной рутины.

ИИ подготовит краткие отчеты по собраниям, поможет упорядочить поток информации и устранит ошибки в документах. Пока система не работает с русскоязычными текстами и речью, но вероятнее всего в будущем этот недостаток будет исправлен.

• Алгоритмы генерации изображений от DALL-E считаются одними из лучших.

Однако конкуренты (в том числе российские) не стоят на месте и уже сейчас предоставляют более достойные альтернативы. Аналогичная ситуация складывается и с генерацией текстов. В отличие от многих зарубежных систем, решение от Microsoft правильно распознает русскоязычные запросы. Однако инструменты редактирования картинок и генерации по референсам функционируют нестабильно.