OpenAI направи още една стъпка в интеграцията на изкуствен интелект с ежедневната употреба на компютър чрез пълно обновяване на Codex, неговия десктоп кодов агент. Инструментът, известен преди това предимно с помощта си при програмиране, сега се превръща в асистент, способен да обработва приложения, да запомня предпочитания и да управлява проекти почти безпроблемно.
С тази актуализация, компанията, ръководена от Сам Алтман, доближава плана си за създаване на „Супер приложение“ за десктоп, което обединява ChatGPT, Codex и вашия браузър AtlasХодът има за цел да опрости потребителското изживяване, да концентрира ресурсите в едно работно пространство и да се справи с конкуренти като Anthropic, особено в средата за разработка на софтуер и усъвършенстваната автоматизация.
Codex се учи да използва компютъра като всеки друг потребител
Една от най-поразителните промени е, че Codex вече може контролирайте компютъра във фонов режимАгентът може да вижда какво се случва на екрана, да движи курсора си, да кликва, да пише текст и да реагира на случващото се в инсталираните приложения, без да прекъсва това, което потребителят прави с мишката или клавиатурата.
Тази възможност позволява на множество агенти на Codex да работят заедно. паралелно в един и същ отборТова включва извършване на тестове, промяна на конфигурации или изпълнение на повтарящи се задачи, докато лицето продължава с нормалните си дейности. Това отваря вратата към автоматизиране на работни процеси, които преди изискваха постоянен надзор, като например тестване на приложение след всяка промяна на кода или повтаряне на действия в интерфейса.
OpenAI предлага тази функция като начин асистентът да работи с инструменти, които нямат API или директни интеграции, нещо често срещано в много настолни програми. Codex, като „вижда“ екрана и контролира курсора, може да взаимодейства с тези приложения точно както би го правил човек, макар че засега по контролиран начин и със специално внимание към сигурността.
Според компанията, използването на компютър първоначално е достъпно в macOS чрез настолното приложение Codex, свързан с ChatGPT акаунт. Версията за Windows ще пристигне по-късно, след като производителността бъде тествана и функциите бъдат адаптирани към средата на Microsoft.
В случая с Европа и Обединеното кралство, OpenAI потвърди, че компютърно управление, разширена персонализация, контекстуални предложения и памет Те ще бъдат активирани по-късно. Причината е необходимостта от адаптиране на тези функции към разпоредбите за защита на данните, което е особено взискателно изискване в Европейския съюз и на британския пазар.
Интегриран браузър и директна работа с уеб страници
Актуализацията също така засилва връзката на Codex с мрежата благодарение на... браузър, интегриран в самото приложениеВместо просто да получава общи текстови инструкции, агентът може да получава команди директно за конкретни елементи на страницата.
При разработката на frontend, например, потребителят може Изберете уеб компонент и опишете промяната. Потребителят иска да направи нещо (като например да промени цвета, размера на текста или оформлението на блок) и Codex разбира инструкцията в рамките на този специфичен визуален контекст. Това избягва необходимостта от писане на дълги подкани, обясняващи коя част от сайта трябва да бъде променена.
Този вграден браузър позволява и Codex Анализирайте съдържанието, събирайте информация и я използвайте като контекст За други задачи, като например документиране на код, преглед на продуктови спецификации или сравняване на техническа документация, всичко се извършва в една и съща среда, без да е необходимо да се превключва между множество прозорци на операционни системи.
Генериране и редактиране на изображения с gpt-image-1.5
Друг стълб на новата версия на Codex е интеграцията на модела gpt-image-1.5 за създаване и редактиране на изображения От самото десктоп приложение, агентът може да генерира диаграми, диаграми, макети или визуални скици от текст или чрез комбиниране на инструкции със снимки на екрана и фрагменти от код.
Тази възможност е насочена директно към екипите, работещи в продуктов дизайн, потребителски интерфейси или прототипи на видеоигриНапример, разработчик може да направи екранна снимка на полузавършен интерфейс, да помоли Codex да предложи редизайн на менюто или нова цветова схема и да получи генерирани изображения, които отговарят на този контекст, без да променя инструменти.
С всичко централизирано в Codex, агентите могат обединяване на задачи по кодиране и проектиранеНапишете логиката на функционалност, актуализирайте съответния фронтенд и генерирайте визуален макет, който да представите на екипа, без да напускате работния процес или да се налага да отваряте външни приложения за графично редактиране.
Памет, контекст и дългосрочна автоматизация на задачи
Освен компютърния контрол и генерирането на изображения, големият залог на OpenAI с тази версия е да оборудва Codex с... постоянна памет и много по-широко управление на контекстаИнструментът може да използва повторно предишни разговори, да запазва важна информация и да я извлича, когато е необходимо, за да продължи проект.
Функцията за памет, която се пуска в предварителен преглед, позволява на Codex запомнят лични предпочитания, чести корекции или данни, които са били трудни за събиранеТова включва всичко - от типичния технологичен стек на екипа до начина, по който са организирани папките, най-често използваните формати на отчети и етикета, който обикновено се използва в GitHub за определени видове проблеми.
С този натрупан контекст, агентът може проактивно предлагайте задачиТова може да се използва, за да се предложи възобновяване на незавършен проект, да се препоръча предстоящо рефакториране или да се уведомят потребителите за дългогодишни заявки за изтегляне (pull requests). Някои компании вече го използват за проследяване на разговори в Slack, Gmail или Notion и за реагиране при възникване на определени събития.
Кодексът може също планирайте работа за в бъдеще и се реактивирайте самостоятелно за изпълнение на дългосрочни задачи. Например, може да управлява опашка от прегледи на код в продължение на дни или седмици, като отговаря на коментари и актуализира документацията, без разработчикът да е длъжен постоянно да я наблюдава.
Над 90 добавки и подобрена поддръжка за разработчици
За да завърши промяната, OpenAI добави почти 90 нови плъгина за CodexТе включват интеграции с Microsoft Suite, GitLab Issues, Neon by Databricks, Render и Superpowers, както и поддръжка за MCP (Model Context Protocol) сървъри. Целта е да се предоставят на агента повече източници на контекст и по-големи оперативни възможности.
Благодарение на тези плъгини, Codex може събирайте информация от различни служби и действайте въз основа на нея От едно работно пространство можете да преглеждате проблеми в GitLab, да заявявате данни в среда на Databricks, да актуализирате документи на Office или да взаимодействате с услуги за внедряване, без да принуждавате потребителя да преминава от платформа на платформа.
На чисто техническо ниво, актуализацията засилва типични работни процеси за разработчициСега Codex ви помага да преглеждате заявки за изтегляне (pull requests), да управлявате множество раздели в терминала едновременно, да се свързвате с отдалечени среди за разработка чрез SSH и да отваряте файлове с богати визуализации, независимо дали са PDF файлове, електронни таблици, презентации или документи в други формати.
Всичко това е концентрирано в унифицирано преживяване, което според самия OpenAI позволява по-бърз напредък. във всички етапи от жизнения цикъл на софтуераОт писането на първоначалния код до тестването, внедряването, документирането и поддръжката му, с AI агенти, които непрекъснато си сътрудничат в рамките на една и съща работна среда.
Наличност, фокус върху разработчиците и ситуация в Европа
Новата версия на Codex вече се внедрява в десктоп приложение за macOS За тези, които влизат с ChatGPT акаунт. Не всички функции изискват един и същ тип абонамент, а някои разширени функции може да зависят от закупения план, както е при други инструменти на OpenAI.
Тибо Сотио, директор на Codex, обясни, че тази актуализация Той е насочен специално към разработчициВъпреки че намерението е по-късно да се разшири до по-широка аудитория. Идеята е техническите екипи да бъдат първите, които ще се възползват от новите агенти и автоматизираните работни процеси и с течение на времето да пренесат този модел към офис задачи, управление на документи или лична продуктивност.
OpenAI подчертава, че използването на изчислителна мощност и памет се осъществява с... подход за сигурност и съответствие с регулаторните изискванияТова е особено актуално в Европейския съюз и Обединеното кралство. Поради тази причина разширените функции за персонализиране, контекстните предложения, постоянната памет и директният контрол върху операционната система ще отнемат малко повече време, за да станат достъпни на тези пазари.
Във всеки случай, компанията твърди, че тази еволюция на Codex отваря вратата към... суперприложение за десктоп, фокусирано върху интелигентна автоматизациякъдето агентите с изкуствен интелект не само помагат за писането на код, но и координират задачи, адаптират се към стила на работа на потребителя и поддържат сложни проекти работещи за продължителни периоди. За разработчиците на софтуер в Европа посланието е ясно: идват нови възможности, но с необходимите корекции, за да се впишат в съществуващата регулаторна рамка.