Пробив в AI секторът: ChatGPT скоро ще може да “вижда, чува и говори”

На 25 септември OpenAI, компанията създател на чатбота ChatGPT разкри, че предстоящите актуализации на модела ще въведат иновативни функции, които ще позволят на потребителите да взаимодействат с него чрез изображения и гласово разпознаване.

Това подобрение има за цел да предложи по-персонализирано изживяване, като позволи на потребителите да използват гласови команди. OpenAI подчерта, че тази функционалност разчита на модел за преобразуване на текст в реч, който може да генерира звук от минимални образци на реч, създадени от професионални гласови актьори. Освен това тя използва възможностите на тяхната система за разпознаване на реч с отворен код, известна като Whisper.

Очаква се включването на гласови функции да разшири обхвата на практическите приложения, като например подпомагане на дейности като четене на приказки за лека нощ, съставяне на рецепти, съставяне на речи, рецитиране на поезия, разясняване на общи фрази или дори разрешаване на спорове на масата за вечеря.

OpenAI също така разкри, че скоро потребителите ще имат възможност да изпращат изображения на ChatGPT или да избират определени области в изображенията, за да бъдат интерпретирани и да получат отговор.

Отчитайки потенциалните рискове, OpenAI призна възможността за измама. Вследствие на това тя ще ограничи гласовите функции до своята платформа за гласови чатове.

OpenAI също така призна загрижеността за неприкосновеността на личния живот, свързана с разпознаването на изображения. За да се справят с това, те са ограничили способността на ChatGPT да прави окончателни изявления за лица в изображения.

Макар да признаха, че ChatGPT невинаги може да предоставя напълно точни описания, те подчертаха, че способността му да предлага общи описания на изображенията се е оказала полезна, позовавайки се на предишното си сътрудничество с Be My Eyes – приложение, предназначено за подпомагане на слепи и слабовиждащи лица.