Тепер існує альтернатива ChatGPT з відкритим вихідним кодом, але бажаємо успіхів у її запускі • TechCrunch

Вийшов перший еквівалент OpenAI ChatGPT з відкритим кодом, але бажаємо вам удачі, запустивши його на своєму ноутбуці — або взагалі.

Цього тижня Філіп Ван, розробник, відповідальний за зворотне проектування закритих систем штучного інтелекту, включаючи Make-A-Video від Meta, випустив PaLM + RLHF, модель генерації тексту, яка веде себе подібно до ChatGPT. Система поєднує PaLM, велику мовну модель від Google, і техніку під назвою Reinforcement Learning with Human Feedback (скорочено RLHF), щоб створити систему, яка може виконувати практично будь-яке завдання, яке може виконувати ChatGPT, включаючи написання електронних листів і пропозицію комп’ютерного коду.

Але PaLM + RLHF не має попередньої підготовки. Тобто система не була навчена на зразках даних з Інтернету, необхідних для її фактичної роботи. Завантаження PaLM + RLHF не призведе до чарівного встановлення досвіду, подібного до ChatGPT — для цього знадобиться зібрати гігабайти тексту, з якого модель може навчатися, і знайти апаратне забезпечення, достатньо потужне, щоб впоратися з навчальним навантаженням.

Як і ChatGPT, PaLM + RLHF є, по суті, статистичним інструментом для передбачення слів. Коли PaLM + RLHF отримує величезну кількість прикладів із навчальних даних — наприклад, повідомлень із Reddit, новинних статей та електронних книг — дізнається, наскільки вірогідними можуть бути слова на основі шаблонів, таких як семантичний контекст навколишнього тексту.

ChatGPT і PaLM + RLHF поділяють особливий соус у Reinforcement Learning with Human Feedback, техніку, яка спрямована на краще узгодження мовних моделей із тим, що користувачі хочуть від них досягти. RLHF передбачає навчання мовної моделі — у випадку PaLM + RLHF, PaLM — і її тонке налаштування на наборі даних, що містить підказки (наприклад, «Поясни машинне навчання шестирічній дитині») у поєднанні з тим, що люди-добровольці очікують від моделі. сказати (наприклад, «Машинне навчання є формою ШІ…»). Вищезазначені підказки потім передаються в налаштовану модель, яка генерує кілька відповідей, і волонтери ранжують усі відповіді від найкращої до гіршої. Нарешті, рейтинг використовується для навчання «моделі винагороди», яка бере відповіді оригінальної моделі та сортує їх у порядку переваги, фільтруючи найкращі відповіді на дане підказка.

Це дорогий процес, збір даних навчання. Та й саме навчання коштує недешево. PaLM має розмір 540 мільярдів параметрів, «параметри» стосуються частин мовної моделі, отриманих із навчальних даних. Дослідження 2020 року прив’язало витрати на розробку моделі генерації тексту лише з 1,5 мільярда параметрів до 1,6 мільйона доларів. А щоб навчити модель Bloom з відкритим кодом, яка має 176 мільярдів параметрів, знадобилося три місяці з використанням 384 графічних процесорів Nvidia A100; один A100 коштує тисячі доларів.

Запуск навченої моделі розміру PaLM + RLHF також не є тривіальним. Для Bloom потрібен спеціальний ПК із приблизно вісьмома графічними процесорами A100. Хмарні альтернативи коштують дорого, оскільки за допомогою математичних підрахунків витрати на використання OpenAI GPT-3, що генерує текст, який має близько 175 мільярдів параметрів, на одній веб-службі Amazon становлять близько 87 000 доларів США на рік.

Себастьян Рашка, дослідник штучного інтелекту, зазначає в публікації на LinkedIn про PaLM + RLHF, що розширення необхідних робочих процесів розробників також може виявитися проблемою. «Навіть якщо хтось надасть вам 500 графічних процесорів для навчання цієї моделі, вам все одно доведеться мати справу з інфраструктурою та мати програмну структуру, яка зможе це впоратися», — сказав він. «Очевидно, що це можливо, але наразі це вимагає великих зусиль (звичайно, ми розробляємо фреймворки, щоб зробити це простіше, але це ще не тривіально)».

Це все, щоб сказати, що PaLM + RLHF не збирається замінити ChatGPT сьогодні — якщо тільки добре фінансоване підприємство (або особа) не потрудиться провести навчання та зробити це загальнодоступним.

Кращими новинами є те, що кілька інших спроб відтворити ChatGPT просуваються швидко, в тому числі під керівництвом дослідницької групи під назвою CarperAI. У партнерстві з відкритою дослідницькою організацією штучного інтелекту EleutherAI і стартапами Scale AI і Hugging Face CarperAI планує випустити першу готову до запуску модель штучного інтелекту, схожу на ChatGPT, навчену людським відгуком.

LAION, некомерційна організація, яка надала вихідний набір даних для навчання Stable Diffusion, також очолює проект із відтворення ChatGPT за допомогою новітніх методів машинного навчання. LAION амбіційно прагне створити «помічника майбутнього» — такого, який не лише пише електронні листи та супровідні листи, але «виконує значущу роботу, використовує API, динамічно досліджує інформацію та багато іншого». Це на ранніх стадіях. Але сторінка GitHub із ресурсами для проекту запрацювала кілька тижнів тому.

Leave a Comment