Экспериментальный ML - генератор мемов

Цель

Создать машинные абстрактные мемы.

Задачи

• Создание выборки мемных сообществ
• Парсинг сообществ
• Ресайз изображений
• Прогон изображений через нейросетку
• Оценка результатов обучения

Описание

Генератор мемов на основе HyperGan.

Проект получился не столько кодинговый, сколько сторителлинговый и анекдотичный. Использовалась уже готовая нейросеть HyperGan.

Также в тетрадке Jupyter Notebook находятся полезные команды, которые помогут при установке CUDA, TensorFlow и самой HyperGan.

Заранее стоит отметить, что HyperGan - это векторная нейросеть, так что она плохо подходит для решений задач с текстом, но неплохо - для решения задач визуала.

Решение

Презентация решения выложена на гитхабе: https://github.com/NullOneResearch/HyperGan_Meme_Generator

Выдержка из презентации:

В рамках проекта использовалась видеокарта NVIDIA GeForce GTX 1060 Max-Q. Для работы нейросети требовалась установка CUDA, чтобы можно было вести обучение на видеокарте. У разных видеокарт поддержка разных версий CUDA, также для нейросети требовалась определенная версия Tensorflow. При этом, она также должна была сочетаться с версией CUDA, которая должна поддерживаться видеокартой, и всё это должно было сочетаться с HyperGan.

При ресайзе терялась часть текста. К сожалению, на обучение в более высоком качестве мощностей видеокарты не хватило.

В качестве альтернативы HyperGan рассматривалась PixelCnn. Различия состоят в том, что первая нейросеть является векторной, и хорошо воспроизводит именно формы объектов, а вторая заточена на распознавание именно паттернов пикселей, так что PixelCnn должна лучше работать с текстом и воспроизводить его. Ознакомиться с ней можно по ссылке - https://github.com/openai/pixel-cnn

По всем вопросам можно обращаться в Телеграм.