И как нейросеть понимает, что...

[Пyмяyx**]

Задумался.
Вот предлагаю я нейросети нарисовать, допустим, город. Рисует. Как правило, довольно похоже.

Санкт-Петербург


Рим


Монреаль



Прага



Карловы Вары


Иногда рисует узнаваемые объекты, иногда - рядовую застройку.

Вот такой аркады в Питере нет. Но выглядит очень по-питерски. А над ней что? Облака?


Но это известные города. Неудивительно, что нейросеть их знает.

Норильск

Ведь знает, что это город и что город на севере.

Могла посмотреть в Интернете? Но тогда бы все города рисовала похоже и гораздо более похоже.

Тирасполь

Да где в Тирасполе такое?


А вот возьмём городишки, которые вряд ли нейросеть может знать.
Кирьят-Экрон, в котором я живу.

Мало похоже. Высокие холмы, высокие дома. Если бы просто смотрела Интернете, нарисовала бы так:


Вот тоже вид сверху. Разницу видите?
Однако ясно, что это - южный город. Кипарисы и никакаих берёз.

Жеребково-городишко в Одесской области. Вряд ли НС знает о нём. Но нарисовала дом, а не человека и не зверя.

Сосница Черниговкой области. Не думаю, что нс в процессе обучения получала какую-то информацию об этом городишке. И нарисовано совсем непохоже. Это, скорее, похоже на Германию.

Но, опять таки, непонятно. Если бы она набрала "Сосница" в Интернете, она бы не нарисовала такой дом. А если нет, то как поняла, что это город, а не человек, зверь или, скажем, блюдо из сосновых иголок?

Может быть, НС ориентируется на окончание? Стал задавать несуществующие города.

Мёпоград


Мухосранск


Среднежопинск

.
Как видим, рисует города, хотя таких не существует.

[Пyмяyx**]

Кирьят-Поцкин.
В Израиле есть Кирьят-Моцкин. А "поц" на идиш, простите "член"

И это Израиль, во всяком случае, юг. Пальмы.

[Пyмяyx**]

Мяу-Таун.
Ну, это понятно

[Пyмяyx**]

Сидоровка



Костино


Мудозвоново


Кимлодрищинск
Опечатка. Хотел написать "Кислодрищинск"

.

[Пyмяyx**]

Мудозвоново и Кимлодрищинск, всё-таки, люди. Хотя за их спинами какие-то дома.

[Пyмяyx**]

Попробовал дать названия несуществующих животных, с "завр" в конце.

Кенлозавр



Ркогозавр




Хрюкозавр
.

[Пyмяyx**]

А вот с фамилиями процент попаданий меньше, но всё равно много.



Макушкин


Коляков



Клогунов


Мапенко

Как видим, не распознала

Еусякякина


Макакеева


.

[Пyмяyx**]

Пурпуридзе

[Пyмяyx**]

Муксон
Я думал, что это фамилия

[HellGirl]

Алгоритмы работы нейросети довольно банальны -
1) По любому запросу ищет тысячу картинок,
2) Отсеивает совсем непохожие друг на друга,
3) А оставшиеся пытается привести к некому общему знаменателю,
4) но так, чтобы результат был похож на осмысленное изображение.
Если похожих картинок совсем нет - рисует мужчину или женщину.

Поэтому картинку на тему "осел выступает а звери записывают" нейросеть изобразить не может - нет в сети подобных изображений.
Получается либо выступающий осел, либо пишущие звери, либо пишущий осел.

Главные проблемы нейросети в том, что думать она не умеет:
Она не понимает, что именно она изобразила кто есть кто на сгенерированных ею картинках.
Особенно это заметно в запросах с несколькими персонажами, когда на тему "спорят викинг и раввин" изображает двух раввинов или двух викингов.
​
Так же нейросеть не умеет в трехмерку: не способна создать 3-D модель сгенерированного ею изображения, поэтому неправильно изображает объемные объекты.
Рано или поздно (скорее поздно чем рано) научится и тому и другому.

Однако к тому времени возникнет другая проблема: сеть будет наполнена сгенерированными нейросетью изображениями с шестью пальцами, и кривыми объектами, и нейросеть начнет дублировать прошлые ошибки, не умея отличать настоящую фотографию от сгенерированного ранее фейка.

P.S. Извиняюсь, если пишу банальности, которые всем известны.