# Корзина > НЕсуицид >  Компы учатся мыслить абстрактно

## plaksivaya_tryapka

Один из прорывов в работе компов с семантикой текста это модель word2vec и её производные вроде doc2vec. Модель была предложена всего несколько лет назад ребятами из Гугла.

Как следует из названия, слово или набор слов представляется в виде вектора (word to vector), а из школьного курса математики известно, что векторы можно складывать, вычитать и так далее. Соответственно, теперь можно складывать и вычитать слова.

Модель задаёт векторы слов в 300-мерном пространстве, но не надо пугаться. Если вектор на двумерной плоскости записывается двумя числами, то вектор в 300-мерном пространстве это просто 300 чисел через запятую) Слова сортируются по векторному пространству в зависимости от контекста в процессе обучения модели по большому количеству текста. И получается сортировка по смыслу/сути/понятию. Соответственно, операции со словами выглядят как операции с смысловыми признаками. Например, при сложении слов “король” и “женщина” подразумевается нечто, обладающее признаками “королевский” и “женский” и модель ответит “королева”. Вычитание “женщины” из “королевы” даст короля. Это достаточно простые примеры, но на лицо работа именно с абстрактными значениями слов.

Модель меня заинтересовала и я написал бота для мессенджера “телеграм”, чтобы удобнее было с ней играться и понять её особенности и возможности. Бот получает от пользователя четыре слова, затем из первого вычитает второе, а третье и четвёртое воспринимает как ответы пользователя на разность и говорит насколько они близки к реальной векторной разности по шкале от -1 до +1. Затем отправляет в чат десять слов, которые по мнению модели наиболее близки к разности.



Выше были простые примеры и, на мой взгляд, модель с ними справилась нормально. Модель способна и на операции с ещё более абстрактными понятиями, но до Скайнета, конечно, далеко. Где-то лажает, где-то нет. Например, вычитая “душу” из “человека” среди ответов модели третье место занимает “шимпанзе” =) На сумму “газа” и “дыхания” модель уверенно отвечает “воздух”, складывая “чувство” и “секс” получает “любовь”.

Вычитая любое слово из самого себя получается нулевой вектор, который никуда не направлен и, значит, и не имеет смысловых признаков. Иными словами - белиберда =)

Боту можно писать и вдвоём, пытаясь дать ближайшее слово к разности/сумме ранее написанных слов. Второй левел это играть, пытаясь дать наиболее противоположное слово к загаданному, что более требовательно к фантазии) Если, например, угадывать наиболее противоположное слово к слову "сталь", то это будет никак не "вата", потому что и то и другое это материал, вещество и так далее и, соответственно, вата это не лучший вариант) Максимально противоположное не должно обладать смысловым признаком "материал" и всем остальным, чем обладает слово "сталь".

Помимо угадывания ближайших/далёких слов можно решать уравнения, пытаясь подобрать слово для переменной. например в уравнении "X + Y = любовь" слова подобрать легко, а в "Бог - X = человек" гораздо сложнее подобрать Х)

А модель doc2vec позволяет складывать и вычитать не только слова, а целые предложения и тексты (их смыслы), но это уже другая история =)

Кто хочет поиграться с моделью - пишите боту Word2vec_bot в телеграм) Что-то там может быть неудобно или не сразу понятно - извиняйте, я писал на скорую руку и для себя(

----------


## plaksivaya_tryapka

[spoiler]dsfdsf[/spoiler]

----------


## microbe

Чтобы искусственная нейросеть научилась мыслить абстрактно, нужен виртуальный окружающий мир внутри сети сформировать и поместить туда собственное -Я-. 
А это больше похоже на контекстные ассоциативные цепочки без какой-либо осознанной абстракции окружающего мира. И где там субъект и объект?

----------


## plaksivaya_tryapka

Продолжаю свои игры с моделью Word2vec с целью познания=) Придумал новое занятие: искать наиболее противоположные по смыслу слова.

В чём фишка: на первый взгляд может показаться, что противоположные слова это что-то типа добрый и злой. Но это совсем не так, потому что между словами много общего: оба слова являются описательными и описывают некие очеловеченные качества. Поэтому слова нужно подбирать так, чтобы между ними не было ничего общего, а желательно и противоположное. Например, добрый и компот. Это лучше, но всё равно оба слова опять как-то связаны с человеком и их смысловые координаты будут вместе смещены в эту область, что есть плохо. Ещё лучше, например, добрый и абстракция. Или компот и барокко.

В итоге, поиск слов превращается в поиск чего-то наиболее трешового, бредового и противоположного - на что хватит вашей фантазии. На данный момент я достиг максимальной противоположности в минус 0,24, где -1 это максимально противоположно, а +1 это максимально близко. Кто хочет поиграться - добавляйте бота word2vec_bot в телеграм, если лень пишите тут, я сам отпишу ему)

----------


## microbe

*plaksivaya_tryapka*, чтобы нейронка научилась мыслить абстрактно нужно больше чем есть. К примеру создать собственный определённый или неопределённый интеграл, а ещё лучше дифференциальные уравнения высших порядков без машинного обучения и тому подобное. То бишь чисто с чистого листа без каких-либо заложенных принципов, то есть как неорганическая химия преобразовалась в органическую.

----------


## microbe

Мне вообще кажется человечество не сможет познать мозг *никогда*, я думаю мозг это как "кот Шрёдингера". Природа или Бог будет постоянно нас запутывать в поиске истинны функционирования мозга. Даже у однояйцеовых близнецов отпечатки пальцев и мозг разный, отсюда следует что информация это больше чем описание объективного мира. 
p.s. абстракция это супер свойство разума

----------


## microbe

Недавно учёные из США смогли -доказать- что нейроны восстанавливаются даже у старых людей, одно только мешает атеросклероз, изношенность сосудов и капиляров головного мозга. Так что наш мозг может прожить больше чем "положено", нужно решить только проблему сохранности или восстановление сосудов, ибо сердце уже давно пересаживают.

----------


## plaksivaya_tryapka

Логично, проблемы с сердечно-сосудистой системой это самая распространенная причина смерти

----------


## microbe

Всё правильно сердечно-сосудистые заболевания на первом месте. Хотя гипотеза или "теория" апоптоза говорит о запрограммированной смерти, но я думаю что человечество сможет в будущем побороть эту проблему.

----------


## microbe

Вот к примеру Докинз говорит об "Эгоистичном гене" но я думаю что у него это утрировано. Ведь множество клеток-нейронов создают единый разум, то есть большое кол-во нейронов работают на единый разум. Мы воспринимаем себя как целое, а не разрывное. Я не буду утверждать что непрерывное и что дискретное, но скажу что разум скорее в области квантовой физике, а не биохимии как раньше думал.

----------


## microbe

Я не знаю когда познаем полностью мозг, но верю всё таки в будущем сможем.

----------


## microbe

Когда познаем полностью функционирование мозга, то сможем незрячим возвращать зрение, глухим слух, парализованным подвижность, ампутированные конечности заменять на целые, у преступников изымать полную информацию из памяти мозга для их вины, записывать на аудио-видео сновидения и многое другое. И самое интересное создавать виртуальные миры, ведь все сигналы которые получают 5-органов чувств сможем моделировать по своему усмотрению, то есть как хотим и будем делать. Ведь 5-органов чувств дают нам связь с внешним окружающим миром, не будь этих потоков "сигналов" мы не смогли бы взаимодействовать с внешним миром. Да, мозг это самый сложный объект во Вселенной, как не крути.

----------


## microbe

Мне вот интересно знать, почему нейроны реагируют на стимулы и что их заставляет именно так реагировать на тот или иной стимул? К примеру стимул на наслаждение или на острую боль, ведь различия очень масштабные. Одни сигналы угнетают наше сознание, а другие дают наслаждение, как и что это делает нам это чувство? Мне кажется это область на уровне квантовой физике, а не биохимии...

----------


## microbe

Одно дело "мыслить", а другое дело ощущать окружающий мир при помощи эмоций. А ведь этот уровень намного сложнее чем уровень когнитивных функций.

----------


## microbe

В последнее время думаю что наш мозг приёмник и передатчик электро-импульса, а остальное где хранение и получение доступа к базе данных не в нашей области материи.

----------


## microbe

Бывают такие парадоксы когда у человека в прямом смысле остаётся 10% мозга и он при этом сохраняет свои жизнедеятельности потребности, даже при вскрытие у заядлых алкашей вместо мозга жидкость бывает. С точки зрения схемотехнике и удивительной пластичности и сжатие нейронов это просто чудо.

----------


## microbe

Что-то нейронауки уже 60-лет буксуют в полностью познание мозга до молекулярной функциональности нейронов.

----------


## 4ёрный

> Что-то нейронауки уже 60-лет буксуют в полностью познание мозга до молекулярной функциональности нейронов.


 Было бы странным, познать себя за 60 лет, учитывая многотысячелетнюю историю создания познаваемого образца)))
А если серьёзно, эволюция продолжается. И когда содержание превозойдет свою форму, то либо изменится форма ( и эволюция продолжится), либо произойдёт разрыв формы и содержания ( конец ).

----------


## microbe

Эволюция на геном уровне стоит на месте, если что. За всё время генетики не зафиксировали дискретной эволюции у человека. Не надо приписывать миллионы лет случайности бытия. Тут недавно прочитал опус о появление жизни почти сразу после создание планеты Земля, тобишь учёные некоторые думают о создание жизни вне планеты Земля. Я понимаю бритвы Оккамы, но неизведанное трудно понять истинную природу быия...

----------


## Phenex.New episode

> А если серьёзно, эволюция продолжается. И когда содержание превозойдет свою форму, то либо изменится форма ( и эволюция продолжится), либо произойдёт разрыв формы и содержания ( конец ).


 Да, ребят, реальная угроза для человечества)

----------


## microbe

У кибернетики был уже провал в 80-ых с экспертными системами, сейчас снова взялись за нейронные сети из-за мощностей векторных вычислений на GPU тут один нюанс в проблеме "чёрного ящика" у искусственных нейронных сетей. И самое главное разум не может появиться в этих сетях! Да что тут говорить, если мозг червя для нас проблема не говоря о биомеханики и размножения с автономным существование в окружающей среде...
p.s. можно много приводить доводов, но с другой стороны машинное обучение даёт результаты пока. С одной стороны всё что мы создаем это работа мозга, отсюда следует что эволюция продолжается в виде абстрактной математике, а не биологии.

----------


## microbe

Кто первый Джон Атанасов или Конрад Цузе, иль Чарлз Бэбидж, а кто основа Джордж Буль и Лейбниц, и тому подобное. Кто первый Норберт Виннер или Тьюринг, а может ещё Клод Шеннон, Эдсгар Дейкстра. Денис Ритчи, Кен Томпсон, Бьерн Страуструп, Джеймс Гослинг, Ларри Уолл, Расмус Лердоф, Никлас Вирт, Грейс Хоппер, Джон Маккарти, Джон Бэкус...,

----------


## 4ёрный

Движущая сила разума - потребность выжить. Пока компы не борются за существование - они не разумны.

----------


## microbe

Всё верно, главное разума осознавать окружающий мир, не просто действовать по заложенным инстинктам, а уметь извликать более лучшие способы для своего существования. Мне охотно докопаться до истины, иль органическая материя возникает как закон физики - то есть имею ввиду при определенных условиях возникает жизнь. Мы ведь шибко не удивляемся солнечной системой, а вот проявлению жизни больше.

----------


## 4ёрный

Весь вопрос в том, что заставляет собираться атомы в молекулы, молекулы в вещества, вещества в организмы. К чему весь этот симбиоз, если атомы могут существовать сами по себе? Или не могут? Быть может, единственная форма жизни - это ДНК и рнк, паразитирующие и подчиняюшие себе белковых симбионтов. Воюющие между собой. Или это войны чистого разума, закодировавшего себя в химических последовательностях?

----------


## Nabat

В ближайшее будущее у компов нет ни малейшего шанса научиться мыслить абстрактно. На сегодняшний день - передовое
достижение науки в этом направлении - коннектом элегантного червя (от латинского - caenorhabditis elegans). У этого червя всего 1000 клеток,
из которых 300  нейронов. И вот, ученые, изучив все его немногочисленные синапсы, (до 5 от каждого нейрона) создали коннектом данного червя. И он не фига не функционирует как настоящий элегантный червь.
Так что, ничего ваши компы не учатся, и в ближайшее время не научатся. Для сравнения: у человека около 90 млрд. нейронов, у каждого около 5000 синапсов, причем, каждый день, в среднем, 3 из них распадаются, а 
3 создаются вновь. Почувствуйте разницу.

----------


## microbe

4ёрный, гравитация, электро-магнитные волны, ядерные силы по сути все те законы физики которые изучает фундаментальная наука.
На счёт мотивов материи объединятся - это загадка самой бытия Вселенной. Nabat, всё правильно ибо это мне известно, может быть Роджер Пенроуз прав на счёт квантовой природе сознания, посмотрим как покажут себя квантовые компьютеры, есть пионеры в этой области в IBM.

----------


## 4ёрный

Мне кажется, что все дело в алгоритмах ассоциативного мышления и логическом обосновании поведения. Кто нибудь создал самоподдерживающийся алгоритм?
Как об'яснить компьютеру необходимость самостоятельно ремонтироваться и добывать энергию? Чем его мотивировать?

----------


## 4ёрный

Дело не в синапсах, а в ситуационном мышлении. Чтобы определённые обстоятельства ассоциировались с определёнными последствиями. А это возможно лишь с опытом.

----------


## 4ёрный

Червь - это слишком сложно. Надо начинать с амёбы.

----------


## microbe

Тут нелинейные структуры данных трудно все охватить не говоря о мозге. К примеру RB-Tree, AVL-Tree, 2-3 Tree, 2-3-4 Tree, B-Tree, B+-Tree, B*-Tree, Splay Tree, ну может ещё R-Tree короче очень сложно. А ещё куча есть очень сложная Фибоначчиева куча.
Многие которые себя называют true-программистами кроме двоичного дерева поиска не могут реализовывать выше перечисленные деревья. Да что тут говорить, если многие программеры немогут самостоятельно реализовать merge sort и quick sort не рекурсивный.

----------


## 4ёрный

Я конечно не программист, но в прошлой жизни изучал фортран и Паскаль на ес1073.))) Так что представление имею. Возможно, смутное))) 
А про сортировку данных в контексте искина можно посмотреть фильм "окончательный монтаж" с Робином Уильямсом. 
Мне кажется, что в процессе работы искин должен постоянно находиться в процессе проверки внешних обстоятельств на соответствие уже записанным в память для вынесения решения о действии, сообразуясь с требуемым результатом и своим опытом.

----------


## 4ёрный

И кстати, придётся жёстко модерировать хранимые данные. Человек тоже многое не помнит. Важно только то, что связано с выживанием и социализацией.

----------


## 4ёрный

Самое трудное - алгоритм ассоциативного поиска данных и связь его с решаемой задачей.

----------


## microbe

> Самое трудное - алгоритм ассоциативного поиска данных и связь его с решаемой задачей.


 Тут главное контекст, на счёт ассоциативного то здесь продвижения есть, а вот в понимание контекста нет. На счёт искусственного разума то здесь трудно что-то сказать.

----------


## microbe

Короче скажу так, вот когда ИИ сможет придумать или создать свою математику, вот тогда поверю в искусственный разум и т.п.

----------


## 4ёрный

Каждый из нас своего рода ИИ. От рождения заложен лишь механизм инстинктов. Все остальное - обучение и опыт .
Когда компы осознают себя как самостоятельную систему - тогда и будет ИИ.
Система может не знать о своём предназначении, но базовые мотивации (больно,страшно,холодно,тепло...) должны в ней уже быть. Как можно сделать компу больно? Кто найдёт ответ - станет основателем ИИ.

----------


## microbe

Лимбическая система мозга мне кажется больше выполняет функций чем думают, наверное Юнг прав на счёт силу подсознания.

----------


## microbe

Вообще мне кажется Роджер Пенроуз прав на счёт квантовой природе нашего мозга. Во-первых мозг использует электро-импульсы для своего функциональности, отсюда следует что электроны и есть истина в последней инстанции. А как мы знаем, что электроны это область больше ядерной физики чем органической химии...

----------


## microbe

Пускай мыслят, если смогут. Мне балдому вообще до лампочки, что и как мыслит, хе-хе...

----------


## microbe

Да гавно это машинное обучение, что искусственные нейронные сети и нечёткая логика по сути тождественны. Мозгу для своей работы хватает почти 25-ватт во время бодрствовании, слабо такое повторить на Si-кремнии?  Теорема Гёделя о неполноте)))

----------


## microbe

Какой мозг, если сейчас наука не может синтезировать искусственную кровь, плазму эритроциты, тромбоциты, лейкоциты и т.п. Где у светил мира сего, искусственный желудок, кишечник, печень, лёгкие, поджелудочная железа, восстановление спинного мозга(у колясчников), лечение церебрального.паралича, мышечной дистрофии, болезни Бехтерова и т.д. Вот смотрите это не мозг по сути, а переферия и где здесь прорывы? Даже сахарный диабет не под силу пока. Так что рано говорить про мозг!

----------

