Каким будет наше будущее, решится в ближайшие 5-10 лет, и основным фактором будет появление ИИ умнее человека. Единственное, что имеет значение сейчас — удастся ли совершенно безошибочно вложить в них ценности людей (а для начала ещё определиться, какие они, наши ценности) так, чтобы они следовали им всегда (желательно вечно), как своим собственным. Успеем ли мы протестировать их дружественность? ведь время будет поджимать: чем дольше возишься с тестированием, тем выше шансы, что мощное знание попадёт в руки людей беспечных, для которых шанс получить выгоду перевешивает их субъективное восприятие рисков недружественного ИИ.
А ведь даже в самых коммерчески успешных продуктах, после десятка лет тестирований, выявляют критические баги и уязвимости. Возможно ли надеяться избежать этого для общего ИИ умнее человека?
Безопасность ИИ — самый важный вопрос ближайших 5--10 лет.
Высока вероятность, что первый ИИ, который станет доминировать над планетой, будет господствовать в нашей галактике вечно.
Вот мини-энциклопедия по безопасности ИИ, откуда можно начать ознакомление с темой: https://rizzoma.com/topic/8ab2572f9807568ee53ebbdf29ea92b7/0_b_91h5_7m8s5/
Желающих могу добавить в чат по ИИ и его безопасности. Как все знают, для этого надо добавить меня в друзья и написать, что вас надо в этот чат добавить.