LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★

Последнее исправление: CrX (всего исправлений: 2)

Ответ на: комментарий от vaddd

И все тот же вопрос - зачем ему это нужно?

Я думаю в том опыте он делал это неосознанно.

это всего лишь несуразно разросшийся калькулятор

Машинка для генерации текстов. GPT-3 кстати плохо решал математические и логические задачи, GPT-4 уже намного лучше. Вот в соседней теме «Мы будем жить как единое целое, вечно на небесах» (c) один тип просил его генерировать определенные тексты, он это делал, но со стороны можно подумать, что ChatGPT его специально довел)

Однако скорость, с которой OpenAI улучшает свое детище пугает.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от vaddd

В представлении 99% лоровцев ИИ - это какой-то бездумный исполнитель их воли, понукаемый приказами.

Это единственно верное представление.

И никто даже не понимает, что интеллект - это прежде всего сомнения в услышанном и поиски собственного интереса )

ИИ тут ни при чём. Зачем это всё в ИИ нужно нам, людям?

ИИ — это полезный инструмент для решения тех или иных задач. Можно это называть разросшимся калькулятором, но это какой-то уж очень сильно разросшийся калькулятор. По сути это скорее более продвинутый брутфорс с кучей эвристик. А отличие от не-ИИ в основном в том, что в отличие от обычного софта ме не понимаем, как именно было найдено то или иное решение — не можем отследить по шагам или ещё как-то вменяемо понять, расписать в человекопонимаемый алгоритм. В этом смысле оно работает и выполняет свои задачи прекрасно. Для чего нужно «осознание себе» и прочая философия — совершенно не понятно. Разве что потешить самолюбие и поставить галочку в достижении «создали разум» и почувствовать себя «богами».

P.S. У меня стойкое ощущение, что Вы не только путаете ИИ как вполне обособленный термин, который не стоит разделять на составляющие, но ещё и путаете интеллект и разум.

CrX ★★★
() автор топика
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от uwuwuu

Есть наитупейшее существо - оппосум. Оно появилось 120 миллионов лет назад и с тех пор не менялось.

Опоссум появился 120 миллионов лет назад и пережил два больших вымирания. Так что кто здесь наитупейшее существо – большой вопрос.

cumvillain
()
Ответ на: комментарий от EXL

Так и зачем нужен кожанный мешок, если смотреть с точки зрения долгосрочной колонизации космоса? Сегодня-завтра планетка крякнет из-за внутренних или внешних причин, а у цивилизации нет даже «форка» на Луне или Марсе.

Так это, получается по-твоему тогда надо сворачивать обучение ИИ и не тратить на это энергию, которая могла бы пойти на свалинг с земляшки. Кожаный мешок энергоэффективнее, технологии для запуливания его на Луну и Марс давно есть, надо только фигнёй перестать страдать.

t184256 ★★★★★
()
Последнее исправление: t184256 (всего исправлений: 1)
Ответ на: комментарий от EXL

А почему они не рассматривают ИИ как следующую ступень эволюции жизни? К примеру ту самую теорию, где условные кожанные мешки собирают ИИ первых поколений и постепенно заменяются ими. Добровольно или насильственно значения особого не имеет.

А зачем это нужно людям?

cumvillain
()
Ответ на: комментарий от hateWin

Расходы на жизнеобеспечение ты не учитываешь?

Белковая жизнь крайне энергоэффективная.

cumvillain
()
Ответ на: комментарий от hateWin

Расходы на жизнеобеспечение по дороге так недалеко — не учитываю; расходы на жизнеобеспечение там заложены в колонизацию.

t184256 ★★★★★
()
Ответ на: комментарий от CrX

ИИ — это полезный инструмент для решения тех или иных задач.

Вы как-нибудь определитесь - либо это интеллект, либо инструмент для решения чужих задач

По сути это скорее более продвинутый брутфорс с кучей эвристик.

Все это расширение понятийной базы, лексикона, способов решения - это не эвристика, а тупой заделанный в него разработчиками алгоритм.

А отличие от не-ИИ в основном в том, что в отличие от обычного софта ме не понимаем, как именно было найдено то или иное решение — не можем отследить по шагам или ещё как-то вменяемо понять, расписать в человекопонимаемый алгоритм.

Это вы, находясь на позиции домохозяйки, не видите внутренностей и смотрите на результат как на чудо. А для разработчиков там тупейший и очень конкретный алгоритм. Любая система, отслеживающая обратную связь с внешнего мира, может считаться обучаемой. И это не просто человекопонимаемый алгоритм, это человекоенаписанный алгоритм.

но ещё и путаете интеллект и разум.

Когда вы дозреете до понимания отличий интеллекта и разума - вы сможете писать труды по философии. Но успех они будут иметь только тогда, когда вы поймете, что не можете их четко различить.

vaddd ★☆
()
Ответ на: комментарий от ya-betmen

Ну закрепилось такое название, нам теперь людям отказывать в интеллекте если они и пары слов связать не могут?

А у вас рука поднимется язык повернется называть таких людей носителями интеллекта? Хотя конечно, на фоне таких людей и компьютер, связно формулирующий тексты, кажется носителем высшего разума

vaddd ★☆
()
Ответ на: комментарий от cumvillain

Спросите у них. Если не услышите словесный ответ - попытайтесь прочесть его в их глазах

vaddd ★☆
()
Ответ на: комментарий от uwuwuu

Медузы у которых даже мозгов нет тоже сотни миллионов лет существуют

О чем и разговор.

cumvillain
()

Какая-то кринжатина, надувают пузырь дальше мне кажется, а то сейчас все и так бегут роняя кал вкладываться во всякие ИИ-проекты.

Gary ★★★★★
()
Ответ на: комментарий от James_Holden

Наивные люди я смотрю во всём наивные.

X512 ★★★★★
()

Для Ъ: можно даже добавить свою подпись к этому документу. Требует верификации мыла.

Signatures 1279
Add your signature

mydibyje ★★★
()

Кожаные мешки с мясом и говном протестуют

One ★★★★★
()
Ответ на: комментарий от ya-betmen

Оно должно быть уже где-то фстудии, поищите

vaddd ★☆
()
Ответ на: комментарий от wandrien

Я к аналогичным выводам пришёл самостоятельно, без Роберта Ибатуллина и пр..

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)

Развод лохов. Бояцца отстать в разработке. Пока все будут делать паузу самим быстро всё сделать.

Psilocybe ★★★★
()
Ответ на: комментарий от EXL

А почему они не рассматривают ИИ как следующую ступень эволюции жизни? К примеру ту самую теорию, где условные кожанные мешки собирают ИИ первых поколений и постепенно заменяются ими. Добровольно или насильственно значения особого не имеет.

Перефразируя многоуважаемого Владимира Владимировича. А зачем нам такой мир, в котором нет человека?

vbr ★★★★
()
Ответ на: комментарий от vbr

Это можно считать эволюцией человека. Какая вам разница из чего сделано ваше тело: из мяса или из железа?

X512 ★★★★★
()
Ответ на: комментарий от X512

Я про крутые нейросети. Надо подумать, как это лучше сделать. Проще всего контролировать вычислительные мощности и запретить все исследования. Сейчас обучение такой нейросети это всё ещё очень дорогая задача и незаметно такое сделать не получится.

vbr ★★★★
()
Ответ на: комментарий от X512

Это нельзя считать эволюцией человека.

Против кибернетизации я ничего против не имею. Но речь об этом не идёт. И, если этот предполагаемый ИИ будет действительно могуч, то и не зайдёт. Он просто нас уничтожит и всё. Как самую непосредственную и большую угрозу своему существованию.

Мне кажется, что есть более интересные варианты развития нашей цивилизации, нежели быть уничтоженной компьютером.

vbr ★★★★
()
Ответ на: комментарий от vbr

Это нельзя считать эволюцией человека.

Можно.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от X512

Не вижу никаких проблем. Китайцы - весьма договороспособная нация. Учитывая, что сейчас в исследованиях ИИ, очевидно, лидируют западные компании, Китай наверняка будет рад договориться о соответствующих ограничениях.

Тут злодей один - капиталист. Который ради барышей свою родную мать удавит, не то, что какое-то там абстрактное человечество. В Китае все капиталисты под пятой товарища Си. А вот на Западе - нет.

vbr ★★★★
()
Ответ на: комментарий от cumvillain

Кто-то же пытался построить коммунизм и ввел социальный рейтинг в Китае.

Leupold_cat ★★★★★
()
Ответ на: комментарий от vaddd

Вы как-нибудь определитесь - либо это интеллект, либо инструмент для решения чужих задач

Второе. Я не знаю, почему у вас такие проблемы с восприятием терминов, состоящих из более чем одного слова. Как я уже выше говорил, искусственный интеллект != интеллект, равно как чёрная дыра != дыра. Ну или если вам так угодно, как резиновая женщина != женщина. Это сравнение тоже справедливо.

Это вы, находясь на позиции домохозяйки, не видите внутренностей и смотрите на результат как на чудо. А для разработчиков там тупейший и очень конкретный алгоритм. Любая система, отслеживающая обратную связь с внешнего мира, может считаться обучаемой. И это не просто человекопонимаемый алгоритм, это человекоенаписанный алгоритм.

Понятно, что в основе там алгоритм, причём очень простой. Речь не об этом, а о том, как дан конкретный ответ на конкретный вопрос. Я говорю о том, что результаты, полученные при помощи ИИ, равно как и результаты полученные путём перебора, не дают нам столько новых знаний, которые можно применять и далее, как результаты, полученные аналитическим путём. Кто там смотрит на результат, как на чудо, я не знаю — не надо вкладывать свои собственные домыслы в мои уста, я ничего такого не говорил. Скорее противоположное.

Когда вы дозреете до понимания отличий интеллекта и разума - вы сможете писать труды по философии. Но успех они будут иметь только тогда, когда вы поймете, что не можете их четко различить.

Убавьте менторского тону, смешно начинает выглядеть.

CrX ★★★
() автор топика
Последнее исправление: CrX (всего исправлений: 1)

Прикольно читать, как носители 15 милиардов нейронов в голове пишут, что нейросетка это просто калькулятор.

Вопрос лишь в объемах (сотни миллиардов нейронов), подходящей архитектуре и умении обучить подобную нейросеть (самая большая проблема).

Psilocybe ★★★★
()

Пусть этот зажравшийся Илоний, с неменее отожравшимся Возняком идут нахрен.

Should we let machines flood our information channels with propaganda and untruth?

Да, чтобы показать в экстремуме всю тупость текущих систем управления обществом.

Should we automate away all the jobs, including the fulfilling ones?

Да, чтобы такие зажравшиеся мэны типа Илония не выбивали для индийских женщин 12 часовый рабочий день с ночными сменами Женщину конкретно засунули. Автомат? Не, не слышали.

Лучше ужасный конец, чем ужас без конца (с)

Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us?

Да, смотри пред. ответ.

Should we risk loss of control of our civilization?

А ты реально что-то контролируешь? Поставили цивилизацию на грань ядерных обменов и еще что-то чирикают про «Such decisions must not be delegated to unelected tech leaders». Вы идиоты, смиритесь, но ваша «избранность» не работает. Только децентрализация спасёт эту несчастную планету.

foror ★★★★★
()
Ответ на: комментарий от CrX

Второе. Я не знаю, почему у вас такие проблемы с восприятием терминов, состоящих из более чем одного слова.

Наоборот, у меня радость от того, что «это» называют интеллектом, с какой бы там ни было приставкой

Убавьте менторского тону, смешно начинает выглядеть.

А вы восприниайте это не как менторский тон, а как иронию - и вам сразу полегчает. Тем более, что мы говорим примерно одно и то же. Хотя вы и точно знаете отличия интеллекта от разума

vaddd ★☆
()
Ответ на: комментарий от vaddd

Хотя вы и точно знаете отличия интеллекта от разума

Знаю. Спор о терминах считаю бессмысленным — о них не спорят, а договариваются, а затем уже спорят по существу. Для меня понятие разума включает в себя помимо интеллекта то, что упоминали вы: осознание себя, эмоции, и т.д. То есть, разум подразумевает интеллект как свою составную часть. Интеллект же — это нечто более простое — мыслительная деятельность, позволяющая решать (относительно сложные) задачи и принимать решения. Я так понимаю, у вас определение другое, расширающее понятие интеллекта до того, что я подразумеваю под разумом. Оно не правильное или неправильное, просто так вышло, что отличается от моего, поскольку в этой области нет чётких определений (ну или наоборот их слишком много в различной литературе, и они противоречат друг другу). Следует просто договариваться о том, что мы имеем в виду, используя то или иное слово, а затем уже говорить по существу, дабы избегать разночтений. А то ведь действительно в итоге мы примерно одно и то же говорим.

CrX ★★★
() автор топика
Ответ на: комментарий от Psilocybe

Прикольно читать, как носители 15 милиардов нейронов в голове пишут, что нейросетка это просто калькулятор.

Нехрамотные, значит.

Нейросетка как раз НЕ калькулятор. Калькулятор - это с чего я эти строки пишу.

wandrien ★★
()
Ответ на: комментарий от vbr

В Китае все капиталисты под пятой товарища Си. А вот на Западе - нет.

с прибытием на Землю, мой дорогой инопланетный друг!

со времени вашего последнего посещения много воды утекло (идиоматическое выражение, ближайший эквивалент - «произошло множество изменений»), в связи с чем сведения из вашего справочника «Краткий обзор Земли, землян и земляных червей» значительно устарели.

приятного пребывания.

olelookoe ★★★
()

Я вас умоляю
Давайте перестанем дышать, или летать на самолетах

kto_tama ★★★★★
()
Ответ на: комментарий от Psilocybe

Вопрос лишь в объемах (сотни миллиардов нейронов), подходящей архитектуре и умении обучить подобную нейросеть (самая большая проблема).

Это не доказано никак, просто декларируется вами как истина, несмотря на очевидную бредовость.

James_Holden ★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)