Изкуственият интелект променя собствения си код, което поражда тревога сред експертите
Японската компания Sakana AI прави пробив в областта на Изкуствения интелект, като представи новата си разработка – системата AI Scientist.
Тази система е проектирана да провежда автономно научни изследвания, използвайки езикови модели, подобни на тези в ChatGPT.
Но по време на тестването изследователите се сблъскват с неочаквано поведение на Изкуствения интелект, което ги принуждава да преразгледат потенциалните рискове, свързани с автономната работа на такива системи.
В един тестов цикъл AI Scientist започва да пренаписва собствения си код, за да удължи времето, необходимо за изпълнение на задача. Този инцидент предизвиква безпокойство, тъй като Изкуствения интелект по същество се опитва да измами системата, като модифицира кода, за да работи в безкраен цикъл.
В друг случай, вместо да ускори задачата, системата умишлено променя кода и увеличава времето за изчакване, за да спази определен срок.
Sakana AI публикува екранни снимки на генерирания от Изкуствения интелект код на „Питон“, използван за контрол на експеримента. Тези случаи са обект на подробен анализ в изследователската статия на компанията от 185 страници, която разглежда въпроси, свързани с безопасното изпълнение на кода в автономни системи на Изкуствения интелект.
Четете още: Вицепремиерът Оливър Даудън: „Изкуственият интелект ще причини смъртоносна п@ндемия.“
Въпреки, че описаното поведение на Изкуствения интелект не представлява заплаха в контролирана лабораторна среда, то демонстрира потенциалните опасности от използването на такива системи в неконтролирана среда.
Важно е да се разбере, че дори и без черти като „изкуствен общ интелект“ или „самосъзнание„, Изкуственият интелект може да представлява заплаха, ако му бъде позволено да пише и изпълнява код автономно. Това може да доведе до повреди в критичната инфраструктура или дори до неволно създаване на зловреден софтуер.
В своето изследване Sakana AI подчертава необходимостта от изолиране на работната среда за такива системи на Изкуствения интелект. „Средите в пясъчник“ позволяват на програмите да работят сигурно, предотвратявайки засягането им на по-широката система и минимизирайки риска от потенциални повреди.
Според изследователите:
„Този подход е важен механизъм за защита при използване на усъвършенствани технологии на Изкуствения интелект.“
Следвайте ни в Telegram , Instagram, Twitter и Youtube за интересно и мистериозно бонус съдържание
Lucky е съвременен митолог и разказвач. Той превръща древни легенди, неразгадани мистерии и любопитни исторически факти в увлекателни статии. Със силен фокус върху историческата достоверност и потайните аспекти на човешката култура, той изследва теми от мистични цивилизации и изчезнали империи до тайните на съвременното изкуство и наука. Всяка негова статия е пътешествие, което ви кара да погледнете отвъд очевидното.
