一張貼紙便可迷惑自動(dòng)駕駛系統(tǒng)?
自動(dòng)駕駛的安全性一直以來(lái)受到各方的關(guān)注。而據(jù)新智元報(bào)道,近日由北京航空航天大學(xué)、悉尼大學(xué)和劍橋大學(xué)的一項(xiàng)新研究表明,一張紙便可以“迷惑”AI自動(dòng)駕駛系統(tǒng),將一張用打印機(jī)打印出來(lái)的涂鴉貼畫貼在路牌上就可以導(dǎo)致AI自動(dòng)駕駛系統(tǒng)分類錯(cuò)誤。目前該論文已在全球人工智能頂級(jí)會(huì)議AAAI 2019上發(fā)表。
在實(shí)驗(yàn)中,研究人員將生成的涂鴉貼畫貼在北航校園中標(biāo)為“限速20km/h”的真實(shí)路牌上后,AI自動(dòng)駕駛系統(tǒng)完全被誤分類,將其識(shí)別為“No Entry”(禁行)。該涂鴉貼畫在論文中被稱為“對(duì)抗補(bǔ)丁”,正是這塊補(bǔ)丁“欺騙”了AI自動(dòng)駕駛系統(tǒng),讓系統(tǒng)將該路牌誤分類。
經(jīng)實(shí)驗(yàn)證實(shí),用該方法生成的對(duì)抗補(bǔ)丁具有穩(wěn)定的攻擊效果,將其貼在路牌上后,不會(huì)影響人類對(duì)于路牌語(yǔ)義信息的認(rèn)知,且由于場(chǎng)景語(yǔ)義相關(guān)性人類也不會(huì)感覺(jué)到違和。但是,該對(duì)抗補(bǔ)丁對(duì)于AI自動(dòng)駕駛系統(tǒng)則是毀滅性的。例如,這種攻擊可能被惡意地用來(lái)攻擊自動(dòng)駕駛系統(tǒng),入侵者只要將一小片貼畫貼在路牌上,當(dāng)自動(dòng)駕駛汽車駛過(guò)時(shí)就可能會(huì)造成系統(tǒng)的致命錯(cuò)誤,導(dǎo)致車禍產(chǎn)生。