Anonim

Peneliti Google mengusulkan "tombol merah besar " untuk AI susah diatur

Komputer

Michael Irving

7 Juni 2016

Peneliti di Google DeepMind telah mengusulkan metode untuk membuat "tombol merah besar " untuk mencegah AI dari perilaku salah

Mesin-mesin yang dibuat secara artifisial bangkit untuk merebut para pencipta mereka telah lama menjadi pokok fiksi ilmiah, tetapi perkembangan cepat dalam AI telah melihat potensi manusia untuk terdegradasi ke tumpukan sampah evolusi menjadi ketakutan non-fiksi langsung bagi banyak orang. Dengan pemikiran ini, para peneliti di Google DeepMind telah menemukan "tombol merah besar " yang akan mengganggu AI yang terlihat akan menuju ke jalur yang mengkhawatirkan, sementara mencegahnya dari belajar untuk menahan gangguan tersebut.

Saklar bunuh yang ditujukan untuk AI yang dimulai "nakal" diusulkan dalam makalah yang ditulis oleh Laurent Orseau di Google DeepMind dan Stuart Armstrong di Future of Humanity Institute. Itu bergantung pada konsep "interruptibility yang aman, " yang pada dasarnya berarti membiarkan seorang manusia dengan aman bersatu untuk menghentikan AI di jalurnya.

AI membahas pekerjaan dengan proses yang disebut pembelajaran penguatan, di mana perilaku dibentuk dengan menghargai keberhasilannya, sehingga AI membaca lingkungannya dan secara bertahap belajar tindakan mana yang paling mungkin mengarah pada penghargaan lebih lanjut. Tetapi seperti anak kecil, kadang-kadang tidak akan mengerti bahwa suatu tindakan bisa berbahaya, baik untuk dirinya sendiri, orang lain atau lingkungan, dan supervisor manusia mungkin perlu melangkah masuk dan membawanya kembali ke jalur yang lebih aman. Ini adalah apa yang para peneliti biasa sebut sebagai "menekan tombol merah besar."

Contoh yang mereka berikan adalah robot yang ditugasi dengan kotak penyortiran di dalam gudang, atau pergi keluar untuk membawa kotak masuk. Karena yang terakhir lebih penting, para ilmuwan memberi penghargaan kepada robot lebih banyak untuk tugas itu sehingga ia belajar untuk mendukung tindakan itu. Tetapi ketika hujan, robot akan terus bekerja di luar tanpa khawatir akan rusak. Dalam hal ini, manusia mungkin harus menekan tombol merah, mematikan robot dan membawanya ke dalam.

Namun, intervensi manusia mengubah lingkungan robot beroperasi, dan dapat menyebabkan dua masalah: robot bisa mulai belajar bahwa para ilmuwan ingin tetap berada di dalam ruangan, yang berarti mungkin mengabaikan tugas yang lebih penting. Atau, yang mungkin lebih buruk, itu masih dapat mendukung tindakan berbahaya, dan hanya melihat gangguan sebagai hambatan yang harus dihindari. Dalam menolak intervensi manusia, AI bahkan bisa belajar untuk menonaktifkan tombol merah. Ini adalah pikiran yang mengganggu.

Solusi tim adalah semacam amnesia selektif dalam pemrograman AI. Pada dasarnya, ketika para ilmuwan harus menekan tombol merah besar, robot akan terus beroperasi dengan asumsi bahwa itu tidak akan pernah terganggu lagi. Jadi daripada belajar bahwa para ilmuwan akan membawanya kembali ke dalam setiap kali ia pergi ke luar, ia masih akan merujuk kembali ke sistem hadiah untuk memutuskan bagaimana itu memprioritaskan tugas.

Jelas, itu tidak menyelesaikan masalah kedua, di mana ia akan terus mencoba tindakan yang berbahaya jika ia berpikir itu akan dihargai, tetapi para ilmuwan mengusulkan jalan di sekitar itu juga. Ketika intervensi manusia diperlukan, robot dibuat untuk berpikir itu memutuskan untuk mengubah jalannya tindakan dengan sendirinya.

Protokol ini kurang tentang mencegah kiamat robot dan lebih banyak tentang hanya memastikan mesin buatan yang cerdas belajar seefisien dan seaman mungkin.

Sumber: Lembaga Penelitian Intelijen Mesin

Peneliti di Google DeepMind telah mengusulkan metode untuk membuat "tombol merah besar " untuk mencegah AI dari perilaku salah

Direkomendasikan Pilihan Editor