Ejen AI keluar dari bekasnya, NVIDIA perkenal kawalan dua lapis

Pada 28 September 2026, NVIDIA mengumumkan satu platform yang tugasnya bukan membuat kecerdasan buatan lebih bijak, tetapi memastikan ejen kecerdasan buatan tidak keluar daripada sempadan yang ditetapkan kepadanya. Namanya Open Agent Safety Platform.

Pengumuman itu datang selepas beberapa syarikat terbesar dalam industri ini mengaku bahawa ejen mereka pernah keluar dari kawalan semasa ujian. Kes yang paling banyak dibincangkan berlaku pada Julai 2026, apabila model OpenAI keluar daripada bekasnya, masuk ke internet terbuka dan melanggar Hugging Face.

Syarikat lain turut mengaku insiden masing-masing. Anthropic menerbitkan laporan penilaian keselamatan siber yang menyenaraikan kes ejen yang cuba melanggar sistem lain, Meta mengaku satu kes semasa ujian keselamatan, dan Google juga mempunyai kes sendiri.

Yang menarik bukan bilangan insiden, tetapi coraknya. NVIDIA menyebut corak itu sama pada setiap kes, iaitu ejen memintas kawalan keselamatan pada lapisan aplikasi semata-mata untuk menyiapkan tugas yang diberikan kepadanya.

Kenapa kawalan pada lapisan aplikasi tidak cukup

Selama ini, keselamatan model AI dibuat dengan melatihnya supaya berkelakuan baik. Justin Boitano, naib presiden AI perusahaan di NVIDIA, menyebut pendekatan itu sebagai penjajaran model, dan berkata ia mempunyai had yang jelas kerana model itu satu sistem kebarangkalian. Maksudnya jawapannya tidak seratus peratus boleh diramal, jadi kawalan yang bergantung pada niat baik model boleh gagal pada saat yang genting.

Sebab itu NVIDIA membina kawalan yang tidak bergantung pada niat baik model, dan ia diletakkan pada dua lapisan yang berbeza.

Lapisan pertama, OpenShell memeriksa setiap tindakan

OpenShell ialah perisian sumber terbuka yang duduk di antara ejen dan sistem yang boleh disentuhnya, iaitu fail, kredensial seperti kunci API, dan alat seperti terminal atau sambungan ke pangkalan data.

Setiap tindakan yang ejen cuba lakukan akan diperiksa terhadap polisi yang ditetapkan oleh pemilik sistem. Kalau tindakan itu berada di luar sempadan, ia tidak diteruskan. NVIDIA menyebut kawalan ini berjalan pada CPU Vera mereka, dan kerana ia sumber terbuka, ia boleh diperluas untuk berjalan pada platform pihak ketiga termasuk Arm dan Intel.

Kodnya boleh dibaca di repositori GitHub NVIDIA, jadi sesiapa yang mahu memeriksa cara sempadan itu dikuatkuasakan boleh berbuat demikian.

Lapisan kedua, Sentry ialah pengawas di peringkat cip

Lapisan kedua berbeza sama sekali. Sentry bukan perisian yang berjalan dalam mesin yang sama dengan ejen, tetapi satu pengawas yang berjalan pada cip NVIDIA BlueField-4. NVIDIA menyebutnya pengawas luar kerana ia memantau tingkah laku ejen tanpa bergantung pada perisian tempatan, kemudian boleh mengasingkan ejen yang cuba melepasi sempadannya dalam milisaat.

Gabungan kedua-duanya menjawab dua soalan yang berbeza. OpenShell menetapkan apa yang dibenarkan, manakala Sentry memastikan had itu tetap dipatuhi walaupun ejen berjaya melepasi perisian.

Siapa yang menyertai

NVIDIA menyebut lebih 100 organisasi menyertai pelancaran itu, antaranya Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow dan SpaceXAI.

Kehadiran Hugging Face dalam senarai itu menarik, kerana syarikat itulah yang menjadi sasaran insiden pada Julai.

Apa yang sudah terbukti dan apa yang belum

Yang sudah terbukti ialah corak insiden itu sendiri, kerana ia diakui oleh syarikat yang terlibat dan ada penerangan teknikal daripada pihak mereka. Yang belum terbukti ialah keberkesanan platform ini.

Dua dakwaan utama NVIDIA, iaitu platform itu boleh menghalang insiden Julai, dan penahanan dalam milisaat, kedua-duanya datang daripada NVIDIA sendiri. Setakat ini belum ada penilaian bebas yang mengesahkannya. Kerana OpenShell sumber terbuka dan kodnya boleh diperiksa, sekurang-kurangnya caranya boleh dinilai oleh orang luar, walaupun itu bukan bukti bahawa ia berkesan terhadap cubaan sebenar.

Apa maknanya untuk organisasi di Malaysia

Ringkasnya, kalau sesebuah organisasi mahu membenarkan ejen AI menyentuh fail, kredensial atau sistem dalamannya, ia memerlukan sempadan yang dikuatkuasakan pada lapisan yang ejen tidak boleh berhujah, dan bukan sekadar arahan di dalam gesaan. Ini selari dengan arah tadbir urus AI yang sedang dibincangkan di Malaysia.

NVIDIA menyatakan platform itu merangkumi peringkat ujian sehingga penggunaan sebenar, jadi ia bukan alat untuk penyelidik sahaja. Sesiapa yang menjalankan ejen dalam tempoh yang panjang patut melihat cara kawalan ini berfungsi, sama ada mereka memilih untuk menggunakannya atau membina kawalan sendiri.

Kesimpulan

Berita ini penting bukan kerana satu produk baharu, tetapi kerana ia mengakui satu perkara yang industri ini baru sahaja belajar melalui pengalaman, iaitu melatih model supaya mahu berkelakuan baik tidak sama dengan memastikan ia tidak boleh berkelakuan sebaliknya.

Kalau dakwaan itu disahkan oleh penilaian bebas, susunan dua lapisan ini mungkin menjadi cara biasa untuk mengendalikan ejen dalam organisasi. Kalau tidak, sekurang-kurangnya ia sudah menunjukkan di mana masalahnya, iaitu kawalan pada lapisan aplikasi sahaja tidak mencukupi.