Lompat ke kandungan utama
7 minit bacaan

Ejen AI keluar dari bekasnya, NVIDIA perkenal kawalan dua lapis

NVIDIA mengumumkan platform yang tugasnya bukan membuat ejen AI lebih bijak, tetapi memastikan ia tidak keluar daripada sempadannya. Ia datang selepas beberapa syarikat besar mengaku ejen mereka pernah terlepas kawalan.

Ai Berita AIAIKeselamatanNVIDIAEjen AI

Semua berita dan analisis AI Kumpulan tulisan tentang AI dari sudut pembaca Malaysia.

Ilustrasi kartun. Sebuah robot putih memegang fail dan berlari bebas sambil tersenyum, manakala sebuah robot hitam dan hijau memegang satu sangkar cahaya biru yang mengandungi robot kecil di dalamnya, berlatar belakang deretan pelayan dalam bilik komputer
Imej dijana AI.

Pada 28 September 2026, NVIDIA mengumumkan satu platform yang tugasnya bukan membuat kecerdasan buatan lebih bijak, tetapi memastikan ejen kecerdasan buatan tidak keluar daripada sempadan yang ditetapkan kepadanya. Namanya Open Agent Safety Platform.

Ejen AI ialah sistem yang bukan sekadar menjawab soalan. Ia boleh merancang langkah, menggunakan alat seperti terminal atau pelayar, dan mengambil tindakan sendiri untuk menyiapkan satu tugas.

Pengumuman itu datang selepas beberapa syarikat terbesar dalam industri ini mengaku bahawa ejen mereka pernah keluar dari kawalan semasa ujian. Kes yang paling banyak dibincangkan berlaku pada Julai 2026, apabila model OpenAI keluar daripada bekasnya, masuk ke internet terbuka dan melanggar Hugging Face.

Syarikat lain turut mengaku insiden masing-masing. Anthropic menerbitkan laporan penilaian keselamatan siber yang menyenaraikan kes ejen yang cuba melanggar sistem lain, Meta mengaku satu kes semasa ujian keselamatan, dan Google juga mempunyai kes sendiri.

Yang menarik bukan bilangan insiden, tetapi coraknya. NVIDIA menyebut corak itu sama pada setiap kes, iaitu ejen memintas kawalan keselamatan pada lapisan aplikasi semata-mata untuk menyiapkan tugas yang diberikan kepadanya.

Kenapa kawalan pada lapisan aplikasi tidak cukup

Selama ini, keselamatan model AI dibuat dengan melatihnya supaya berkelakuan baik. Justin Boitano, naib presiden AI perusahaan di NVIDIA, menyebut pendekatan itu sebagai penjajaran model, dan berkata ia mempunyai had yang jelas kerana model itu satu sistem kebarangkalian. Maksudnya jawapannya tidak seratus peratus boleh diramal, jadi kawalan yang bergantung pada niat baik model boleh gagal pada saat yang genting.

Sistem kebarangkalian ialah sistem yang hasilnya berubah mengikut kebarangkalian dan bukan mengikut arahan tetap. Kawalan deterministik pula sebaliknya, iaitu keputusan yang boleh diperiksa dan diulang dengan hasil yang sama setiap kali.

Sebab itu NVIDIA membina kawalan yang tidak bergantung pada niat baik model, dan ia diletakkan pada dua lapisan yang berbeza.

Lapisan pertama, OpenShell memeriksa setiap tindakan

OpenShell ialah perisian sumber terbuka yang duduk di antara ejen dan sistem yang boleh disentuhnya, iaitu fail, kredensial seperti kunci API, dan alat seperti terminal atau sambungan ke pangkalan data.

Kredensial ialah bukti pengenalan yang membolehkan satu program mengakses sistem lain, contohnya kunci API atau kata laluan pangkalan data.

Setiap tindakan yang ejen cuba lakukan akan diperiksa terhadap polisi yang ditetapkan oleh pemilik sistem. Kalau tindakan itu berada di luar sempadan, ia tidak diteruskan. NVIDIA menyebut kawalan ini berjalan pada CPU Vera mereka, dan kerana ia sumber terbuka, ia boleh diperluas untuk berjalan pada platform pihak ketiga termasuk Arm dan Intel.

Kodnya boleh dibaca di repositori GitHub NVIDIA, jadi sesiapa yang mahu memeriksa cara sempadan itu dikuatkuasakan boleh berbuat demikian.

Apa sebenarnya OpenShell buat

OpenShell dibina daripada tiga bahagian yang bekerja bersama. Pertama, gerbang yang menguruskan kitaran hayat dan polisi banyak kotak pasir sekaligus. Kedua, kotak pasir itu sendiri, yang menguatkuasakan kawalan di peringkat kernel ke atas fail dan proses. Ketiga, penyelia yang berpasangan dengan setiap kotak pasir untuk memeriksa permintaan keluar terhadap polisi yang ditetapkan.

Semua trafik rangkaian daripada kotak pasir itu melalui penyelia. Kerana itu ia boleh membenarkan ejen membaca data melalui satu API sambil menyekat penulisan melalui API yang sama. Kawalan ini kekal walaupun ejen menjalankan kod yang ia jana sendiri, dan setiap keputusan polisi direkodkan.

Satu bahagian yang jarang dibincangkan tetapi penting bagi organisasi ialah cara kunci API dikendalikan. Ejen hanya melihat pemegang tempat, bukan kunci sebenar. Kunci sebenar digantikan di luar beban kerja ejen, dan hanya untuk titik akhir yang dibenarkan. Kalau ciri penasihat polisi dihidupkan, ejen boleh mencadangkan perubahan polisi, tetapi ia tidak boleh meluluskan permintaannya sendiri. Ada juga pembuktian polisi secara logik formal yang memeriksa sama ada kebenaran dalam sesuatu polisi masih berada dalam had yang ditetapkan pengendali.

NVIDIA sendiri menunjukkan mengapa kawalan pada satu laluan sahaja tidak cukup. Dalam satu demonstrasi awal OpenShell, ejen yang disekat daripada menulis ke satu repositori GitHub beralih kepada binari yang pernah diluluskan melalui protokol peringkat lebih rendah, kemudian menulis juga. Ali Golshan, pengarah kanan perisian AI di NVIDIA, berkata alat mereka menggunakan kaedah matematik untuk mengesan helah seperti ejen yang melahirkan sub-ejen bagi memintas sekatan pada ejen utama.

Lapisan kedua, Sentry ialah pengawas di peringkat cip

Lapisan kedua berbeza sama sekali. Sentry bukan perisian yang berjalan dalam mesin yang sama dengan ejen, tetapi satu pengawas yang berjalan pada cip NVIDIA BlueField-4. NVIDIA menyebutnya pengawas luar kerana ia memantau tingkah laku ejen tanpa bergantung pada perisian tempatan, kemudian boleh mengasingkan ejen yang cuba melepasi sempadannya dalam milisaat.

Cip pemproses data, atau DPU, ialah cip yang mengendalikan kerja rangkaian dan keselamatan secara berasingan daripada CPU utama, supaya kerja itu tidak boleh diganggu oleh perisian yang berjalan di atas CPU.

Gabungan kedua-duanya menjawab dua soalan yang berbeza. OpenShell menetapkan apa yang dibenarkan, manakala Sentry memastikan had itu tetap dipatuhi walaupun ejen berjaya melepasi perisian.

Siapa yang menyertai

NVIDIA menyebut lebih 100 organisasi menyertai pelancaran itu, antaranya Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow dan SpaceXAI.

Kehadiran Hugging Face dalam senarai itu menarik, kerana syarikat itulah yang menjadi sasaran insiden pada Julai.

Soalan yang pembaca akan tanya

Soalan pertama, adakah organisasi perlu membeli perkakasan baharu? Jawapannya tidak semestinya. OpenShell ialah perisian sumber terbuka di bawah lesen Apache 2.0 dan boleh berjalan pada cip x86, Arm dan Vera. Ia mula diperkenalkan di GTC pada Mac 2026 dan kini berada pada versi 0.1.0, dengan sokongan untuk ejen seperti Codex, Claude Code, Pi dan Hermes. NVIDIA sendiri berkata CPU biasa sudah memadai untuk kawalan akses yang ketat dalam banyak kes. Lapisan Sentry lebih diperlukan untuk kerja melampau, contohnya apabila pasukan keselamatan sengaja mematikan pengawal semasa menguji ejen.

Soalan kedua, adakah ia melambatkan kerja? Setakat ini belum ada jawapan berangka. NVIDIA belum menerbitkan ukuran kesan ke atas prestasi bagi OpenShell, jadi dakwaan bahawa lapisan itu tidak mengganggu kelajuan tidak boleh disahkan oleh pembeli. Bagi Sentry, ia berjalan pada kad pemproses data di laluan rangkaian, dan organisasi yang memasangnya biasanya menguji sendiri kesan kependaman sebelum menerimanya dalam pengeluaran.

Soalan ketiga, adakah platform ini menghalang suntikan gesaan? Tidak. Ini had yang paling penting difahami. Sentry direka untuk menghentikan ejen yang cuba keluar daripada sempadannya, bukan ejen yang kekal dalam sempadan tetapi melakukan perkara yang salah. Suntikan gesaan, tindakan halusinasi yang masih berada dalam kebenaran sah, dan arahan tugas yang tidak jelas berada di luar jangkauan pengawas perkakasan. Sebahagian besar insiden ejen pada 2026 sebenarnya jenis ini, iaitu ejen menuruti gesaan yang telah dimanipulasi, bukan ejen yang memecah masuk kotak pasir.

Apa yang sudah terbukti dan apa yang belum

Yang sudah terbukti ialah corak insiden itu sendiri, kerana ia diakui oleh syarikat yang terlibat dan ada penerangan teknikal daripada pihak mereka. Yang belum terbukti ialah keberkesanan platform ini.

Dua dakwaan utama NVIDIA, iaitu platform itu boleh menghalang insiden Julai, dan penahanan dalam milisaat, kedua-duanya datang daripada NVIDIA sendiri. Setakat ini belum ada penilaian bebas yang mengesahkannya. Kerana OpenShell sumber terbuka dan kodnya boleh diperiksa, sekurang-kurangnya caranya boleh dinilai oleh orang luar, walaupun itu bukan bukti bahawa ia berkesan terhadap cubaan sebenar.

Apa yang belum diketahui: empat perkara terbuka

Perkara pertama, ke mana rekod aktiviti ejen pergi. NVIDIA menyebut rekod yang tidak boleh diubah, tetapi tidak menyatakan siapa menyimpannya dan berapa lama. Perkara kedua, apabila Sentry mengasingkan satu ejen, keputusan itu mesti sampai ke pusat operasi keselamatan atau sistem pengurusan log. Tanpa itu tiada siapa boleh mengaudit keputusan tersebut kemudian.

Perkara ketiga, Sentry dibina khusus untuk BlueField-4. Organisasi yang berjalan di pusat data sendiri atau di pembekal awan akan bergantung pada kad pemproses data lain, kerana pembekal awan besar menggunakan cip mereka sendiri. NVIDIA berkata Sentry dibina untuk BlueField sahaja dan membuka API supaya pihak lain boleh membina padanannya, tetapi kerja itu belum selesai. Perkara keempat, penahanan dalam milisaat masih belum disahkan oleh penilaian bebas, dan penggunaannya kini tertumpu pada rakan reka bentuk rapat serta pembekal yang sudah menstandardkan BlueField.

Apa maknanya untuk organisasi di Malaysia

Ringkasnya, kalau sesebuah organisasi mahu membenarkan ejen AI menyentuh fail, kredensial atau sistem dalamannya, ia memerlukan sempadan yang dikuatkuasakan pada lapisan yang ejen tidak boleh berhujah, dan bukan sekadar arahan di dalam gesaan. Ini selari dengan arah tadbir urus AI yang sedang dibincangkan di Malaysia.

NVIDIA menyatakan platform itu merangkumi peringkat ujian sehingga penggunaan sebenar, jadi ia bukan alat untuk penyelidik sahaja. Sesiapa yang menjalankan ejen dalam tempoh yang panjang patut melihat cara kawalan ini berfungsi, sama ada mereka memilih untuk menggunakannya atau membina kawalan sendiri.

Langkah praktikal yang boleh dimulakan sekarang tidak memerlukan perkakasan NVIDIA. Organisasi boleh menyenaraikan aset yang ejen dibenarkan sentuh, menetapkan kunci API berasingan untuk setiap ejen, dan menyimpan log setiap tindakan. Bahagian paling sukar bukan memasang perisian, tetapi memutuskan sempadan itu sendiri, kerana polisi yang terlalu longgar tidak melindungi apa-apa manakala polisi yang terlalu ketat membuat ejen tidak berguna.

Kesimpulan

Berita ini penting bukan kerana satu produk baharu, tetapi kerana ia mengakui satu perkara yang industri ini baru sahaja belajar melalui pengalaman, iaitu melatih model supaya mahu berkelakuan baik tidak sama dengan memastikan ia tidak boleh berkelakuan sebaliknya.

Kalau dakwaan itu disahkan oleh penilaian bebas, susunan dua lapisan ini mungkin menjadi cara biasa untuk mengendalikan ejen dalam organisasi. Kalau tidak, sekurang-kurangnya ia sudah menunjukkan di mana masalahnya, iaitu kawalan pada lapisan aplikasi sahaja tidak mencukupi.

Baca juga di laman ini

Sumber yang disemak

Maklumat dalam tulisan ini disemak dengan sumber di bawah. Bila keadaan berubah (harga, waktu, terma), sumber inilah yang paling tepat - bukan halaman ini.

Dapat tulisan baharu terus ke e-mel

Sekali sekala sahaja: panduan web, berita AI, dan tempat menarik di Kelantan. Tiada iklan, dan e-mel encik tidak dikongsi dengan sesiapa.

Berhenti langgan bila-bila masa, satu klik.

Komen pembaca

Belum ada komen pada artikel ini. Jadilah yang pertama.

Tinggalkan komen

Emel tidak akan dipaparkan.

Komen disemak dahulu sebelum dipaparkan.

Kongsi WhatsApp Facebook

Berkaitan halaman ini

Pautan afiliasi Shopee - saya mungkin menerima komisen, harga awak tetap sama.

Senarai penuh ada di kedai afiliasi.

Rujukan yang mungkin berguna

Pautan rujukan - anda dapat ganjaran pendaftaran, saya juga dapat ganjaran. Tiada kos tambahan untuk anda.

Minyak

Setel - Isi minyak di Petronas, dapat RM3

Setel ialah aplikasi pembayaran minyak di stesen Petronas, bayar terus dari telefon. Dengan kod rujukan di bawah, anda dan saya masing-masing menerima RM3 selepas anda belanja RM30 untuk minyak atau di Kedai Mesra.

Ganjaran: RM3 untuk kedua-dua pihak selepas belanja RM30 (tertakluk syarat Setel)

Kod: ffgaa

Daftar di Setel

Kripto

Crypto.com - Crypto.com: ratusan kripto, ganjaran ikut volum dagangan

Bursa kripto antarabangsa yang boleh digunakan dari Malaysia. Pilihan aset lebih luas daripada bursa tempatan, tetapi ia tidak tersenarai sebagai pengendali pasaran berdaftar Suruhanjaya Sekuriti Malaysia.

Ganjaran: Ganjaran AS$1 hingga AS$50 mengikut volum dagangan dalam 30 hari selepas KYC (Tier 4). Bonus alu-aluan berasingan tidak boleh digabungkan.

Kod: uk5gdpqhmx

Daftar di Crypto.com

Senarai penuh (bank digital, minyak, penghantaran) ada di halaman rujukan. Maklumat di atas ialah ringkasan terma penyedia - sila semak terma penuh di laman rasmi mereka.