Sementara inference, atau saat model AI digunakan dalam operasional sehari-hari, lebih menitikberatkan pada kecepatan respons dan kedekatan dengan pengguna maupun sumber data.
“AI memiliki dua fase utama yang kebutuhannya bertolak belakang,” kata Ariawan.
Karena itu, mendistribusikan workload berdasarkan karakteristiknya dapat membantu perusahaan menjaga performa sekaligus mengoptimalkan biaya.
Workload training dapat ditempatkan pada fasilitas dengan kapasitas komputasi besar, sedangkan inference dapat dijalankan lebih dekat dengan sumber data atau pengguna melalui data center lokal, private infrastructure, maupun edge computing.
BACA JUGA:Kenalan dengan Artificial Intelligence, Kecerdasan Buatan Layaknya Manusia
Biaya AI Bukan Hanya Harga Cloud
Persoalan biaya juga menjadi pertimbangan penting ketika perusahaan mulai meningkatkan penggunaan AI.
Menurut Ariawan, ada sejumlah biaya yang kerap luput dari perhitungan awal.
Pertama adalah biaya menyiapkan data.
Kualitas output AI sangat bergantung pada kualitas data yang digunakan. Data perusahaan yang tersebar, tidak terstruktur, atau memiliki kualitas rendah perlu dibersihkan dan disiapkan sebelum dapat dimanfaatkan secara optimal untuk AI.
“Banyak perusahaan luput memperhitungkan bahwa membersihkan dan menstrukturkan data sering kali membutuhkan biaya yang besar,” ujarnya.
BACA JUGA:Puan Maharani Sebut TNI Harus 'Melek' Artificial Intelligence
Kedua adalah biaya integrasi.
AI tidak berdiri sendiri. Model yang digunakan perusahaan harus terhubung dengan core system, aplikasi bisnis, database, dan berbagai platform yang sudah berjalan.
Proses tersebut tidak selalu sesederhana menghubungkan sebuah API. Perusahaan dapat membutuhkan penyesuaian arsitektur, pengujian, hingga modifikasi terhadap sistem lama yang sejak awal tidak dirancang untuk berkomunikasi dengan AI.
Ketiga adalah kapasitas komputasi yang tidak terpakai.
Perusahaan yang terlalu cepat membeli kapasitas dalam jumlah besar berisiko menghadapi idle capacity jika adopsi use case AI ternyata tidak tumbuh sesuai proyeksi.