Inferensi AI adalah proses menjalankan model AI yang telah dilatih, seperti chatbot dan aplikasi waktu nyata lainnya, untuk menghasilkan respons instan.

Saat ini, inferensi AI menjadi bagian yang lebih besar dari total permintaan komputasi AI seiring model beralih dari pelatihan ke penerapan dalam skala besar.

Hal ini mungkin menjelaskan semakin besarnya penekanan Nvidia pada optimasi inferensi di samping dominasinya dalam pelatihan AI.

Oleh karena itu, kesepakatan Groq dapat memperkuat kepemimpinan inferensi AI bagi Nvidia, dan pada akhirnya membantu mengintegrasikan teknologi latensi rendah ke dalam chip AI-nya.

Mengapa teknologi Groq menjadi aset berharga bagi Nvidia: Alasan untuk chip LPU

Groq dipimpin oleh mantan karyawan Google seperti Jonathan Ross, yang telah membantu mendesain Tensor Processing Unit (TPU) Google.