top of page

Título

Este es un párrafo. Haz clic en Editar texto o doble clic en el cuadro de texto para editar el contenido. Asegúrate de agregar cualquier información relevante que quieras compartir con tus visitantes.

GPU y referencia

Subtítulo

HF linkedin post

<iframe src="https://www.linkedin.com/embed/feed/update/urn:li:share:7213978144553213952" height="994" width="504" frameborder="0" allowfullscreen="" title="Embedded post"></iframe>

Here's the mix of AWS instances we currently run our serverless Inference API on.

For context, the Inference API is the infra service that powers the widgets on Hugging Face Hub model pages + PRO users and Enterprise orgs can use it programmatically.

64 g4dn.2xlarge
48 g5.12xlarge
48 g5.2xlarge
10 p4de.24xlarge
42 r6id.2xlarge
9 r7i.2xlarge
6 m6a.2xlarge (control plane and monitoring)
–––
Total = 229 instances

bottom of page