L40S
NVIDIA Ada Lovelace avec 48 Go de VRAM et 864 Go/s de bande passante. Cette fiche vous aide a voir rapidement si la carte est credibile pour vos modeles, votre budget et votre type d'usage.
Repères utiles avant d'acheter
- Vendor : NVIDIA
- Architecture : Ada Lovelace
- VRAM : 48 Go
- Bande passante : 864 Go/s
- Prix neuf : 8 000 €
- Prix occasion : Non disponible
Benchmarks LLM disponibles
-
Llama 3.1 8B :
113,6 t/s
en Q4_K_M
avec contexte 1 024
-
Llama 3.1 8B :
43,42 t/s
en FP16
avec contexte 1 024
-
Llama 3.1 70B :
15,31 t/s
en Q4_K_M
avec contexte 1 024
-
Llama 3.1 70B :
14,99 t/s
en Q4_K_M
avec contexte 1 024