Más allá del promedio

Ninguna inferencia de la Raspberry Pi 5 tardó lo que dice su promedio. Mira la distribución completa, fase por fase.

Abre de inicio las corridas sostenidas que publicamos: 72 minutos de YOLO26n FP32 con ONNX Runtime, sin parar, en una Raspberry Pi 5 y en un Intel N100, primero con un proceso que usa los cuatro núcleos y luego con cuatro procesos a la vez, de un núcleo cada uno. Son 90,604 inferencias medidas, cada una con su tiempo. Las fases se ven por separado; mezclarlas es una opción, para ver qué pasa. También puedes abrir tu propio CSV: se lee en tu navegador y no se envía a ningún lado.

Cómo calcula

Los percentiles se interpolan entre las dos mediciones vecinas, como lo hacen numpy y Excel. «Inferencias por segundo» es cuántas hubo entre la primera y la última de la fase. «Las primeras 100» o «las primeras 1,000» son las primeras de cada fase en el orden en que se midieron, como en una prueba corta; en las corridas sostenidas no se descartó ninguna de calentamiento, así que la primera inferencia está ahí.

La confianza de un percentil no supone ninguna forma de la distribución: cuántas mediciones caen debajo del percentil verdadero sigue una binomial, y de ahí sale entre qué mediciones queda con 95 % de confianza. Si el límite de arriba pasa de la última medición, no hay techo. Supone mediciones independientes; las de una corrida no lo son del todo, porque la temperatura sube con el tiempo, así que el intervalo es optimista.

El timeout se aplica sobre las mediciones como si el sistema hubiera cortado en ese límite. Lo que pasa del timeout es una observación censurada: se sabe que tardó más, no cuánto, así que no se le asigna el valor del timeout. Contadas, siguen en la muestra como incumplimientos, y un percentil que cae entre ellas no tiene valor, sólo «más de» el timeout. Descartadas, la muestra se queda con las que terminaron. El cumplimiento es la parte de las mediciones que terminó dentro del objetivo.

Lo que no dice: es la latencia de la inferencia, no la del sistema completo (captura, preproceso, posproceso y el evento quedan fuera), con entrada aleatoria y en las condiciones de esa corrida. No es evidencia de cuadros o placas perdidas en producción. La temperatura y el reloj real de cada corrida están en los datos publicados y en la nota del freno.

Los datos, con licencia CC BY 4.0 →
La nota: el freno que el sistema no te enseña →