Recolección de datos

01 · Punto de partida

Basura adentro, basura afuera

El mejor modelo con malos datos decide mal: parámetros calibrados con una semana atípica, validación contra mediciones sesgadas, picos que nadie registró. Recolectar es diseñar qué medir, cómo y cuánto antes de necesitarlo.

• ¿Qué dato alimenta cada parámetro y cada validación?
• ¿La muestra cubre picos, valles y rarezas?
• ¿Qué falta, qué sobra y qué miente?
• ¿Cómo se registra la limpieza aplicada?

02 · Fuentes

Dónde conseguir números

03 · Calidad

Cuatro controles antes de usar

1. 1
   Completitud.

   ¿Faltan horas, días, casos? Lo faltante se marca, nunca se esconde.

2. 2
   Atípicos.

   ¿120 donde todo da 10? Sensor roto o pico real: hay que decidirlo.

3. 3
   Representatividad.

   ¿La muestra incluye picos y valles, o solo días tranquilos?

4. 4
   Oportunidad.

   ¿Los datos son del régimen vigente o de otro mundo?

Faltante

Hueco marcado como tal, con regla de relleno declarada.

Atípico

Valor extremo: error o evento real, se investiga.

Sesgo

Desvío sistemático de la muestra respecto a la realidad.

Limpieza

Transformaciones aplicadas, registradas y reversibles.

04 · Plan de medición

Medir a propósito

La frecuencia la manda el fenómeno (Tema 19): para picos horarios no sirve el total diario. Y el período debe cubrir rarezas, no solo rutina.

05 · En Python

Limpiar dejando huellas

crudos = [5, 8, None, 9, 120, 15, 14, 11]


def limpiar(xs, tope=50):
    # None -> anterior; atípico -> tope. Todo marcado.
    limpios, marcas = [], []
    ultimo = xs[0]
    for x in xs:
        if x is None:
            x, marca = ultimo, "relleno"
        elif x > tope:
            x, marca = tope, "recorte"
        else:
            marca = "ok"
        limpios.append(x)
        marcas.append(marca)
        ultimo = x
    return limpios, marcas


print(limpiar(crudos))

Resumir y sospechar

def resumen(xs):
    return {"n": len(xs), "media": round(sum(xs) / len(xs), 2),
            "min": min(xs), "max": max(xs)}


print(resumen([5, 8, 8, 9, 50, 15, 14, 11]))

06 · Exploración

Laboratorio: la media que miente

Agregá faltantes y atípicos a la serie base. La media cruda se dispara; la limpia resiste. ¿Cuánto contamina cada defecto?

Barras grises: crudos con defectos. Lima: serie limpia. La línea marca la media verdadera (10).

Preguntas para explorar

1. Con 0 atípicos y 4 faltantes, ¿la media limpia se mantiene? ¿Por qué el relleno no la mueve mucho?
2. Subí la magnitud a 200. ¿La media cruda todavía describe algo?
3. ¿Qué defecto es peor para decidir: faltantes o atípicos?

07 · Comprensión

Confusiones frecuentes

08 · Práctica guiada

Ejercicios con Python

Ejercicio 1: limpiar con marcas

Limpiá [5, 8, None, 9, 120, 15, 14, 11] y mostrá qué se tocó.

def limpiar(xs, tope=50):
    limpios, marcas = [], []
    ultimo = xs[0]
    for x in xs:
        if x is None:
            x, marca = ultimo, "relleno"
        elif x > tope:
            x, marca = tope, "recorte"
        else:
            marca = "ok"
        limpios.append(x)
        marcas.append(marca)
        ultimo = x
    return limpios, marcas


print(limpiar([5, 8, None, 9, 120, 15, 14, 11]))

Ejercicio 2: el recorte distorsiona

Compará la media limpia contra la media de los datos sanos originales [5, 8, 6, 9, 12, 15, 14, 11].

sanos = [5, 8, 6, 9, 12, 15, 14, 11]
limpios = [5, 8, 8, 9, 50, 15, 14, 11]
print(sum(sanos) / len(sanos), sum(limpios) / len(limpios))

Ejercicio 3: plan de medición

Escribí el plan mínimo para medir llegadas de una fila durante una semana.

plan = {
    "que": "llegadas por hora",
    "cuando": "toda la semana, picos incluidos",
    "frecuencia": "cada hora",
    "responsable": "caja 1",
}
print(plan)

09 · Síntesis

Ideas para recordar

En el próximo tema construiremos con esos datos: la construcción del modelo.