Metodología

Puntos Centinela 2018 fue desarrollado por el Centro para el Aprendizaje en Evaluación y Resultados para América Latina y el Caribe, tomando como base el rediseño 2017, por lo que esta continuidad permitió la comparabilidad de resultados entre ambos años.

En esta sección se explica la metodología del estudio: temáticas y aspectos de la gestión operativa analizadas, instrumentos de recopilación de información, diseño de la muestra estadística, esquema de selección y composición de la muestra y los aspectos relacionados a su representatividad: criterios de validez y representatividad por unidad de análisis.

 Temáticas

El estudio Puntos Centinela 2018 revisa los temas relacionados con el seguimiento y valoración de la operación de los componentes de PROSPERA. Por ello, se dirige a la medición de atributos o características sobre la gestión operativa de los cuatro componentes del Programa: educación, alimentación, salud, y vinculación.

En específico, el análisis de Puntos Centinela se realiza a través de tres temáticas de estudio: educación, salud y PROSPERA; ello permite diferenciar los resultados y tomar en cuenta de forma particular, la percepción de los beneficiarios sobre los componentes de apoyo del Programa y vincularlos, directamente, con el personal operativo de cada sector que los ejecuta.

Las temáticas de educación y salud contemplan la información relacionada con la operación del componente del Programa que atienden. La temática PROSPERA incluye los componentes de alimentación y vinculación, así como temas transversales del Programa como blindaje electoral, corrupción, transparencia y, derecho de audiencia.

Para efectuar el estudio de dichas temáticas, se tomaron como base las siguientes dimensiones de análisis relacionados con los aspecto de la gestión operativa: 1) los insumos necesarios para la generación de los servicios y apoyos, así como para la operación del Programa, 2) la percepción sobre el proceso de entrega realizada en servicios y apoyos desde la percepción del personal; 3) el proceso de recepción de los componentes del Programa por parte de los beneficiarios, desde la perspectiva de éstos y del personal encargado de efectuarlo; y 4) la percepción de la atención que otorga el Programa. Como lo muestra el siguiente cuadro, para cada dimensión contemplada por temática, se analizan distintos aspectos específicos.

A partir de las dimensiones y temáticas de análisis, el estudio Puntos Centinela se enfocó en la medición de las siguientes nueve variables:

1. Suficiencia: Mide que los insumos para la ejecución, gestión y recepción y entrega de los apoyos y servicios entregados por parte del personal del Programa y prestadores de servicio sean los necesarios. Además, mide que los beneficiarios cuenten con los insumos necesarios y adecuados para acceder y utilizar los apoyos y servicios de PROPSERA.
2. Calidad: Mide que los insumos necesarios, la gestión de los procesos sustantivos y la entrega y recepción de poyos y servicios de PROSPERA cumplan con los atributos, las propiedades y características para cumplir con los objetivos del Programa desde el punto de vista de los beneficiarios y personal de PROSPERA.
3. Relevancia de la Información: Mide el grado con el que las personas beneficiarias, prestadores de servicio y personal de PROSPERA tiene información clara, adecuada, útil, necesaria y oficial sobre los apoyos y servicios otorgados por el Programa; derechos, compromisos y acciones de corresponsabilidad de la población beneficiara; características de las certificaciones y apoyos; así como sobre el Programa en general. .
4. Conocimiento: Mide el grado conocimiento de las personas beneficiarias, prestadores de servicio y personal sobre PROSPERA sobre los apoyos/servicios, derechos y acciones de corresponsabilidad de la población beneficiarios.
5. Accesibilidad: Mide el grado en el que los beneficiarios tienen acceso a la atención, la información, los apoyos y servicios que ofrece el Programa, siempre que las personas cumplan con los requisitos necesarios y que los medios se encuentren disponibles.
6. Condicionamiento: Mide si los apoyos y servicios fueron entregados sin que se asociaran a un estímulo negativo o reforzador económico o político.
7. Oportunidad: Mide si las acciones, la ejecución de procesos sustantivos y la entrega y recepción de apoyos y servicios que realiza el Programa se realiza en tiempo, forma y lugar establecidos.
8. Satisfacción: Mide el grado de satisfacción de las personas beneficiarias sobre la atención, información y apoyos y servicios recibidos. De igual manera, mide el nivel de satisfacción del Personal del Programa ante la gestión y ejecución de los procesos sustantivos.
9. Utilidad: Mide la percepción sobre la posible trascendencia que pueden generar los apoyos y servicios.

 CUESTIONARIOS

Puntos Centinela 2018 recopiló la información a través de once instrumentos de medición () diseñados para encuestar a la población beneficiaria y al personal clave de la operación de PROSPERA:

1. Titular Beneficiaria de PROSPERA: Esquema Con Corresponsabilidad
2. Titular Beneficiaria de PROSPERA: Esquema Sin Corresponsabilidad
3. Vocal de PROSPERA
4. Becario de Educación Media Superior
5. Personal de Educación Media Superior
6. Personal de Educación Básica
7. Unidad de Salud
8. Personal de Salud
9. Registro de Medicamentos
10. Personal de PROSPERA
11. Personal de instituciones liquidadoras (BANSEFI)

Se mantuvieron los mismos 10 que en PC 2017 y como parte del estudio implementado este año se incorporó, por primera vez, un cuestionario enviado al Personal de BANSEFI. De los once cuestionarios, dos, el de personal PROSPERA y el personal BANSEFI se realizaron a través de un medio electrónico y fueron de carácter autoaplicativo. Los nueve cuestionarios restantes se realizaron a través de entrevistas cara a cara; únicamente, en el caso del cuestionario de Becarios de Educación Media Superior se implementó una dinámica en la que el informante respondía en papel y era guiado por el encuestador.

Los cuestionarios se alinearon a las tres temáticas de análisis del estudio, de acuerdo con las responsabilidades de cada uno de los sectores involucrados. La clasificación por temática se muestra a continuación.

Asimismo, se clasificaron con base en la unidad de análisis; sin embargo, el informante al cuál se entrevistó y el lugar de aplicación era específico en cada caso.

 Diseño de la muestra estadística

El diseño muestral y la muestra estadística para el estudio 2018 se caracterizó por considerar aspectos derivados del rediseño muestral realizado en 2017; lo cual, permitió la comparabilidad de resultados a través del tiempo y se evitaron modificaciones que sesguen los resultados del levantamiento de información en campo. Al igual que en 2017, el diseño muestral de PC 2018 consideró una muestra del tipo: probabilística, polietápica, estratificada y por conglomerados.

Se trató de un diseño probabilístico, es decir, que cada unidad seleccionada tuvo la misma probabilidad de resultar elegida. Igualmente, el diseño contempló un diseño polietápico cuyas fases fueron, en primer lugar, obtener una muestra de localidades que tenían más de 10 titulares beneficiarias y en segundo lugar, obtener por cada localidad seleccionada, una muestra de hogares beneficiarios de los servicios que ofrece PROSPERA.

Adicionalmente, la muestra estadística 2018 se estratificó en dos dimensiones: urbanización de la localidad (urbano, rural y semiurbano) y pertenencia a localidades indígenas (indígena o no indígena), utilizando directamente la clasificación proporcionada en el padrón de PROSPERA.

 Esquema de la selección de muestra

La selección de la muestra y su desagregación fue obtenida mediante metodologías estadísticas comprobadas. Primero se realizó una estratificación de la población con base en los estratos definidos en el diseño muestral. Después, se realizó un muestreo aleatorio simple por conglomerados (localidades) dentro de cada estrato y, posteriormente, se efectuó un muestreo aleatorio simple de hogares beneficiarios dentro de los conglomerados. Consecuentemente, una vez seleccionadas los hogares beneficiarios en la muestra, fue posible encontrar las muestras para las demás unidades de análisis.

Específicamente, se dividió a la población en 32 regiones (Entidades Federativas) mutuamente excluyentes, cada región fue proyectada de manera independiente, de tal manera que la información pudiera ser analizada por región. Las localidades fueron consideradas como conglomerados.

En todos los casos se realizó un muestreo aleatorio simple para seleccionar las localidades y titulares. Las Unidades Primarias de Muestreo (UPM) fueron los conglomerados de Titulares Beneficiarias de PROSPERA en los esquemas Con y Sin Corresponsabilidad. La Unidad Secundaria de Muestreo (USM) fue constituida por las Titulares Beneficiarias de PROSPERA en ambos esquemas. De esta manera, el diseño muestral se caracterizó por representar a las Titulares como eje determinístico de todas las demás unidades de análisis.

En función de la selección de Titulares en ambos esquemas y de las localidades, se continuó la identificación de las demás unidades de análisis.

La selección de las demás unidades de análisis consistió en entrevistar a las Vocales, Becarios de Educación Media Superior, Escuelas de Educación Básica, Escuelas de Educación Media Superior, Unidades de Salud y Personal de Salud que están pertenecían a las localidades en la muestra. Con ello, es posible conocer la percepción del personal educativo y de salud que atiende a los hogares beneficiarios encuestados y facilita la comparación de percepciones en contextos similares.

En el caso de personal PROSPERA y el personal de BANSEFI, la unidad de análisis fue la unidad de muestreo. En otras palabras, el cuestionario de autoaplicación en línea fue enviado a la totalidad de informantes que indicó la DGPS. Con ello, la muestra estadística de PC 2018 permitió seguir y relacionar la información de toda la cadena de apoyos de PROSPERA: desde el personal que se encarga de brindar los apoyos y servicios, hasta los miembros de los hogares beneficiarios. Así, la comparación y cruce de respuestas entre informantes estuvo bajo el mismo contexto y se redujo el sesgo de variación.

 Composición de la muestra

Con base en el diseño anteriormente descrito, se determinaron los tamaños de muestra para cada unidad de análisis que se presentan en los siguientes cuadros.

* Asumiendo que se entrevista al menos una vocal por localidad
** Considerando que probablemente hubo dos informantes por escuela
*** Asumiendo que se encuestaron, aproximadamente, 5 becarios en cada escuela
**** El cuestionario fue enviado al número de personas que indicó la DGPS. Sin embargo, no se conoce el universo total del personal operativo y podría ser contestado por personal no considerado en el directorio al compartirse el vínculo electrónico del cuestionario.
Fuente: Elaboración propia con base en las características del diseño muestral y el cálculo de la muestra para cada unidad de análisis.

El diseño muestral se caracteriza por considerar dos estratos para la definición de la muestra: urbanización de la localidad y pertenencia indígena de la misma. Al respecto, en los Cuadros 4 y 5 se define el tamaño de muestra por estrato de urbanización para Titulares en el Esquema Con Corresponsabilidad y Sin Corresponsabilidad respectivamente. Igualmente, en el Cuadro 6 se define el tamaño de muestra por estrato indígena para las Titulares en el Esquema Con Corresponsabilidad, pues se trata de la única unidad de análisis que permite esta estratificación con representatividad.

Fuente: Elaboración propia con base en las características del diseño muestral y el cálculo de la muestra.

Fuente: Elaboración propia con base en las características del diseño muestral y el cálculo de la muestra.

 REPRESENTATIVIDAD

El diseño muestral respondió a los criterios de validez externa: representativo, preciso y adecuado. El diseño fue preciso porque su error de estimación no superó el 5% (excepto para Titulares Sin Corresponsabilidad cuyo error fue de 15%). Fue adecuado porque el tamaño de la muestra fue suficiente y que su distribución garantizó suficiente dispersión. Finalmente, fue representativo porque el esquema de selección de muestra permitió una representatividad para cada unidad de análisis.

El diseño muestral para 2018 posibilitó una representatividad nacional para cada unidad de medición. Para el caso de las Titulares Beneficiarias Con Corresponsabilidad se tuvo, además, representatividad estatal, así como por estrato de urbanización e indígena. En el caso de Titulares Sin Corresponsabilidad, únicamente se mantuvo la representatividad nacional, estatal y por estrato de urbanización. Para el resto de las unidades de análisis, el diseño muestral planteó representatividad nacional.

El Cuadro 7 se describe el tipo de representatividad por Unidad de Análisis. Cabe destacar que cuando se habla de representatividad con nivel indicio se identifica que se puede obtener resultados de los informantes, pero la confiabilidad es desconocida. En el caso del Personal PROSPERA y Personal BANSEFI, los resultados son de carácter descriptivo.

 Metodología 2017