ACRONYMS National Statistics Institute

Anonymized microdata

This page lists the statistical operations for which anonymised microdata files are available for download from the website. 

Microdata files contain individual records from a statistical operation, conveniently anonymised, in order to preserve the confidentiality of the information. 

The raw microdata files are fixed-width plain-text files containing, for each individual survey record, the value of each variable. To interpret these files correctly, it is necessary to map the variables and their values according to the specifications set out in the Excel files that contain the record layout. As the data are unaggregated, analysing them requires appropriate data-processing and analysis tools.

To make working with raw microdata easier, processed files are also provided in the following formats: CSV, R, SAS, Stata and SPSS. The Parquet format and a JSON record layout are also being introduced.

The JSON record layout lets users read the raw microdata files easily, without having to manually map the variables to their positions within the fixed-width file.

The Parquet file has the JSON record layout built in, making it self-contained and removing the need for additional files for its use.

  • Description of parquet format

    • Los ficheros Parquet son un formato de almacenamiento de datos diseñado específicamente para sistemas de análisis masivo. A diferencia de los formatos tradicionales basados en filas, como CSV o JSON, Parquet es un formato columnar, lo que significa que almacena los datos organizados por columnas en lugar de por registros completos. Esta característica permite optimizar enormemente el acceso a la información, ya que los sistemas de análisis suelen requerir únicamente un subconjunto de variables (columnas), evitando así la lectura innecesaria de datos completos. Además, Parquet fue desarrollado dentro del ecosistema Hadoop y está ampliamente integrado con herramientas modernas como Apache Spark, Hive o sistemas de procesamiento en la nube.

      Una de las principales ventajas técnicas de Parquet es su capacidad de compresión y codificación eficiente. Al almacenar datos por columnas, es más fácil aplicar técnicas de compresión avanzadas que aprovechan la similitud de valores dentro de cada columna. Por ejemplo, columnas con valores repetitivos o con baja cardinalidad pueden comprimirse mucho más que en formatos tradicionales. Esto se traduce en una reducción significativa del tamaño de los ficheros, lo que implica menores costes de almacenamiento y transmisión, así como un mejor rendimiento en la lectura y procesamiento de datos.

      En el contexto de la publicación de microdatos anonimizados, el formato Parquet ofrece ventajas muy relevantes. En primer lugar, permite una accesibilidad más eficiente para investigadores y analistas, ya que estos pueden consultar únicamente las variables necesarias sin tener que cargar todo el conjunto de datos. Esto es especialmente útil cuando se trabaja con bases de datos grandes y complejas, como las provenientes de encuestas, registros administrativos o censos.

      Además, el soporte de metadatos en Parquet facilita la documentación estructurada de las variables, lo que mejora la interpretabilidad y reutilización de los datos. En el caso de los ficheros que publica el INE, los metadatos se incorporan en el fichero parquet en formato JSON, cumpliendo con el diseño de registro definido en el JSON Schema correspondiente.

      Otra ventaja clave es la interoperabilidad con entornos analíticos modernos. Publicar microdatos en formato Parquet permite su uso directo en plataformas de análisis distribuido y lenguajes como Python o R, mediante bibliotecas como Pandas, PyArrow o dplyr. Esto elimina la necesidad de conversiones previas y agiliza el flujo de trabajo de los usuarios.

      En resumen, el uso del formato Parquet para la publicación de microdatos anonimizados combina eficiencia técnica, ahorro de recursos, facilidad de uso y compatibilidad con tecnologías modernas. Mediante la publicación de estos ficheros se busca fomentar la apertura de datos de manera segura y eficaz.

The National Statistics Institute (INE) accepts no responsibility for any results users obtain from these files through their own calculations. Furthermore, anyone using microdata files undertakes to cite INE as the source of the primary data in any publication resulting from their use (source: INE, www.ine.es), and to acknowledge that the accuracy or reliability of any information derived from their own processing is their sole responsibility.

Statistical operations that have available microdata files with standard anonymization: