Ciencia de Datos y Aprendizaje Automático: Toma de Decisiones Basada en Datos

1 Caso de Estudio

Python, para los científicos de datos y los especialistas en aprendizaje automático, es una lengua franca debido a la inmensa promesa de este lenguaje de programación. Para fortalecer tus bases de Python, este módulo se enfoca en NumPy, Pandas y visualización de datos.

• Numpy

Numpy es un paquete de Python para computación científica que permite trabajar con arreglos y matrices multidimensionales.

• Pandas

Pandas es una potente librería de código abierto en Python que se utiliza para analizar y manipular datos.

• Visualización de datos

La visualización de datos significa tratar con la representación gráfica de los datos, lo que genera de manera efectiva información a partir de los datos mediante el uso de librerías matplotlib, seaborn, etc.

1 Caso de Estudio

El material de esta semana te ayudará a comprender el papel de las estadísticas para ayudar a las organizaciones a tomar decisiones efectivas, conocer sus herramientas más utilizadas y aprender a resolver problemas comerciales mediante el análisis, la interpretación de datos y los experimentos. Verás los siguientes temas:

• Estadística descriptiva

Te da las medidas fundamentales de un resumen estadístico de los datos.

• Estadística inferencial

Explorarás las áreas de distribución y estimación de parámetros, lo que finalmente te permitirá hacer inferencias a partir de los datos.

Aprenderás sobre uno de los aspectos esenciales de AA: el aprendizaje no supervisado.

• ¿Qué es el aprendizaje no supervisado y por qué es un desafío?

Los algoritmos de aprendizaje no supervisado ​​te ayudarán a analizar y agrupar conjuntos de datos no etiquetados. Este capítulo te enseña sobre el aprendizaje no supervisado y los desafíos que se encuentran al usar estos algoritmos.

• Ejemplos de aprendizaje no supervisado

Este capítulo te hará comprender la implementación de varios algoritmos de aprendizaje no supervisados ​​con ejemplos.

2 Casos de estudio

La agrupación en clústeres, clustering, es una técnica de aprendizaje no supervisada para agrupar conjuntos similares de puntos de datos. El siguiente módulo del curso de Ciencia de Datos del MIT te presentará las técnicas de agrupación en clústeres ampliamente utilizadas, es decir, la agrupación en clústeres de K-means.

• ¿Qué es la agrupación?

Discutiremos la intuición básica detrás de la agrupación y por qué es frecuente en numerosas industrias.

• ¿Cuándo usar la agrupación?

Este capítulo te enseñará el procedimiento para usar técnicas de agrupamiento.

• K-medias preliminares

Este capítulo te ayudará a comprender algunos aspectos preliminares antes de comenzar con el agrupamiento de K-medias.

• El algoritmo de K-medias

El algoritmo K-medias en agrupamiento es uno de los algoritmos de aprendizaje no supervisado más comúnmente implementado para resolver problemas de agrupamiento en ciencia de datos o aprendizaje automático.

• ¿Cómo evaluar la agrupación?

Este capítulo te familiariza con el procedimiento para evaluar el agrupamiento.

• Más allá de K-medias: ¿Qué hace un clúster?

Aprenderás varias técnicas que hacen un clúster.

• Más allá de K-medias: otras nociones de distancia

Este capítulo te familiariza con otros tipos de métodos de distancia en la agrupación y te enseñará los casos de uso de los mismos.

• Más allá de K-medias: datos y preprocesamiento

El preprocesamiento de datos es una técnica para limpiar datos sin procesar para usarlos en aplicaciones de aprendizaje automático. Es el paso inicial y más importante al implementar un proyecto de aprendizaje automático.

Este capítulo discutirá por qué el procesamiento previo es necesario para la ciencia de datos y todos los pasos involucrados.

• Más allá de K-medias: big data y bayesiano no paramétrico

Big data se utiliza para determinar conjuntos de datos grandes y complejos que pueden ser tanto estructurados como no estructurados. Se puede implementar big data para la protección contra fraudes, el aprendizaje automático y el desarrollo de productos.

Un modelo no paramétrico bayesiano es un modelo bayesiano en un espacio de parámetros de dimensión infinita.

• Más allá de la agrupación

En este capítulo, comprenderás todos los temas cruciales más allá de la agrupación en clústeres y sus aplicaciones.

2 Casos de estudio

El agrupamiento espectral es una de las técnicas más ampliamente implementadas para redes y gráficos de agrupamiento. Aprenderás sobre el agrupamiento espectral, de modularidad y el algoritmo PCA. Este módulo discutirá el agrupamiento espectral y sus componentes e incrustaciones.

• ¿Qué pasa si no tenemos características para describir los datos o no todos son significativos?

Este capítulo te enseñará cómo proporcionar una solución si no tienes características para describir los datos o si no todos son significativos.

• Encontrar los componentes principales en datos y aplicaciones

El análisis de componentes principales es un método para reducir la complejidad de un modelo de aprendizaje automático no supervisado. En términos sencillos, el análisis de componentes principales es como eliminar las variables de entrada de un modelo predictivo para evitar el sobreajuste.

• La magia de los vectores propios I

En este capítulo, comprenderás el procedimiento para implementar vectores propios en una matriz.

• Agrupación en gráficos y redes

Obtendrás una comprensión de la agrupación en gráficos y redes.

• Características de los gráficos: la magia de los vectores propios II

Comprenderás el procedimiento para implementar vectores propios en una matriz utilizando varias características de los gráficos.

• Agrupamiento espectral

El agrupamiento espectral te permitirá reducir conjuntos de datos multidimensionales complejos en grupos de datos idénticos en dimensiones más raras.

• Agrupación de modularidad

La medida de la fuerza de la división de una red en clústeres se denomina agrupación de modularidad.

• Incrustaciones: Nuevas características y su significado

Una incrustación es un espacio de dimensión moderadamente baja para traducir vectores de alta dimensión, lo que ayuda a facilitar el aprendizaje automático en entradas enormes.

2 Casos de estudio

Aprenderás sobre la regresión lineal y no lineal junto con sus extensiones, incluido el caso crucial de la regresión logística para la clasificación binaria y la inferencia causal, donde el objetivo es comprender los efectos de manipular activamente una variable en lugar de medirla pasivamente.

• Regresión lineal con una y varias variables

Comprenderás el procedimiento para implementar la regresión lineal con una y varias variables.

• Regresión lineal para predicción

En este capítulo te familiarizaras con el procedimiento para implementar la regresión lineal para el análisis predictivo.

• Regresión lineal para inferencia causal

Te familiarizaras con el procedimiento para implementar la regresión lineal para la inferencia causal.

• Logística y otros tipos de regresión no lineal

La regresión logística es un algoritmo de clasificación simple en aprendizaje automático que predice las variables dependientes categóricas utilizando variables independientes.

Este capítulo te acercará a todos los fundamentos de la regresión logística y otros tipos de regresión no lineal en el aprendizaje automático.

1 Caso de Estudio

En este módulo aprenderás sobre la regresión moderna con datos de alta dimensión o cómo encontrar una aguja en un pajar. Para grandes conjuntos de datos, se vuelve necesario clasificar qué variables son relevantes para la predicción y cuáles no. Los últimos años han sido testigos del desarrollo de nuevas técnicas estadísticas, como Lasso o Random Forests, que son computacionalmente superiores a grandes conjuntos de datos y seleccionan automáticamente los datos relevantes.

• Cómo hacer buenas predicciones con datos de alta dimensión

Este capítulo te enseñará el proceso de hacer buenas predicciones con datos de alta dimensión.

• Evitar el sobreajuste mediante validación y validación cruzada

El sobreajuste ocurre cuando un modelo sobreentrena los datos. En términos sencillos, supongamos que un modelo aprende los detalles y el ruido dentro de los datos de entrenamiento. En ese caso, los datos de entrenamiento afectarán negativamente el rendimiento del modelo en datos nuevos.

Este capítulo te enseñará el proceso de evitar el sobreajuste a través de técnicas de validación y validación cruzada.

• Regularización por Lasso, Ridge, y su modificación

Comprenderás la regularización por Lasso, Ridge y su modificación.

• Árboles de regresión, bosque aleatorio, árboles potenciados

Los árboles de regresión se construyen utilizando particiones recursivas binarias, un proceso iterativo que divide los datos en particiones o ramas. Luego divide cada porción en grupos más pequeños a medida que el proceso avanza en cada rama.

Random Forest, o bosque aleatorio, es un algoritmo predominante de aprendizaje automático supervisado que constituye numerosos árboles de decisión en los innumerables subconjuntos dados de un conjunto de datos. Más tarde, calculará el promedio para mejorar la precisión predictiva del conjunto de datos. El impulso es un metaalgoritmo en Aprendizaje Automático, que transforma clasificadores robustos de varios clasificadores débiles.

La potenciación se puede distinguir como potenciación de gradiente y potenciación adaptativa (ADA).

2 Casos de estudio

Esta sección cubrirá la regresión y la inferencia causal para explicar por qué "la correlación no implica causalidad" y cómo podemos superar esta limitación intrínseca de la regresión recurriendo a estudios de control aleatorios o controlando la confusión.

• Ensayos de control aleatorizados

Este capítulo te enseñará el proceso de identificar y trabajar con ensayos controlados aleatorios.

• Estudios observacionales con confusión

La confusión es un riesgo común de la investigación clínica observacional que se opone a los experimentos aleatorios. Sin embargo, puede pasar fácilmente desapercibido, aunque su reconocimiento es esencial para interpretar significativamente las relaciones causales, como evaluar los efectos del tratamiento.

1 Caso de Estudio

En este módulo del programa de certificación MIT en Ciencia de Datos, aprenderás pruebas de hipótesis y varios algoritmos de clasificación. La prueba de hipótesis es una técnica para realizar experimentos utilizando los datos observados/encuestados. Como su nombre lo indica, la clasificación es una técnica para clasificar un conjunto de datos en diferentes categorías y se puede realizar tanto en datos estructurados como no estructurados.

• ¿Qué son las anomalías? ¿Qué es el fraude? ¿Spam?

Las anomalías ocurren cuando las bases de datos se planifican de manera inadecuada y no están normalizadas, donde todos los datos se almacenan en una tabla. El fraude, como su nombre indica, es un acto fraudulento sin autorización. El spam es una comunicación digital no solicitada, como el envío de mensajes, correos electrónicos, etc., a una gran cantidad de personas con fines comerciales.

En este capítulo, comprenderás el procedimiento para detectar anomalías, fraudes y filtrar spam en aprendizaje automático.

• Clasificación binaria: falso positivo/negativo, precisión/recuperación, puntuación F1

La clasificación binaria es una técnica de aprendizaje automático supervisado, donde las categorías están predefinidas y clasificadas en nuevas observaciones probabilísticas. Cuando hay dos categorías, se llama clasificación binaria.

• Regresión logística y probit: Clasificación binaria estadística

La regresión probit es un método en el que la variable dependiente toma solo dos valores. Este capítulo discutirá todos los conceptos esenciales, como la regresión logística, la regresión probit y la clasificación binaria estadística.

• Prueba de hipótesis: Prueba de razón y valores p de Neyman-Pearson: Confianza

Obtendrás una comprensión de todos los conceptos críticos de la prueba de hipótesis.

• Máquina de vectores de soporte: clasificador no estadístico

Support Vector Machine, abreviado como SVM, es otro algoritmo de aprendizaje automático popular que se utiliza para problemas de regresión y clasificación.

• Perceptron: Clasificador simple con interpretación elegante

Un perceptrón es una neurona artificial, o simplemente, un modelo matemático de una neurona biológica. Este capítulo te familiariza con el perceptrón y sus diversos conceptos.

1 Caso de Estudio

Los alumnos comprenderán todos los conceptos críticos del aprendizaje profundo, como la clasificación de imágenes, la propagación hacia atrás, el aprendizaje por transferencia, la PNL, el reconocimiento de voz y mucho más.

• ¿Qué es la clasificación de imágenes? Introducción a ImageNet y ejemplo

La clasificación de imágenes es un concepto fundamental en el aprendizaje profundo. Identifica objetos en una imagen entrenando un modelo a través de la experimentación con imágenes etiquetadas.

Este capítulo te enseñará el proceso de identificación de objetos en una imagen y te presentará ImageNet, junto con varios ejemplos.

• Clasificación utilizando un único umbral lineal (perceptrón)

Aprenderás el proceso de implementación de técnicas de clasificación utilizando un único umbral lineal (perceptrón).

• Representaciones jerárquicas

Aprenderás el proceso de representación de modelos de aprendizaje profundo en una estructura jerárquica.

• Ajuste de parámetros usando retropropagación

En este capítulo, aprenderás cómo encontrar coeficientes (parámetros) para uno o varios modelos para ajustar datos.

• Funciones no convexas

Este capítulo te familiariza con las funciones de optimización no convexas en el aprendizaje profundo.

• ¿Qué tan interpretables son sus características?

Comprenderás cómo se pueden interpretar las características.

• Manipulación de redes profundas (ejemplo de avestruz)

Comprenderás el proceso de manipulación de redes neuronales profundas utilizando el ejemplo del avestruz.

• Transferencia de aprendizaje

El aprendizaje por transferencia es un enfoque de aprendizaje profundo ampliamente implementado. Es un modelo desarrollado para una aplicación que puede ser reutilizado como punto inicial de un modelo en una segunda aplicación.

• Otras aplicaciones I: Reconocimiento de voz

El reconocimiento de voz es una técnica para transformar el habla humana en texto escrito mediante el reconocimiento de la voz de un individuo.

• Otras aplicaciones II: Procesamiento del lenguaje natural

El procesamiento del lenguaje natural (NLP) es una técnica para aplicar la lingüística computacional para construir aplicaciones del mundo real, que funcionan con lenguajes que comprende varias estructuras. Aquí, intentamos enseñarle a una computadora a aprender idiomas y luego esperamos que la computadora analice y comprenda estos idiomas usando algoritmos adecuados y eficientes.

1 Caso de Estudio

Los algoritmos del sistema de recomendación, en pocas palabras, sugieren elementos relevantes a los usuarios, explicando las tendencias de su uso en una variedad de industrias y su papel central en la generación de ingresos.

• ¿Qué hace un sistema de recomendación?

Como su nombre lo indica, los sistemas de recomendación ayudan a predecir la preferencia futura de cualquier producto y recomendar los artículos más adecuados para los usuarios.

En este capítulo, comprenderás el procedimiento para utilizar un sistema de recomendación para elegir los mejores productos para los usuarios.

• Entonces, ¿cuál es el problema de predicción de recomendaciones? ¿Y qué datos tenemos?

La técnica en la que el sistema predice si a un individuo o a una empresa le gusta el producto (un problema de clasificación) o las reseñas o calificaciones de ellos (un problema de regresión) se conoce como problema de predicción de recomendación.

• Uso de promedios de población

Comprenderás el procedimiento para usar promedios de población.

• Uso de comparaciones y clasificaciones de población

Comprenderá el procedimiento para usar comparaciones y clasificaciones de población.

1 Caso de Estudio

El filtrado colaborativo es un aspecto de los sistemas de recomendación con el que interactuamos con bastante frecuencia. Al recopilar datos sobre las preferencias de múltiples usuarios, el filtrado colaborativo hace predicciones para la elección de un usuario en particular.

• Personalización mediante filtrado colaborativo utilizando usuarios similares

Comprenderás el procedimiento para utilizar el filtrado colaborativo con la ayuda de usuarios similares.

• Personalización mediante filtrado colaborativo utilizando elementos similares

Comprenderás el procedimiento para utilizar el filtrado colaborativo con la ayuda de elementos similares.

• Personalización mediante filtrado colaborativo utilizando usuarios y elementos similares

Comprenderás el procedimiento para utilizar el filtrado colaborativo con la ayuda de usuarios y elementos similares.

1 Caso de Estudio

Como sugiere el propio nombre, las recomendaciones personalizadas funcionan para filtrar las recomendaciones que son personalmente relevantes para un usuario, en función de sus tendencias de navegación, etc.

• Personalización mediante comparaciones, clasificaciones y elementos de usuario

Aprenderás cómo utilizar recomendaciones de personalización con la ayuda de comparaciones, clasificaciones y elementos de usuario.

• Modelo oculto de Markov / Redes neuronales, gráfico bipartito y modelo gráfico

El modelo oculto de Markov (HMM) es un modelo estadístico de Markov en el que el sistema que se modela se considera un proceso de Markov con estados ocultos/no observados.

• Usando información secundaria

Te familiarizarás con el procedimiento para usar información adicional con la ayuda de Meta-Prod2Vec.

• Construyendo un sistema: Desafíos algorítmicos y del sistema

Te familiarizarás con el procedimiento para crear un sistema considerando los desafíos algorítmicos y del sistema.

1 Caso de Estudio

En este módulo del programa, aprenderás sobre las medidas descriptivas estándar de una red, como centralidad, cercanía e intermediación, y modelos estocásticos estándar para redes, como Erdos-Renyi, conexión preferencial, modelos de infección, nociones de influencia, etc.

• Medidas de centralidad: grado, vector propio y rango de página

Este capítulo te familiarizará con el procedimiento para implementar medidas de centralidad, como grado, vector propio y rango de página.

• Centralidad de cercanía e intermediació

Obtendrás una comprensión de la centralidad de la cercanía y la intermediación.

• Distribución de grados, agrupamiento y mundo pequeño

Obtendrás una comprensión de la distribución de grados, la agrupación y el mundo pequeño.

• Modelos de red: Erdos-Renyi, modelo de configuración, apego preferencial

El modelo Erdos-Renyi te ayuda a crear redes o gráficos aleatorios en las redes sociales. El modelo de configuración es una técnica para generar redes aleatorias a partir de una secuencia de grados dada. El apego preferencial es un método en el que los nuevos miembros de la red intentan establecer una conexión con los miembros existentes más frecuentes.

• Modelos estocásticos en redes para la propagación de virus o ideas

Obtendrás una comprensión de los modelos estocásticos en las redes para la propagación de virus o ideas.

• Maximización de la influencia

El problema de identificar un pequeño subconjunto de nodos (nodos semilla) en una red social que pueda maximizar la difusión de la influencia se denomina maximización de la influencia.

1 Caso de Estudio

Aprenderás a usar modelos gráficos para estimar y mostrar una red de interacciones.

• Modelos gráficos no dirigidos

En este capítulo, aprenderás acerca de los modelos gráficos no dirigidos.

• Modelos de Ising y Gaussianos

El modelo de Ising especifica la distribución de probabilidad conjunta de un vector para comprender las transiciones de fase. Un modelo gaussiano es una distribución normal bidimensional de la concentración en las direcciones vertical y de viento cruzado centrada alrededor del eje a favor del viento desde el punto inicial.

• Aprendizaje de modelos gráficos a partir de datos

Obtendrás una comprensión de varios modelos gráficos de datos.

• Modelos gráficos dirigidos

Un modelo gráfico dirigido se refiere a la probabilidad de variables aleatorias en un producto de probabilidades condicionales, disponible para cada nodo en el gráfico.

• Estructuras en V, "explicaciones" y modelos gráficos dirigidos al aprendizaje

Comprenderás más acerca de los modelos gráficos dirigidos, las estructuras en V y la "explicación".

• Inferencia en modelos gráficos: Marginales y paso de mensajes

Este capítulo te enseñará acerca de la inferencia en modelos gráficos, como los Marginales y el paso de mensajes.

• Modelo oculto de Markov (HMM)

En este capítulo repasamos tu conocimiento previo del Modelo Oculto de Markov (HMM).

• Filtro Kalman

El algoritmo de filtro de Kalman se utiliza para proporcionar estimaciones de algunas variables desconocidas, dado que las mediciones se observan durante un período particular.

1 Caso de Estudio

El modelado predictivo es la técnica de utilizar resultados anteriores para crear, procesar y validar un modelo, que eventualmente se puede usar para hacer predicciones futuras. Aprenderás sobre la estructura de los datos temporales y cómo podemos definir claramente las entradas y salidas de entrenamiento para la predicción.

• Ingeniería de predicción

La ingeniería de predicción es la técnica de generar ejemplos de entrenamiento a partir de datos existentes para entrenar un modelo de aprendizaje automático para futuras predicciones.

1 Caso de Estudio

Sabrás cómo utilizar técnicas de ingeniería de características para extraer información significativa de datos temporales; ¿Cuáles son las estrategias efectivas para evaluar el rendimiento del modelo y prepararse para implementarlo en el mundo real?

• Introducción

Este capítulo introducirá a los alumnos a la ingeniería de características, una técnica para transformar datos desde el estado sin procesar a un estado apropiado para el modelado. Ayuda a transformar las columnas de datos en características que representan mejor una situación dada en términos de claridad.

• Tipos de características

Te familiarizarás con tres tipos de características: cuantitativas, ordinales y categóricas.

• Síntesis profunda de funciones: primitivas y algoritmos

Deep Feature Synthesis, abreviado como DFS, es un proceso automatizado que ejecuta la ingeniería de características en datos relacionales y temporales.

Este capítulo te enseñará acerca de las primitivas y los algoritmos involucrados en DFS.

• Síntesis profunda de funciones: apilamiento

Este capítulo te enseñará cómo apilar en DFS.

El módulo cubre:

• Descripción general de ChatGPT y OpenAI
• Cronología de la PNL y la IA generativa
• Marcos para entender ChatGPT y IA generativa
• Implicaciones para el trabajo, los negocios y la educación
• Modalidades de salida y limitaciones
• Roles comerciales para aprovechar ChatGPT
• Ingeniería inmediata para el ajuste de las salidas
• Demostración práctica y sección extra sobre RLHF

El módulo cubre:

• Fundamentos matemáticos para la IA generativa
• VAE: Primeras Redes Neuronales Generativas
• GAN: generación de imágenes fotorrealistas
• GAN condicionales y difusión estable: control y mejora en la generación de imágenes
• Modelos transformadores: IA generativa para el lenguaje natural
• ChatGPT: IA generativa conversacional
• Creación práctica de prototipos de ChatGPT
• Próximos pasos para un mayor aprendizaje y comprensión