a 0i@sddlZddlZddlZddlmZddlmZddlmZddl m Z m Z ddl m Z mZmZddlmZmZedd Zed kre ne Zd Zd Zd Zed deddeddeddGdddZdddZddZdS)N)BytesIO)datetime)jsonify)DevelopmentConfigProductionConfig)obtener_catalogo_validacionguardar_log_validacionobtener_cantidades_componentes)ValidadorTiposDatoslimpiar_dataframe FLASK_ENV development productionzhttps://igsa1-my.sharepoint.com/personal/alexis_moreno_igsa_com_mx/_layouts/15/download.aspx?share=EStyzV5jqTRGqhyxo4jfzmIBYCfPhbrU4xMICcpWqMSqiwZScoreV2zdisplay.max_columnszdisplay.max_rowsz display.widthzdisplay.max_colwidth2c@sxeZdZdZddZddZddZdd Zd d Zd d Z ddZ ddZ ddZ ddZ ddZddZddZdS)ValidadorScoreu? Clase principal para manejar la validación del Score cCsBt|_t|_t|_||_d|_d|_ g|_ t d|_dS)Nz %Y%m%d_%H%M%S)url_sharepoint_globalurl_sharepointnombre_hoja_global nombre_hojanombre_tabla_excel_globalZnombre_tabla_excel_obtener_ruta_descarga ruta_descargacatalogo_validaciondf_scoreZerrores_validacionrnowstrftime timestamp)selfrG/var/www/html/src/App/SupyCtrol_Module/IngenieroControl/ValidarScore.py__init__&s zValidadorScore.__init__cCs4tdkrd}ntjtdd}tj|dd|S)u 1.2 Configura la ruta de descarga según el ambiente Returns: str: Ruta donde se guardará el archivo rz)/var/www/elephant/temp/score_validacionestempZscore_validacionesT)exist_ok)r ospathjoingetcwdmakedirs)rrutarrrr0s z%ValidadorScore._obtener_ruta_descargac Csvz8t|_|jstdWdStdt|jdWdStyp}z tdt|WYd}~dSd}~00dS)u 1.3 Consulta la tabla CM_DataTypeValidator y crea el diccionario Returns: bool: True si se inicializó correctamente, False en caso contrario u5Error: No se pudo obtener el catálogo de validaciónFu"Catálogo de validación cargado: columnasTu Error al inicializar catálogo: N)rrprintlen Exceptionstr)rerrrinicializar_catalogoCsz#ValidadorScore.inicializar_catalogoc Csztdtj|jdd}|jdkr:td|jWdSd|jd}tj|j |}t |d }| |j Wdn1s0Ytd |t d kr||WSty}z td t|WYd}~dSd}~00dS) z 2. Descarga el archivo Excel desde SharePoint Returns: str: Ruta del archivo descargado o None si hubo error z'Descargando archivo desde SharePoint...)timeoutuError al descargar: código NScore_.xlsxwbzArchivo descargado: rzError al descargar Excel: )r*requestsgetr status_coderr#r$r%ropenwritecontentr _limpiar_archivos_antiguosr,r-)rresponseZnombre_archivoZ ruta_completafr.rrrdescargar_excelXs"  *zValidadorScore.descargar_excelc Cszt}|j}|j}|dkr4dd|}|d}n |d}|}||d}t|j}|D]t}|dr^|dr^zJ| dddd } | |krtj |j|} t | t d |Wq^Yq^Yq^0q^Wn8ty} zt d t| WYd} ~ n d} ~ 00dS) z; 2.4 Elimina archivos anteriores a 3 meses  Z02dr3r4_NzArchivo antiguo eliminado: z$Error al limpiar archivos antiguos: )rrmonthyearr#listdirr startswithendswithsplitr$r%remover*r,r-) rZ fecha_limiteZ mes_actualt año_actualZ mes_limitet año_limiteZfecha_limite_strZarchivosZarchivoZ fecha_archivo ruta_archivor.rrrr<zs.    z)ValidadorScore._limpiar_archivos_antiguosc$Csddlm}ddlm}g}ztdtdtdtdtd|td ||d d }td td |jtd|jd|j|jvrtd|jdtd|j||WS||j}tdtd|jtd|j td|j tdi}t |dddD]$\}} | j r&t | j ||<q&tdt|dtdt|ddD] \} } td| d d!| q|t|d"krtd#t|d"d$td%td&tdd} d} d'}t |jd(d)d(dD]\}}| d7} | |krtd*d+td,|d-| td+d}d}d}td.t |dd/ddD]\}} ||d0|}| j }| j}| j}|dus|d1krd2}|d7}nt |dd3}|d7}||k}|r|d7}d4}nd5}td6|d7|d8|d9d:|d;d<|d= qlt|}td>|d?td@|tdA|tdB|tdC||dkrtdDt |ddD]\}} | j|kr| d7} ||dE|}| j rt | j ndF}| j}||||dGdH|dI| |krJtdJ| dKtdL|tdM|tdN|tdO|n&tdP| dQ|dR|dS|dT| q| |kr| dUdkrtdV| dW| dXqtd*dtdY|tdZtd*dtd[tdtd\|d]d^td_|jtd`| tdat|tdb| t|dc| dkrtdd| tdei}|D]"}|df}||dd||<qtt|D] \}} tdg|d!| dhqtdit |dD]<\}!}td6|!djdk|dldmdn|dod9dn|dfqntdptdqtdd*|WSty}"zhtd*dtdrtdtdst |"tdtddl}#|#tdd*|WYd}"~"Sd}"~"00dS)uu_ Detecta errores nativos de Excel usando OpenPyXL (como #VALOR!, #REF!, #DIV/0!, #N/A, #NAME?, #NULL!, #NUM!) CON PRINTS DETALLADOS PARA DEBUG Args: ruta_archivo (str): Ruta del archivo Excel Returns: list: Lista de errores encontrados en formato estándar r) load_workbook) TYPE_ERRORe ====================================================================================================uB🔍 INICIANDO DETECCIÓN DE ERRORES NATIVOS DE EXCEL CON OPENPYXLd====================================================================================================u! 📂 PASO 1: Abriendo archivo...z Ruta: u? Modo: data_only=False (mantiene fórmulas y detecta errores)T)Z data_onlyu$ ✅ Archivo abierto correctamenteu 📊 Hojas disponibles: u" 📄 PASO 2: Seleccionando hoja 'z'...u ❌ ERROR: Hoja 'z' no encontradaz Hojas disponibles: u& ✅ Hoja seleccionada correctamenteu 📏 Dimensiones: u 📊 Filas máximas: u 📊 Columnas máximas: u5 📋 PASO 3: Leyendo nombres de columnas (fila 1)...rB)startu ✅ z columnas detectadasz Primeras 10 columnas:N{z Col 2d: z ... y u columnas másu> 🔎 PASO 4: Iniciando búsqueda de errores (desde fila 2)...u9 Se mostrarán las primeras 5 filas de datos en detalle)Zmin_row ,────────────────────────────────────────────────────────────────────────────────────────────────────u 📍 FILA u (Fila Excel) - Índice z" Mostrando primeras 10 columnas:#ZCol_[VACÍO]ru ❌ ERRORu✓  [z] z<30 = <40z (tipo: )u 📊 Resumen fila :u • Total celdas: u • Con valor: u • Vacías: u • Con ERROR: u, ⚠️ ¡FILA CON ERRORES DETECTADOS!ZColumna_z#ERROR!Z ERROR_EXCELu&🚫 Error nativo de Excel detectado: filacolumnavalor tipo_esperadoerroru 🚨 ERROR #z ENCONTRADO:z Celda: z Fila Excel: z Columna: z Valor: u ❌ Error #z: Fila z , Columna 'z' [z]: dz ... Procesadas z filas (z errores hasta ahora)...u5🔒 PASO 5: Cerrando workbook y liberando memoria...u% ✅ Workbook cerrado correctamenteu;📊 RESUMEN FINAL - DETECCIÓN DE ERRORES NATIVOS DE EXCELu 📄 Archivo: /u 📋 Hoja: u 📏 Filas procesadas: u 📊 Columnas analizadas: u 🔍 Total celdas revisadas: ,u ⚠️ ERRORES DETECTADOS: z# Detalle de errores encontrados:rfu • z ocurrencia(s)u# 📋 Lista completa de errores:3dz. Fila rdZ4d | reu1 ✅ NO SE DETECTARON ERRORES NATIVOS DE EXCELu> 🎉 Todas las celdas están libres de errores de fórmulasu4❌ ERROR CRÍTICO EN DETECCIÓN DE ERRORES DE EXCEL Error:  Stack trace completo:)ZopenpyxlrMZopenpyxl.cell.cellrNr*Z sheetnamesrcloseZ dimensionsZmax_rowZ max_column enumeratevaluer-stripr+listitems iter_rowsr7Z data_typeZ coordinateappendrJsortedr, traceback print_exc)$rrLrMrNZ errores_excelr5wsZcolumnasZcol_idxcellidxnombrecontador_erroresfilas_procesadasZMOSTRAR_PRIMERAS_N_FILASZrow_idxrowZceldas_con_valorZ celdas_vaciasZceldas_con_errornombre_columnarfZ tipo_datoZ coordenadaZ valor_mostrarZes_errorZmarcadorZtotal_celdas_filaZ valor_errorZ tipos_errorrhtipoZcantidadir.rzrrr_detectar_errores_excel_nativoss        0   *  8 z.ValidadorScore._detectar_errores_excel_nativosc Csfztdt|}|j|jvrJtd|jdtd|jWdStj||jtd|_dd|jjD|j_td t |jd t |jjd td td tdt dt |j}t |D]}|d}tddtd|d|dtd|jj |gj }dg|_|jj |D]f\}}t|rDd} n |dkrTd} nt|dd} t|j} td|dd| dd| d q*qtd td!tdtd"t|jjtd#|j} | | d$k} t | d$krt| ntd%td&Wd'Sty`} z0td(t| d$dl}|WYd} ~ dSd} ~ 00dS))u 3. Lee el archivo Excel y carga los datos en un DataFrame Args: ruta_archivo (str): Ruta del archivo a leer Returns: bool: True si se leyó correctamente, False en caso contrario zLeyendo archivo Excel...zError: La hoja 'z' no existe en el archivozHojas disponibles: F)Z sheet_namedtypecSsg|] }|qSr)rt.0colrrr z-ValidadorScore.leer_excel..uArchivo leído correctamente: z filas, r)z ======================================================================================================================================================u#📊 PRIMERAS 5 FILAS DEL DATAFRAMEz======================================================================================================================================================r@rWrXu FILA NÚMERO u (índice DataFrame: raZValorz[NULL]r[r\Nri z<45r_z<55r^]zFIN DE PRIMERAS 5 FILASu 📋 RESUMEN DE TIPOS DE DATOS:u" ⚠️ RESUMEN DE VALORES NULOS:ru✓ No hay valores nulosz ====================================================================================================================================================== TzError al leer Excel: )r*pdZ ExcelFilerZ sheet_namesZ read_excelr-rcolumnsr+minrangeilocTrvZisnatype__name__ZdtypesZ to_stringZisnullsumr,rzr{)rrLZ excel_filenum_filas_mostrarr~Z fila_excelZfila_dfZcolumna_nombrerfZvalor_formateadorZnulosZnulos_con_datosr.rzrrr leer_excels^   $     & zValidadorScore.leer_excelc Csg}z|jj}t|j}t|t|@}t|dkrX|dddd|fWSt t|t|}t t|t|}t dt dt dt d t|t d t d t t |d D]\}}t d |dd|q|r ℹ️ Columnas en Excel que NO están en catálogo Manual: u1 (Estas columnas se IGNORAN en la validación)u> ⚠️ Columnas en catálogo Manual que NO están en Excel: u4 (Estas columnas deberían desactivarse en la BD)zN/Ar`z (rau%✓ Validación de estructura exitosazQ================================================================================ TzError al validar estructura: N)rrtolistrurkeyssetr+rxryr*rrr7r,r-) rerrorescolumnas_excelcolumnas_catalogoZcolumnas_comunesZcolumnas_solo_excelZcolumnas_solo_catalogorrrr.rrrvalidar_estructurasX    "  z!ValidadorScore.validar_estructurac CszRt|j}t|j\|_}t|j}||}td|d|||d}||fWSty}z&tdt|dgfWYd}~Sd}~00dS)u 4.3 Aplica limpieza y tratamiento al DataFrame Returns: tuple: (dict estadísticas, list errores_eliminacion) u✓ Tratamiento aplicado: z filas eliminadas)filas_originales filas_finalesfilas_eliminadaszError al aplicar tratamiento: N)r+rr r*r,r-)rrZfilas_eliminadas_detallerr estadisticasr.rrraplicar_tratamiento_datos s   z(ValidadorScore.aplicar_tratamiento_datosc sVg}ztdt|jj}t|j}||@tdtfddtj D}|rltd|D]r}|j|}t |j|D]T\}}tj |||d\} } | s| |d|t |rt|dd nd || d qqptd t|d |WStyP} z:tdt| dddddt| d gWYd} ~ Sd} ~ 00dS)uU 5. Valida los tipos de datos SOLO de las columnas que: - Existen en el Excel - Existen en el catálogo - Tienen Origin = 'Manual' (ya filtrado en la consulta SQL) - INCLUYE validación de campos obligatorios (NOT NULL) Returns: list: Lista de errores encontrados zValidando tipos de datos...z9Columnas a validar (Origin='Manual' y existen en Excel): csg|]}|vr|qSrrrZcolumnas_a_validarrrrWsz6ValidadorScore.validar_tipos_datos..u*⚠️ Columnas obligatorias (NOT NULL): )rrWNrr\rcu✓ Validación completada: z errores encontradosz!Error al validar tipos de datos: rZSISTEMAr[Error crítico: )r*rrrrrrr+r ZCOLUMNAS_OBLIGATORIASrrZvalidar_por_tipo_sqlrxrnotnar-r,) rrrrZ#columnas_obligatorias_en_validacionreZtipo_sqlr~rfZ es_validoZ mensaje_errorr.rrrvalidar_tipos_datos>sL      z"ValidadorScore.validar_tipos_datosc CszHt|t|}t|jj}t|j}||@}i}|D]$} | dd} || dd|| <qB|D]$} | dd} || dd|| <ql|jt d|dkrdnd |r|d dnd|r|d dnd|r|d dndt|t|t||t|t|d |||dd} t |r.|d dnd||t | dd| WSt y} z tdt| WYd} ~ dSd} ~ 00dS)uE 5.3 Genera el reporte consolidado de la validación rrrrBrgZ TIPO_DATO%Y-%m-%d %H:%M:%SZEXITOSOZ CON_ERRORESrrr) rrrrZcolumnas_catalogo_manualcolumnas_validadas total_erroreserrores_estructura errores_datos)Z estructuraZdatos)rZfecha_validacionestadorerrores_por_tiporr)Z total_filasrrrrzError al generar reporte: N)r+rrrrrrr7rrrrrr,r*r-) rrrstats_tratamientorrrrrrhrreporter.rrrgenerar_reporte_consolidadosR    z*ValidadorScore.generar_reporte_consolidadoc Csg}ztdtdtdtdt}|jrBtd|WStdt|dtdtd t|jtd |jD]}td |d ||jqtd dtdtdtdt|}t|D]}td dtd|dtd|j |}td|dtd|dtd|dtd|dtd|dtd|dtd|d |dd!kp|dd!kp|d d!k}|rtd"qtd dd td#td$tdd d%}| D]\}}|d} |d} t |dr,|dnd&} |d} t | r| d!kr|d7}d'| dt t| d(d)| d t| d*d+} || td,|d-| d.t| d/|d}t |r0|d!kr0|d7}d'| dt t|d(d)| d t|d0d+} || td,|d-| d.t|d1|d }t |r|d!kr|d7}d'| d t t|d(d)| d t|d2d+} || td,|d-| d.t|d3qtd dtd4tdtd5t|td6t|ttd7d8|Dtd9t|t|d%krtd:td;d<|D}td=d<|D}td>d<|D}|d%krtd?||d%krtd@||d%krtdA|tdBt|dD]8\}} tdC|dDdE| dFdG| dHdI| dJqntdKtdLtdd |WSty}zhtd dtdMtdtdNt |tdOd%dPl}|tdd |WYdP}~SdP}~00dPS)Qu Valida que las cantidades de motores, generadores y radiadores no excedan el máximo (1) mediante consulta SQL INDEPENDIENTE del Excel Returns: list: Lista de errores encontrados donde cantidad >= 2 rOu=🔍 INICIANDO VALIDACIÓN DE CANTIDADES DE COMPONENTES (SQL)rPu( 📊 PASO 1: Ejecutando consulta SQL...u/⚠️ La consulta SQL no devolvió resultadosu✅ Consulta ejecutada: z registros obtenidosu$ 📋 Resumen de columnas obtenidas:z Columnas: z Tipos de datos:z - rTrXu'📊 PRIMERAS 5 FILAS DEL RESULTADO SQLrVrYu📍 REGISTRO rBz OrderNum: OrderNumz OrderLine: OrderLinez OrderNum&Line: z OrderNum&Linez JobNum2: JobNum2u 🔧 CantidadDeMotores: CantidadDeMotoresu ⚡ CantidadDeGeneradores: CantidadDeGeneradoresu" 🌡️ CantidadDeRadiadores: CantidadDeRadiadoresrWu) ⚠️ ¡CANTIDAD EXCEDIDA DETECTADA!u$🔎 PASO 2: Validando cantidades...u' Criterio: Si cantidad >= 2 → ERRORrz Sin JobNumzOrderNum&Line: ZCANTIDAD_MAXIMAu⚠️ JobNum u* motores detectados (máximo permitido: 1)rcu ❌ Error #z : OrderNum z - z motoresu. generadores detectados (máximo permitido: 1)z generadoresu- radiadores detectados (máximo permitido: 1)z radiadoresu2📊 RESUMEN FINAL - VALIDACIÓN DE CANTIDADES SQLu 📋 Registros analizados: u ✅ Registros sin errores: cSsg|] }|dqS)rdrrr.rrrrHrzEValidadorScore.validar_cantidades_componentes_sql..u! ❌ Total errores detectados: u% 📋 Detalle de errores por tipo:css|]}|ddkrdVqdS)rerrBNrrrrr MrzDValidadorScore.validar_cantidades_componentes_sql..css|]}|ddkrdVqdS)rerrBNrrrrrrNrcss|]}|ddkrdVqdS)rerrBNrrrrrrOru • Motores excedidos: u! • Generadores excedidos: u • Radiadores excedidos: u 📋 Lista de errores:r]rmrrdrnrer_rfu- ✅ NO SE DETECTARON CANTIDADES EXCEDIDASu= 🎉 Todas las órdenes tienen cantidades válidas (0 o 1)u3❌ ERROR CRÍTICO EN VALIDACIÓN DE CANTIDADES SQLrorpN)r*r emptyr+rurrrrrZiterrowsrrr-intrxrrrrr,rzr{)rrZ df_cantidadesrrr~rZ tiene_errorrZ order_numZorder_line_fulljob_numZcantidad_motoresrhZcantidad_generadoresZcantidad_radiadoresZerrores_motoresZerrores_generadoresZerrores_radiadoresrr.rzrrr"validar_cantidades_componentes_sqls               $(   4 z1ValidadorScore.validar_cantidades_componentes_sqlc CsVz|sdddWS|}|s.dddWS||sDdddWS||}|\}}|sn||gdWS|\}}|}|}||||} t dt | t dt |t d t |t d t |||| |} | WSt yP} zBt d t | d dl } | dd t | dWYd} ~ Sd} ~ 00dS)u Ejecuta el flujo completo de validación INCLUYE detección de errores nativos de Excel Returns: dict: Reporte completo de la validación ERROR-No se pudo cargar el catálogo de validaciónrrz-No se pudo descargar el archivo de SharePointz No se pudo leer el archivo ExcelNu ✓ Total errores consolidados: z - Errores Excel: z - Filas eliminadas: z - Errores de tipos: uError en validación completa: rr)r/r?rrrrrrrr*r+r,r-rzr{) rrLZerrores_excel_nativosZestructura_validarrZerrores_filas_eliminadasrZerrores_cantidades_sqlZtodos_los_errores_datosrr.rzrrrejecutar_validacion_completaosV     z+ValidadorScore.ejecutar_validacion_completaN)r __module__ __qualname____doc__r rr/r?r<rrrrrrrrrrrrr!s  "$eZDC<3rc Csvz2t}|durD|s(ddddWS|}|sddddWSn>|sZddddWSddl}|j|sdd d |dWS|}|d d krdd|d d|dWS|didd}|dkrddd|d|di|||didd|diddddWSddd|||didWStyp}z"dddt |dWYd}~Sd}~00dS)u Función auxiliar para ser llamada desde ActualizarScore.py Esta función ejecuta la validación del Score y retorna un formato compatible con el módulo de actualización. Args: ruta_archivo (str, optional): Ruta del archivo Excel a validar. Si no se proporciona, descarga desde SharePoint. Returns: dict: { 'success': bool, # True si validación exitosa, False si hay errores 'status': int, # 200 si éxito, 400 si error 'mensaje': str, # Mensaje descriptivo 'ruta_archivo': str, # Ruta del archivo validado (si éxito) 'reporte': dict, # Reporte completo de validación (opcional) 'errores': dict # Errores encontrados (si falla) } Ejemplo de uso: from App.SupyCtrol_Module.IngenieroControl.ValidarScore import validar_score_para_actualizacion resultado = validar_score_para_actualizacion() if resultado['success']: ruta = resultado['ruta_archivo'] # Continuar con el proceso... else: # Manejar errores... NFiuHNo se pudo cargar el catálogo de validación desde CM_DataTypeValidator)successstatusrz6No se pudo descargar el archivo Excel desde SharePointrrizEl archivo no existe: rrruError en validación)rrrrrrzSe encontraron u errores de validaciónrrr)rrr)rrrrrZdetallesTr2u%Validación exitosa. Datos correctos.)rrrrLrruError crítico en validación: ) rr/r?r#r$existsrr7r,r-)rL validadorr#rrr.rrr validar_score_para_actualizacionsp         rcCs4|jddgddd}|jddgddd }d S) u Registra la ruta de ejecución de validación en Flask Args: app: Instancia de Flask mail: Instancia de Flask-Mail z0/SyC/IngenieroControl/ModuloValidacionScore/testGET)methodscSstddtddS)z5Ruta de prueba para verificar que el backend funcionaTu$¡Backend funcionando correctamente!r)rrr)rrrrrrrrtest_validacion;s  z2ejecutar_validacion_score..test_validacionz4/SyC/IngenieroControl/ModuloValidacionScore/ejecutarPOSTc Ss`z tdt}|}t|WStyZ}z"tdt|ddfWYd}~Sd}~00dS)u/Ejecuta la validación del Score y retorna JSONu"Iniciando validación del Score...rrrN)r*rrrr,r-)rrr.rrrejecutar_validacionDs z6ejecutar_validacion_score..ejecutar_validacionN)route)appmailrrrrrejecutar_validacion_score1s  r)N)r#r6ZpandasriorrflaskrconfigrrZ4Consultas_SQL.SupYCtrol.IngDeControl.ValidarScoreSQLrrr Z9App.SupyCtrol_Module.IngenieroControl.ValidarScoreHelpersr r getenvr ConfigrrrZ set_optionrrrrrrrs6        ! v