Past Incidents

[08:40] Se inicia proceso de mantención de todos nuestros canales de soporte (Chat, Teléfono, Ticket), este proceso podría durar un promedio de 2 horas. Durante este periodo nuestros canales de soporte no estarán disponibles, si necesita soporte le pedimos que prefiera dejarnos un ticket con su requerimiento, el que será respondido a la brevedad una vez termine este proceso. Agradecemos su comprensión.

[10:00] Se restablecen nuestros canales de comunicación, ahora todo nuestro equipo de soporte se encuentra operativo.

[09:00] Se comienza con mantención programada para el servidor DNS "ns1.dns-premium.net" (190.114.254.70), se realizará un reinicio del servidor lo que provocará un un downtime de 30 minutos aproximadamente, este procedimiento no causará ningún problema a clientes que utilicen nuestros DNS gratuitos ya que estará disponible el DNS "ns2.dns-premium.net" para resolver los nombres de dominios.

[10:00] Se completa la mantención, el servidor DNS ya se encuentra operativo nuevamente.

[10:15] Se presenta corte de energía eléctrica en oficina de CallCenter, por lo que los servicios de soporte de Chat, Ticket y Teléfono se verán interrumpidos por el tiempo que dure la incidencia. Aún no existe una hora de solución.

En el caso de necesitar soporte prefiera abrir un ticket de soporte, el que responderemos a penas estemos disponibles. Agradecemos su comprensión.

[14:30] Se restablece la energía eléctrica en oficina de soporte, de a poco se comienzan a restablecer las comunicaciones de soporte.

Todos los enlaces de fibra están operativos y nuestros sistemas están todos operativos.

CAUSA DEL INCIDENTE El motivo del downtime es la caída de ambos enlaces de fibra tanto primario como secundario debido a multiples incidentes.

CRONOGRAMA DEL INCIDENTE [07:30] Sin notificación de la compañía eléctrica CGE se realiza manutención de subestación eléctrica externo. Esta situación no generó problemas debido a que nuestro grupo electrógeno partió de forma normal. Sin embargo, el rack de los equipos que alojan nuestro enlace secundario presentan una falla eléctrica en la linea primaria de alimentación eléctrica. La falla principal es el conversor de fibra debido a que no tiene doble fuentes redundantes. La linea secundaria de alimentación eléctrica siguió operando de forma normal. De esta forma se perdió la conectividad a nuestro enlace secundario. [07:30 - 08:00] Existe corte de fibra de nuestro enlace primario. [08:30-09:00] Se detecta que el mismo conversor de fibra genera el corte eléctrico en la linea primaria de alimentación debido a una falla del equipo. Ya que el equipo conversor esta defectuoso no se puede levantar el enlace secundario. [09:00-10:00] Se trabajar para reparar o reemplazar el equipo conversor de fibra secundaria y se espera por la reacción de los proveedores de última milla para corte de fibra. [10:00] Se repara equipo conversor. Fibra secundaria operativa. [10:30] Se restaura corte de fibra. Fibra primaria operativa. [10:30] Todo operativo.

INFORMACIÓN ADICIONAL [09:00] Ha esta hora somos informados que CGE (Compañia Eléctrica) tenia programada la manutención de la subestación eléctrica desde las 7:30 a 13:00 día Domingo 2 de Abril del 2017. Se realizarán los reclamos correspondientes a CGE debido a que nuestra empresa no fue notificada de forma previa a esta manutención.

REACCIÓN DE MEJORAMIENTO

• El 24 de Marzo del 2017 se firma contrato de conectividad con Level3. Se agregaría un tercer ISP aumentado nuestro disponibilidad y disminuyendo fallas como la presentada el día de hoy. Level3 será una segundo proveedor ISP tipo TIER I conectado a nuestro datacenter.
• Se reemplazará el equipo conversor por un equipo más robusto y con doble fuente redundante.

[03:50] Se da comienzo a proceso programado de mantención, en este procedimiento se realizará el cambio de un módulo de RAM defectuoso en el Nodo34, se espera un downtime máximo de 2 horas.

[04:40] Se realiza el apagado del Nodo34

[04:50] Se realiza el cambio de RAM defectuosa

[05:10] El nodo ya esta Online

[05:20] Todas las máquinas del nodo ya están encendidas