uvedobles.com» Gerundios

Baneando direcciones IPs en Apache bajo Windows

dedavid — Thu, 02 Jun 2011 08:52:39 +0000

Hoy os presento un caso raro y de aquellos cansinos, un cliente con un servidor web ya con añitos, corriendo Windows 2003 Server parcheado hasta la médula, un día se enlentece que da miedo, este servidor recibe ciertos bots que sniffan literalmente todo su contenido, que no es pequeño llegando a generar con ello tráficos mensuales más allá de los 20 gigas. La mitad de los cuales se lo reparten entre bots snifadores y los spiders indexadores de la red, léase GoogleBot, Yahoo Crawler, Microsoft Search y sucedáneos rusos.

Casi siempre todo funciona bien, el servidor es robusto y responde sin muchas preocupaciones pero el problema llega cuando uno de estos robots se vuelve loco. Seguramente esta locura es producida por algún cambio en alguna variable que fuerza el número de escaneados diarios que realiza el bot, de esa forma el humano “snifante” prueba con diversos valores subiendo a veces sin saberlo la cantidad de peticiones por minuto de forma exponencial, el no ve las repercusiones en el servidor de origen, probablemente se dice, que bien ahora así tengo el contenido nuevo tan pronto como se publica, si soy el primero posiciono mejor, lo voy a dejar así. Y sin saberlo está haciendo un ataque DDOS o de denegación de servicio.

En este caso concreto es tal el consumo que en hora punta de tráfico las peticiones se enletecen hasta más allá de los 3 segundos por página peticionada.

Lo primero es detectar que algo paso, esto por suerte te lo dicen los clientes del servicio web en cuestión con emails técnicos del tipo:

“La web va lenta”, “La web va como el c…”

Recibido el tercer email de este tipo y tras comprobar que no es un problema de la conexión del cliente hacia la red, que también reportan, toca averiguar que está pasando.

1. Vemos el estado de saturación de la máquina. En Windows con el Administrador de Tareas.

2. Lo primero es ver que tal estamos de RAM, que consumo tenemos.

3. Luego vemos el espacio en disco que nos queda

4. El consumo de CPU

5. Ahora vamos a ver con ese mismo administrador de tareas que “programas” son los que más consumen

Si es MYSQL y la RAM va cargada tocará ampliar RAM, al igual de que si es disco.

Si es APACHE y la CPU va saturada, pues tocará ver cuantas peticiones y de quien son recibe el servidor web.

Para conocer cuantas peticiones recibe nuestro server hay muchas cosas y programas, pero en este caso no hay ningún sistema estadístico instalado, bueno si, Google Analytics, el cual pinta y colorea los datos que da gusto, pero a nivel técnico no nos sirve pues estamos buscando excesos y errores y me da a mi que Analytics los obvia, a saber porque con la todopoderosa y sus manías, que ya me cansan.

Aunque no tengamos nada instalado en server siempre nos podemos bajar los archivos de log del Apache para analizarlos en casita, con nuestra maquinita.

Ten en cuenta que estos archivos pueden ser gigantes, depende de como esté configurado el server, los hay con rotaciones y sin, pero puedes encontrartes con archivos de 2Gb. en servidores de alto tráfico, lidia con ellos si puedes. Lo mejor es rotarlos manualmente en el momento de máximo tráfico o ataque.

Para ello, detén el servicio de Apache, renombra los access.log y error.log y vuelve a iniciarlo, dejarás a tu cliente sin servicio un minuto escaso. Aguanta un ratito con el ataque, un par de horas a lo sumo, y vuelve a hacer lo mismo, de esa forma tendrás una muestra sanguínea del ataque o del momento de saturación del server y trabajarás única y exclusivamente con esos datos, localizando más rápidamente si existen direcciones IPs que un consumo excesivo de datos.

De Windows a Ubuntu y tiro porque me toca

Una vez muevas ese log a una carpeta accesible por FTP o HTTP faltará bajártela para analizarla en tu flamante workstation Ubuntu, que mola más que un OS X… al menos más que un Snow Leopard, pues falta ver si este próximo lunes día 6 de Junio lo que nos maravilla OS X Lion de la mano de Steve Jobs, palabra de AppleFun arrepentido venido a Ubuntu.

Analizando los archivos .log de Apache

Para analizarlo en nuestro Ubuntu vamos a usar Webzilla, para instalártela:

sudo apt-get install webalizer

Luego la configuramos con un:

sudo gedit /etc/webalizer/webalizer.conf

Aquí en principio sólo falta tocar el lugar, ruta y archivo donde está el access.log

LogFile /var/www/logs-para-analizar/access.log
OutputDir /var/www/webalizer
Incremental yes

Grabamos y ejecutamos el Webalizer con un complejísimo, es broma:

sudo webalizer

Unos segunditos y tachán, apunta tu navegador a:

http://localhost/webalizer

Selecciona el mes actual, y en la siguiente pantalla la opción “Clientes” aquí verás las IPs que han visitado más la página durante el ataque o la bajada de rendimiento del server, busca las más abultadas que vamos a revisarlas.

Ahora nos faltará saber el Quién es quién de cada IP

¿Quién es quién?

Para eso podemos usar varias opciones, entre ella una via web:

http://whois.domaintools.com/67.195.112.52

Donde 67.195.112.52 es la IP sobre la que quieres conocer información y la otra es usar las herramientas de red del sistema que incorpora Ubuntu.

Con ellas puedes realizar un WHOIS, un LOOKUP , etc.

Si entras en “Explorar los puertos”, cosa que tarda un rato podrás también detectar si detrás hay un servidor web, un servidor FTP, o un emule abierto. Datos que te permitirán determinar con algo más de certeza si se trata de una empresa o un usuario.

También puedes rastrear la ruta para más o menos ver de donde es el país de origen, si este por ejemplo es de Ukrania o de la conchinchina probablemente se trate de un buscador en el que no te importe perder posicionamiento.

Cuidadín cuidadín con los GoogleBots y familia

Pues eso, asegúrate que de todas esas IPs no te apuntes ninguna que sea de un buscador conocido en el que te quieras posicionar, pues si la anotas y luego la baneamos perderás el posicionamiento en ese buscador pues tu Apache no le dejará entrar.

Ya tenemos las IPs localizadas y correctamente anotadas, ahora vamos a banearlas

Baneando IPs en Apache bajo Windows

Bueno esto a decir verdad es más o menos igual en Windows que en Linux que un radiocassette donde sea capaz de correr Apache.

Busca el fichero de configuración de Apache httpd.conf

En la sección Directory

Introduce al final, justo antes del cierre de la directiva y una en cada línea la siguiente instrucción:

deny from TU-NO-PASAS

por ejemplo si quisiéramos banear a Yahoo, NO lo hagas!

deny from 67.195.112.52

Graba el fichero y reinicia Apache, en Windows desde “Accesorios -> Herramientas del Sistema -> Servicios -> Apache” botón de la derecha reiniciar.

Listas negras de IPs malignas

También de paso y por el mismo precio que nos ponemos a banear, una práctica aceptable sería el banear sistemáticamente aquellas IPs que se han detectado en el mundo recientemente como IPs malignas.

Yo he sacado una lista desde:

http://isc.sans.org/ipsascii.html

y desde:

http://isc.sans.org/sources.html

Baneando que es gerundio.

Páginas relacionadas con este artículo:

Medir la velocidad de una web

dedavid — Mon, 21 Mar 2011 08:08:52 +0000

Atentos a: http://loads.in/ una aplicación web desarrollada por WatchMouse que permite medir la velocidad de descarga de una página web prácticamente desde cualquier país, muy útil en procesos de internalización donde la web de tu cliente debe tener suficiente velocidad desde diferentes países.

Esta aplicación web te ofrece los siguientes resultados:

Capturas con los diferentes momentos en el proceso de descarga de la web
La posibilidad de medir la velocidad de la misma desde diferentes países
La posibilidad de medir la velocidad bajo diferentes navegadores web
La gráfica con todos los archivos que conforman la página, su peso y su velocidad de descarga

Una de las limitaciones que presenta esta útil utilidad para medir la velocidad de descarga de una web es que tan sólo te permite realizar un máximo de 50 checks diarios bajo la misma IP, en la práctica creemos que son menos pues hemos intentado monitorizar la aplicación de facturación online invOOice.com desde todos los países que permite y tan sólo hemos podido llegar a medir 15 países.

La principal conclusión que he podido extraer, y que ya era obvia pero no tan mesurable, es que un servidor alojado en USA es mucho más rápido si es visitado desde la propia USA que desde Europa. Toma obviedad! Las diferencias que me he encontrado son muy muy destacables, del orden de los 9 segundos para una página home con tan sólo un formulario de login de usuario y unos cuantos enlaces, todo con el grafismo, el javascript y el html pesa un total de 103,6 Kb. que por lo que veo, se puede y debe optimizar.

En la gráfica Waterfall, que es la que te indica cuanto tarda cada archivo en descargarse veo claramente que puedo minimizar bastante, pues existen un total de 12 peticiones request y hay algunos archivos que no son estrictamente necesarios o son minimizables en esta pantalla pues el usuario aún no está logueado, si los elimino podré optimizar y mucho la velocidad de descarga de esa primera página o página home, también simultáneamente podré mejorar la seguridad del sistema. Un ejemplo claro es la hoja de estilo que se carga, que es la hoja de estilos de la aplicación, cargarla toda para tan sólo un login quizá no tiene mucho sentido. por lo que se puede reducir mucho si se carga una con tan sólo los elementos que se utilicen, o mejor alguno, al ser pocos si los mismos se incrustan en el tag HEAD se gana una petición request menos.

Otro punto a destacar es que obviamente las imágenes son siempre lentas y pesadas, por lo que también toca optimizarlas, siempre sin sacrificar la calidad ni la imagen que se quiere dar al aplicativo.

A continuación los resultados del test del sistema de facturación web http://invOOice.com para cargar la página de inicio o home, hay que indicar que el servidor de invOOice.com está ubicado en USA y los resultados son, por orden de mayor lentitud a mayor velocidad de descarga:

Visitante de Guadalajara (México) que visita invOOice.com: 10.27s
Visitante de Ciudad del Cabo (South Africa) que visita invOOice.com: 5.04s
Visitante de Nagano (Japón) que visita invOOice.com: 4.16s
Visitante de Río de Janeiro (Brasil) que visita invOOice.com: 3.57s
Visitante de Cairo (Egypt) que visita invOOice.com: 3.19s
Visitante de Sydney (Australia) que visita invOOice.com: 4.16s
Visitante de Madrid que visita invOOice.com : 2.84s
Visitante de Inglaterra que visita invOOice.com : 2.66s
Visitante de Zurich (Suiza) que visita invOOice.com : 2.64s
Visitante de Vancouver (Canada) que visita invOOice.com: 2.27s
Visitante de Florida (USA) que visita invOOice.com 2.25s
Visitante de Austin (USA) Chicago (USA) que visita invOOice.com 1.88s
Visitante de New York (USA) que visita invOOice.com 1.80s
Visitante de Dallas (USA) que visita invOOice.com: 1.78s
Visitante de San Francisco (USA) que visita invOOice.com 1.66s

Las diferencias son de bulto más de 1 segundo entre San Francisco y Madrid, eso en este caso es el doble, además parece que además de la cercanía física de la conexión en relación al servidor alojado en USA también influye la calidad de las conexiones de internet de cada país, de lo contrario no se explicaría que el más lento fuese México cuando en kilómetros la distancia es quizá la menor, es decir, la conexión más cercana con el servidor, a parte, obviamente de la de San Francisco.

Destaco también las diferencias dentro de la propia USA, del orden de 3 décimas de segundo de una costa a otra.

Esperamos poder sacarle una constatable mejora de velocidad a nuestros sistemas, así como la correspondiente mejora en posicionamiento, pues Google valora, y mucho, la velocidad, y todo ello gracias a esta aplicación web, ya no sólo desde el punto de vista de la optimización de los contenidos web si no más bien a través del uso de CDN o Content Deliverable Networks y a través de sistemas Clouds descentralizados, que te permiten crear nodos o clústers de tu aplicación web en diferentes localizaciones, países o continentes.

Si alguien de vosotros, lectores, conoce otros sistemas alternativos para medir la velocidad de descarga de una página web, que no lo dude, que nos deje un comentario, entre todos mejoramos.

Páginas relacionadas con este artículo:

Test de carga web

dedavid — Mon, 20 Sep 2010 07:50:14 +0000

Hace ya algunos días os pasé un enlace con 18 aplicaciones web para probar la velocidad y el rendimiento de una web.

Muchas de estas aplicaciones ya las conocía, pero de todas, me quedo con http://loadimpact.com/

Sencillamente porque su versión gratuita te permite simular hasta 40 usuarios navegando simultáneamente en tu página web, cifra más que suficiente para poder medir cualquier hosting y predecir si se va a caer.

Para los programadores web tiene otra utilidad, la de la optimización, sí ya sabes que arañar unos bytes a tu código siempre le sienta bien, pero bueno, ¿tan poco se nota? Dedicar 4 horas depurando para unos pocos bytes es rentable. Si te lo pagan sí. Por ejemplo en aplicaciones críticas con muchos usuarios concurrentes quizá el primer paso es optimizar y no proceder a cambiar de hosting o de servidor con elcoste que implica.

Esta prueba de rendimiento en masa tiene otras aplicaciones, no sólo podrás saber si el hosting que tienes o el de tus clientes es bueno sino que también si eres de sistemas te permitirá comprobar la eficacia en cuanto a rendimiento de los cambios de configuración que realices en la configuración de un servidor. Incluso ir un paso más allá, podrás medir diferentes servidores web, Apache bajo Windows, Apache bajo Linux, Nginx, Cherooke…

Bueno pues nada, a optimizar nenes y nenas de la web!: http://loadimpact.com/

Páginas relacionadas con este artículo:

Lo bueno si breve dos veces bueno

dedavid — Sat, 21 Aug 2010 10:54:07 +0000

Hoy desde la playa y bajo un imperoso sol os dejo un enlace donde nos invitan a someter a rigurosa dieta a nuestras bases de datos, es obvio y todos ya lo sabemos, pero el autor del post original lo ha medido y cuantificado, dale! http://af-design.com/blog/2009/02/24/a-smaller-database-is-a-faster-database/

Páginas relacionadas con este artículo:

Papel para bocetos web

dedavid — Fri, 28 May 2010 06:06:23 +0000

Volvemos al boceteando que es gerundio, como nos gusta esta frase, como nos gusta bocetear.

Os traemos dos archivos en sendos PDFs uno con disposición vertical y otro horizontal, en ellos encontrarás una hoja perfectamente imprimible y cuadriculada donde podrás desarrollar tus bocetos para páginas y aplicaciones web para que quedes como un artistilla al presentar tus presupuestos. La página cuenta con alguna pega, la palabra TITLE que figura en inglés, pero bueno mal menor.

Estos bocetos están creados por raincreativelab.com, no son nada del otro jueves pero hoy estamos a viernes y algo es algo.

Los archivos aquí: Horizontal: Papel para boceto web horizontal (117) Vertical: Papel para boceto web vertical (100)

Páginas relacionadas con este artículo:

Boceto de aplicación para iPhone

dedavid — Mon, 24 May 2010 07:09:21 +0000

Personalmente siempre me han encantado los sketches, wireframes o bocetos realizados a mano, sí con lápiz y papel, ¿te acuerdas? en mis viejos cuadernos quedarán restos de logotipos, storyboards de anuncios y videoflash, animaciones, páginas webs e incluso algunso de aplicaciones web y ideas sobre aplicaciones para móviles.

En la actualidad la inmensa mayoría de veces nos saltamos ese paso papeloide para directamente presentar a nuestros clientes una primera maqueta ya sintética y realizada desde cero o desde tres con algún programa de diseño vectorial, esto es porque ya sabemos lo que funciona, lo que se lleva, o ya sinceramente porque tenemos una librería de bocetos trazados de la que tirar y con un plis plas pum tenemos algo ejem, “personalizado” a imagen y semejanza de lo que nuestro cliente nos ha solicitado.

Maldito momento lleno de competencias y bajos costes que no nos deja espacio ni crédito para volver aunque sea muy de vez en cuando al lápiz y al papel, sniff, hoy me he levantado e-romántico e-reivindicativo.

Para paliar tal desatino he decidido postear algo que emane a nuestro viejo compañero despixelizado, el lápiz así que a continuación os traigo una pequeña cole de wireframes de aplicaciones para móviles, en concreto para Apple iPhone si bien todos son trasladables a Android, un s.o.m (sistema operativo para móviles) que me da a mi que se va a poner interesante así que boceteando que es gerundio.

Páginas relacionadas con este artículo:

Adsense, si no se nota ganas más

dedavid — Wed, 07 Apr 2010 06:48:34 +0000

La discrección se muestra como uno de los máximos aliados de adsense a la hora de convertir visitantes en clicks, antes de entrar en detalles la máxima premisa de este artículo es:

La publicidad disimulada consigue una conversión mucho más alta

En nuestro experimento hemos mantenido la publicidad en el uno de los blogs que llevamos sobre Vacaciones y viajes viajarvacaciones.com con los colores por defecto, esos cantantes azules y verdes que tiran para atrás al usuario medio, avanzado y al experto. Para muestra os mostramos una captura antes de la optimización visual de anuncios que hemos llevado a cabo.

Los datos antes de la optimización visual de adsense

El clicktrhought CTR o en español porcentaje de clicks para cada cien impresiones de anuncios que hemos tenido para esta web durante todo el mes de marzo es de: 2,38% dato que no es en absoluto malo ya que si lo comparamos con otros blogs ya que nuestra media se sitúa justo por debajo del 2% con un 1.95% apx.

Puntos de la optimización visual de adsense

La optimización que hemos realizado es puramente visual, por un lado integramos el bloque dentro del texto, que si bien el efecto de encolumnado del contenido en sí es excesivo vamos a probar de esta manera, para consegui esto hemos utilizado e plugin de Wodpress Quick Adsense que permite insertar el texto justo antes de un párrafo o imagen.

Por otro lado hemos decolorado los links combinando ahora el título en negro, la descripción del enlace en un marrón casi negro y el link en un gris clarito.

Es importante decolorar al máximo el color del link pues en definitiva es el que puede detectar el usuario como elemento externo y por lo tanto no clickar en él, nuestro objetivo en este artículo/experimento de adsense es que cliquen para subir nuestro CTR. Por ello hemos seleccionado ese discreto gris.

Obviamente si los enlaces de tu página son de color rojo deberás orientar el texto hacia rojizos, algunas combinaciones de colores resultarán imposibles y la aplicación para obtener anuncios de adsense no te los permitirá llevar a cabo, por ejemplo fondo blanco y enlace en blanco.

Recordamos que los cambios que realices en la aplicación de adsense tardan bastante en ser reflejados en la página, aproximadamente una media hora.

El color del título, el color del cuerpo y el color del link.

Más no se puede hacer sin hacer trampas o que Google lo considere trampa, pro ejemplo se me ocurren muchas otras opciones, la más directa si introducir un div con fondo blanco por encima de la parte inferior del bloque, justo donde figuran los botones de navegación entre anuncios y la frase de “Anuncios Google” gracias a este div sobrepuesto, esa información queda totalmente tapada y en lugar del logo utilizas un texto donde pongas “Publicidad”, el CTR subirá por encima del 5%

Resultado visual de la optimización

Aquí os mostramos una captura del resultado de la integración.

Dentro de un mes os reportaremos los cambios que hemos obtenido en el CTR de este blog. Calculamos subir un mínimo de un 1% para llegar al 3% de CTR con los bloques de anuncio.

Páginas relacionadas con este artículo:

Saber que aplicaciones consumen más recursos

dedavid — Tue, 16 Mar 2010 07:50:14 +0000

Un apunte ultrarápido que nos permitirá saber que aplicaciones y que usuarios están consumiendo más recursos en tu máquina, esta funcionalidad es válida tan sólo para máquinas Linux o basadas en Unix, se trata del comando top.

Abre una terminal e introduce el comando: top

Te aparecerá una pantalla como la que te mostramos en nuestra captura,mostrándote ordenadas las aplicaciones o procesos de mayor a menor consumo de recursos, en nuestro caso lo que más está consumiendo es Firefox (tenemos más de 15 pestañas abiertas), con un 32% de la cpu y un 6,4% de la memoria RAM. Vemos curiosamente que XORG, la interficie gráfica que incorpora Ubuntu utiliza un 1% escaso, a la que hay que añadir Compiz con un 1,4% gt-window con un 0,3% y gnome-panel con un 0,9 total, que tenemos una interficie gráfica de las de quitar el hipo, gestionando 2 pantallas de diferente resolución y un total de 4 escritorios virtuales sin pestañear, una interficie superior en muchos aspectos a la de Mac OSX (nuestro exposé es bastante mejor) .

Este comando en principio no requiere permisos de superusuario.Si bien si quieres ver el consumo de procesos que corren bajo root, como Apache o Mysql deberás ejecutarlo como superusuario, así que casi mejor que lo ejecutes como “sudo top” (te pedirá clave)

Ideal para monitorizar servidores basados en Linux a los que tengas acceso mediante SSH. Así que apunta hacia tu servidor virtual, tu servidor privado y a monitorizar para ir optimizando, que es gerundio.

Páginas relacionadas con este artículo:

Iconos con gestures

dedavid — Tue, 09 Mar 2010 12:44:46 +0000

Los gestures o gestos los han puesto de moda los listos de Apple primero con su iPhone y luego con sus nuevos ratones y touchpads multitouch, hay que reconocer que en esto de innovar parten el bacalao los ingenieros de usabilidad de manzana mordisqueada, yo soy un confieso seguidor de la manzana que un día mordí y que me niego a abandonarla por mucho que ahora mi workstation esté basada en Ubuntu por diversas cuestiones, entre otras porque la experiencia de uso es casi identica a la de la manzana… además de tunable una experiencia casi inigualable… eso sí miro los acabados de cualquier iMac, los comparo con mi equipo actual y bueno… ¡lloro sin parar!.

Bueno sin más dilaciones vamos a ofreceros un ficherito para descargar con unos iconos vectoriales que ha realizado la empresa RLDinteraction os servirán para documentar juegos y aplicaciones de iPhone, Android o cualquier otro sistema que estéis desarrollando en dispositivos, repetid conmigo: multitauchhhhh!:

Descarga: Iconos con gestures (39) así que descargando que es gerundio.

Enlace: http://gesturecons.com/

Páginas relacionadas con este artículo:

Optimizar bases de datos Mysql

dedavid — Thu, 11 Feb 2010 07:44:00 +0000

Hoy que los servidores virtuales y servidores privados están muy de moda vamos a aprender que es lo que debemos realizar para optimizar el motor de bases de datos Mysql.

Con dos sencillos comandos en la terminal de tu servidor web podrás obtener un sabio consejo para optimizar el rendimiento de tus bases de datos Mysql. Estos comandos te descargan un script en perl y con el siguiente lo ejecutas.

wget mysqltuner.pl
perl mysqltuner.pl

Deberás de proporcionar al script la información que te solicita, esta es usuario de administración de mysql y la correspondiente clave, a partir de hay en unos segundos te mostrará los sabios consejos para que tu servidor funcione algo más ligero.

Enlace: http://blog.mysqltuner.com/download/

Páginas relacionadas con este artículo: