Thiago Melo » Bash http://thiago.oxente.org Linux, Programação, Redes e Jogos. Thu, 04 Feb 2010 18:03:37 +0000 http://wordpress.org/?v=2.8.6 en hourly 1 Logparser, script para colorir o log do Spamdyke http://thiago.oxente.org/2009/08/11/logparser-script-para-colorir-o-log-do-spamdyke http://thiago.oxente.org/2009/08/11/logparser-script-para-colorir-o-log-do-spamdyke#comments Tue, 11 Aug 2009 19:10:50 +0000 Thiago Melo http://thiago.oxente.org/?p=181 Outro dia eu estava analisando os logs do Spamdyke, e me fiquei bastante confuso para acompanhar os dados pelo "tail -f", pois era muita informação na tela, que só o Neo Matrix conseguiria ler. Buscando no google, achei um shellscript que fazia um parser de um log e mostrava um resultado colorido de forma que facilitava a visualização. Peguei esse código e fiz umas modificações e adaptei ele para o SpamDyke.
Não sei se ele de forma genérica funciona para todo mundo, no caso no meu Spamdyke está gerando log no syslog no nivel de mail, no caso no mailog, e sem nenhuma modificação nas configurações padrões, segue a screenshot abaixo.
fundo4
*Nota que o "spray" vermelho eu coloquei para ocultar os domínios do meu servidor.

Segue o código abaixo

PLAIN TEXT
CODE:
  1. #!/bin/sh
  2. RED="\\033[0;31m"
  3. GREEN="\\033[0;32m"
  4. YELLOW="\\033[1;33m"
  5. BLUE="\\033[0;34m"
  6. VIOLET="\\033[0;35m"
  7. CYAN="\\033[0;36m"
  8. WHITE="\\033[1;37m"
  9. NORMAL="\033[0m"
  10.  
  11. comando="tail -f /var/log/maillog | grep spamdyke | colorize"
  12.  
  13. colorize() {
  14.  
  15. while read LINE; do
  16. if [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ (TIMEOUT|DENIED_IP_IN_CC_RDNS|DENIED_BLACKLIST_NAME|DENIED_OTHER|DENIED_RBL_MATCH|DENIED_RDNS_MISSING|DENIED_RDNS_RESOLVE|DENIED_GRAYLISTED|DENIED_SENDER_NO_MX)\ from:\ (.*)\ to:\ (.*)\ origin_ip:\ (.*)\ origin_rdns:\ (.*)\ auth:\ (.*)(\ .*)?" ]]; then
  17. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${NORMAL}${RED}${BASH_REMATCH[6]}${NORMAL} ${WHITE}${BASH_REMATCH[7]}${NORMAL} to: ${VIOLET}${BASH_REMATCH[8]}${NORMAL} from: ${VIOLET}${BASH_REMATCH[9]}${NORMAL} origin_ip: ${CYAN}${BASH_REMATCH[10]}${NORMAL} origin_rdns: ${CYAN}${BASH_REMATCH[11]}${NORMAL} auth: ${WHITE}${BASH_REMATCH[12]}${NORMAL} ${NORMAL}${BASH_REMATCH[13]}${NORMAL}"
  18.  
  19. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ (ALLOWED)\ from:\ (.*)\ to:\ (.*)\ origin_ip:\ (.*)\ origin_rdns:\ (.*)\ auth:\ (.*)(\ .*)?" ]]; then
  20. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${NORMAL}${GREEN}${BASH_REMATCH[6]}${NORMAL} ${WHITE}${BASH_REMATCH[7]}${NORMAL} to: ${VIOLET}${BASH_REMATCH[8]}${NORMAL} from: ${VIOLET}${BASH_REMATCH[9]}${NORMAL} origin_ip: ${CYAN}${BASH_REMATCH[10]}${NORMAL} origin_rdns: ${CYAN}${BASH_REMATCH[11]}${NORMAL} auth: ${WHITE}${BASH_REMATCH[12]}${NORMAL} ${NORMAL}${BASH_REMATCH[13]}${NORMAL}"
  21.  
  22. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_RBL_MATCH\ ip:\ (.*)\ rbl:\ (.*)" ]]; then
  23. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_RBL_MATCH${NORMAL} ip: ${CYAN}${BASH_REMATCH[6]}${NORMAL} rbl: ${WHITE}${BASH_REMATCH[7]}${NORMAL}"
  24.  
  25. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_RDNS_MISSING\ ip:\ (.*)" ]]; then
  26. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_RDNS_MISSING${NORMAL} ip: ${CYAN}${BASH_REMATCH[6]}${NORMAL}"
  27.  
  28. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_EARLYTALKER\ delay:\ (.*)" ]]; then
  29. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_EARLYTALKER${NORMAL} delay: ${WHITE}${BASH_REMATCH[6]}${NORMAL}"
  30.  
  31. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_RECIPIENT_WHITELIST\ recipient:\ (.*)\ file:\ (.*)\((.*)\)" ]]; then
  32. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_RECIPIENT_WHITELIST${NORMAL} recipient: ${VIOLET}${BASH_REMATCH[6]}${NORMAL} file: ${WHITE}${BASH_REMATCH[7]}${NORMAL}(${YELLOW}${BASH_REMATCH[8]}${NORMAL})"
  33.  
  34. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ (FILTER_BLACKLIST_NAME|FILTER_WHITELIST_NAME)\ ip:\ (.*)\ rdns:\ (.*)\ file:\ (.*)\((.*)\)" ]]; then
  35. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}${BASH_REMATCH[6]}${NORMAL} ip: ${VIOLET}${BASH_REMATCH[7]}${NORMAL} rdns: ${CYAN}${BASH_REMATCH[8]}${NORMAL} file: ${WHITE}${BASH_REMATCH[9]}${NORMAL}(${YELLOW}${BASH_REMATCH[10]}${NORMAL})"
  36.  
  37. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_WHITELIST_IP\ ip:\ (.*)\ file:\ (.*)\((.*)\)" ]]; then
  38. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_WHITELIST_IP${NORMAL} ip: ${VIOLET}${BASH_REMATCH[6]}${NORMAL} file: ${WHITE}${BASH_REMATCH[7]}${NORMAL}(${YELLOW}${BASH_REMATCH[8]}${NORMAL})"
  39.  
  40. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_SENDER_NO_MX\ domain:\ (.*)" ]]; then
  41. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_SENDER_NO_MX${NORMAL} domain: ${VIOLET}${BASH_REMATCH[6]}${NORMAL}"
  42.  
  43. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_GRAYLISTED\ sender:\ (.*)\ recipient:\ (.*)\ path:\ (.*)" ]]; then
  44. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_GRAYLISTED${NORMAL} sender: ${VIOLET}${BASH_REMATCH[6]}${NORMAL} recipient: ${VIOLET}${BASH_REMATCH[7]}${NORMAL} path: ${WHITE}${BASH_REMATCH[8]}${NORMAL}"
  45.  
  46. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ FILTER_OTHER:\ response:\ (.*)" ]]; then
  47. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}FILTER_OTHER:${NORMAL} response: ${WHITE}${BASH_REMATCH[6]}${NORMAL}"
  48.  
  49. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ DENIED_BLACKLIST_NAME:\ response:\ (.*)" ]]; then
  50. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${RED}DENIED_BLACKLIST_NAME:${NORMAL} response: ${WHITE}${BASH_REMATCH[6]}${NORMAL}"
  51.  
  52. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ (FILTER_RDNS_RESOLVE|FILTER_IP_IN_CC_RDNS)\ ip:\ (.*)\ rdns:\ (.*)" ]]; then
  53. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${YELLOW}${BASH_REMATCH[6]}${NORMAL} ip: ${VIOLET}${BASH_REMATCH[7]}${NORMAL} rdns: ${WHITE}${BASH_REMATCH[8]}${NORMAL}"
  54.  
  55. elif [[ $LINE =~ "(.*)\ (.*)\ (.*)\ (.*)\ (.*)\ ERROR" ]]; then
  56. echo -e "${NORMAL}${BASH_REMATCH[1]} ${BASH_REMATCH[2]} ${BASH_REMATCH[3]}: ${RED}ERROR${NORMAL} sender: ${VIOLET}${BASH_REMATCH[6]}${NORMAL} recipient: ${VIOLET}${BASH_REMATCH[7]}${NORMAL} path: ${WHITE}${BASH_REMATCH[8]}${NORMAL}"
  57.  
  58. else
  59. echo -e "${CYAN}FIXME${NORMAL} ${YELLOW}${LINE}${NORMAL}"
  60. fi
  61. done
  62.  
  63. }
  64. eval $comando

]]> http://thiago.oxente.org/2009/08/11/logparser-script-para-colorir-o-log-do-spamdyke/feed 0 Migrando o servidor de E-mail http://thiago.oxente.org/2009/02/17/migrando-o-servidor-de-e-mail http://thiago.oxente.org/2009/02/17/migrando-o-servidor-de-e-mail#comments Tue, 17 Feb 2009 15:29:13 +0000 Thiago Melo http://thiago.oxente.org/?p=113 emailEm Janeiro eu tive uma missão aqui no trabalho, que era de migrar uma velha estrutura de e-mail para uma nova e mais segura.  Antes foi retratar como foram as migrações passadas e de quantas estruturas passei até chegar nessa ultima que provavelmente foi a reta final para mim como administrador do sistema de e-mail da empresa.

Quando eu fui contratado em 2005 eu encontrei um cenário não muito animador, que era:
- Dois servidores COMPAQ ML370 G1 (P3 + 256Mb Ram cada)
- Um desktop montado (Celeron + 128Mb Ram)
Nessa estrutura rodava hospedagem de sites (Apache+PHP+Mysql) e servidor de e-mail (Postfix+Cyrus+Horde), só que a estrutura era muito bagunçada, foi feita por um funcionário que já havia saido da empresa a muito tempo e era alvo de constantes invasões e ataques.
Para mudar esse cenário eu então peguei o equipamento que tinha, e refiz toda a estrutura, e um dos ML370 eu coloquei a parte de hospedagem web (APACHE+PHP+MYSQL) usando bastante restrição no php.ini principalmente a diretiva open_basedir para restringir cada virtualhost em seu diretório, e outros paramentos que eliminou de vez as invasões.

No cenário de E-mail eu resolvi radicalizar e mudar quase tudo, de Postfix eu mudei para a combinação de Qmail+Vpopmail e o Cyrus foi mudado para o Courier. No final das contas eu consegui migrar todas as contas do Postfix para o Qmail usando alguns scripts que encontrei na internet, somente as mensagens que não migrei, pois a estrutura antiga não tinha sistema de quota e a nova eu coloquei quota, com isso não dava para migrar as mensagens pois todo mundo iria ficar "overquota", mesmo assim foi dado um prazo para cada usuário fazer backup das mensagens.

[Vou dividir o post pois o texto é grande]


Este novo cenário de e-mail permaneceu por muito tempo, estavel e sem problemas graves, porem foi apresentado um novo projeto para o cenário de e-mail aqui na empresa, na qual eu não faço parte, foi-se então adotado o Expresso Livre, que trata-se de uma combinação do (E-groupware + Postfix + Cyrus + Ldap), é um software livre brasileiro, e está sendo adotado por muitas empresas do setor publico e privado.

Eu estava com alguns planos e ideias de melhorar a estrutura que eu tinha criado quando cheguei aqui, porem com esse novo projeto aprovado eu desisti e larguei meu "filho", só mantendo as atualizações em dia, e dando suporte enquanto o sistema migrava para o Expresso.

Nesse meio tempo minha estrutura estava sobrecarregada, e com isso eu ganhei um servidor novo, um HP ML350 G4, com processador Xeon 2GHZ e 2GB de RAM, isso serviu bastante e deixou o sistema mais leve, porém ainda não era a estrutura ideal, ter apenas uma maquina "bombril" com mil e uma utilidades não é o certo. Essa maquina recebia e enviava e-mails, verificava as mensagens com antivírus e antispam, hospedava o webmail e guardava as mensagens em disco. O certo seria dividir essas tarefas em servidores diferentes, porem todo hardware novo que chegava era destinado a estrutura do expresso, que já estava funcionando com 1 domínio de 500 contas, contra 98 domínios com na media de 600 contas cada na minha estrutura.

O Projeto do Expresso estava muito lento, a migração demorava seculos para por um domínio, cada domínio passava por uma burocracia enorme, pois o expresso tinha um grande problema, primeiro a nova politica de que os e-mails deveriam ser nome.sobrenome@dominio e outra que o Expresso não suporta nomes iguais, como por exemplo joao.silva@dominio.com e joao.silva@outrodominio.com para ele joao.silva é uma pessoa só e isso estava gerando muita confusão, pois entre as milhares de contas de e-mails existentes o que mais vai ter é colisão de nome.
Na minha estrutura como eu uso Vpopmail, joao.silva@dominio.com é diferente de joao.silva@outrodominio.com, assim eu poderia ter quantas pessoas com o mesmo nome pois o login no vpopmail conta com todo o endereço e não apenas o que vem antes da arroba (@).

Em um dia negro minha estrutura deu um problema grave no HD, as fitas de backup já não suportavam o tamanho do backup que era de 60gigas e as fitas so tinham 40gb, foi um dia péssimo, eu passei uma semana inteira tentando recuperar os dados, e ainda bem que no final das contas tudo voltou ao normal, porem nesse dia eu pedi para meu chefe um investimento na estrutura antiga, já que o expresso não ia para frente. Com isso eu ganhei duas HP DL360 G5 com XEON quadcore e 4GB Ram, e ainda mais ligada ao nosso cluster podendo usar a Library para backup.

Com esse equipamento eu resolvi então montar uma estrutura dividida e mais organizada. Meu projeto então foi:
- Em uma DL360 ficaria o MTA, com Qmail + Clamav + DSPAM unicamente com a função de receber e enviar e-mail, filtrar e etc.
- Em uma DL360 ficaria os e-mails com Vpopmail e dessa vez eu não optei em usar o Courier e sim o Dovecot no lugar dele.
- Em uma maquina virtual no cluster ficaria o webmail.

A estrutura seria mais ou menos assim:
[INTERNET] <===e-mail===> [MTA COM FILTROS] <===e-mail===> [MAILSTORAGE] <===e-mail===> [USUARIO]

1. MTA
O MTA é o servidor que vai receber as mensagens pela internet, e ele também vai enviar as mensagens enviadas pelo usuário da rede, pelo o que eu notei na estrutura antiga em horário de pico o processo do qmail-smtpd fica mais lento, por causa dos filtros e com isso ele deixava a maquina toda mais lenta, comprometendo o IMAP e o APACHE (Webmail) mas isso era devido a filtragem de Spam que consumia bastante memoria (eu usava Spamassassin).
No MTA eu coloquei o Qmail (netqmail) com todos os patchs, e coloquei o Simscan no lugar do qmail-scanner.pl para gerenciar a filtragem de e-mail, o Simscan é compatível com o clamav e com o DSPAM e eu escolhi ambos para a filtragem de Virus e Spam. E nela eu coloquei as regras de smtproute, para que o MTA enviasse as mensagens dos meus domínios para meu outro servidor que eu chamo de MAILSTORAGE.

Programas utilizados:
clamav-0.94.2 => antivírus
daemontools-0.76 => supervisor do qmail
dspam-3.8.0 = > antispam
mod_auth_imap2 = > autenticação do apache via imap ou pop
netqmail-1.06 => qmail atualizado com patchs
simscan-1.4.0 => scanner para qmail
ucspi-tcp-0.88 => tcptools para o qmail

2. MAILSTORAGE
Este servidor é no caso o mais importante, ele vai guardas as mensagens dos usuários e ser acessado via IMAP ou POP usando SSL ou não, mas para que ele possa receber mensagens ele precisa também ser um MTA. Porem o MTA deve ser mais simples e rápido, ele já vai receber as mensagens filtradas e so tem o papel de gravar no disco o que receber. Com isso nessa maquina eu também uso o Qmail, porem sem filtros apenas com os patchs, esse qmail recebe os e-mails do qmail do MTA através do smtproute.

Esta estrutura usa o vpopmail para guardar os e-mails, eu costumo usar o Vpopmail pela sua estrutura de diretórios, ele usa Maildir, e diferencia um usuário do outro através do domínio, impedindo de existir conflito entre dois usuários de mesmo nome. Outra mudança que teve foi o servidor de IMAP/POP. Na estrutura antiga eu usava o Courier-IMAP. Eu tive muitos problemas com ele, principalmente de contas travando, loop infinitos, e eu fiquei sem poder atualizar o courier pois eles tiraram o suporte a Vpopmail, com isso eu fui tentar o Cyrus, mas no meio do caminho encontrei o Dovecot, e depois de ler bastante a respeito resolvi testar, e vi que o Dovecot é 10x melhor que o Courier.

Programas utilizados:
autorespond-2.0.2 => Progama usado pelo qmail para auto resposta de mensagens
daemontools-0.76 = > Supervisor do qmail
dovecot-1.1.7 => Servidor IMAP/POP3
ezmlm-idx-5.1.2 => Programa de lista de e-mails
imapsync-1.267 => Programa usado para a migração, sincronizar as contas
maildrop-2.0.4 = > Usado pelo qmail para entregar as mensagens
netqmail-1.06 => MTA atualizado com os patchs + Patch Checkuser.
qmailadmin-1.2.12 => Gerencia das contas
ucspi-tcp-0.88 => Tcptools usado pelo qmail
vpopmail-5.4.25 => Suporte a dominios virtuais ao qmail.

3. WEBMAIL
O webmail foi colocado em uma maquina virtual, no nosso cluster VMware. Nela roda apenas o apache+php+mysql e o Horde Groupware (Webmail Edition). Sendo uma maquina virtual separada a performance do webmail melhorou 100%, o webmail se conecta com o MAILSTORAGE para autenticar e ler as mensagens dos usuários e com o MTA para enviar mensagens.

Todas as três maquinas incluindo a virtual usam Slackware 12.2 como sistema operacional.

4. A MIGRAÇÃO
O processo de migração foi feito nas seguintes etapas:

  • Instalações dos sistemas operacionais e programas nos novos servidores
  • Backup do banco de dados do vpopmail
  • Criação dos scriptsde migração
  • Criar os domínios no novo servidor
  • Criar as novas contas no novo servidor usando uma senha padrão
  • Atualizar a quota dos usuários criados no novo servidor
  • Salvar a senha dos usuários no servidor antigo, para que sejam atualizadas no novo servidor
  • Mudar a senha dos usuários no servidor antigo para uma senha padrão de forma que o possa se fazer o login na conta e migrar as mensagens.
  • Limpar o lixo das contas como mensagens excluídas e spam para facilitar a migração, usando o "comando_do_demonio" (Um script que criei que verificar o lixo nas contas e apaga, mensagens excluídas e spam).
  • Migrar as mensagens para o novo servidor usando o ImapSync
  • Atualizar as senhas no novo servidor usando as senhas salvas no servidor antigo.
  • Alterar o servidor de login nas configurações do webmail para que o webmail conecte no novo servidor.
  • Efetuar testes de login
  • Configurar o Backup do novo servidor
  • Alterar os IPS do servidor antigo com o novo.

5. CONCLUSÃO
A migração foi um sucesso, e agora eu tenho 3 servidores para a estrutura, onde posso parar e trabalhar com cada um sem interferir no outro, posso para o webmail sem parar o acesso pop/imap3, posso parar o MTA mas os usuários podem ainda acessar as mensagens, e por ai vai. A performance melhorou 100%, e agora tenho backup em fitas de 800GB com mais segurança para os dados.
O DSPAM ainda não funciona muito bem, pois tem um esquema de treinar ele, e ainda estou coletando os spams reportado pelos usuários para treina-lo.
Enquanto o Expresso não anda pra frente minha estrutura nova agora pode aguentar por muito tempo.

Se você tiver algum interesse nas configurações que usei na estrutura, parametros de compilação ou scripts de migração, comenta ai que eu envio.

]]> http://thiago.oxente.org/2009/02/17/migrando-o-servidor-de-e-mail/feed 34