Os anos se passaram e eu com o tempo desisti de trabalhar com o FCS, pois o mesmo era muito caro e eu não via mais futuro em investir meu tempo no produto. Eis que ano passado me surgiu um problema aqui na empresa no qual eu tive que voltar a estudar ferramentas de streaming para colocar uma programação ao vivo na internet. Minha missão então era achar uma ferramenta boa é de preferência open source, para disponibilizar na internet o vídeo.  Bom minha missão ainda está longe e terminar mas vou descrever o caminho que percorri e as ferramentas que testei e o resultado atual do projeto como está.

Buscando pela internet eu encontrei diversas alternativas ao FCS, que agora produto da ADOBE era chamado de Flash Media Server (FMS), algumas delas opensource, outras não mas free, e outras free mas com limitações. Eu testei então:

- Darwin Streaming Server -> Apple
- Red5 -> Feito em Java tendo mesmos recursos do FMS, porém 100% livre
- Wownza Media Systems -> Um bom media server porém a versão FREE tem muitas limitações.
- VideoLan -> Até agora não consegui descrever em que categoria se encaixa o VideoLan, ele é player, encoder, streaming server e etc.

De todos que testei, o VideoLan foi meu favorito, por ser mais simples e também por possui uma documentação mais completa, eu consegui resultados satisfatórios mais rápido que os outros. De inicio eu comecei testando o VideoLan no windows, depois comecei então no Slackware onde consegui fazer meu primeiro stream para a Web. Mas vou deixar para detalhar o VideoLan por último já que até agora ele é minha escolha para produção.

Darwin Streaming Server
O DSS, é um servidor stream da APPLE, ele transmite mídia atraves dos protocolos RTP/RTSP, sendo uma solução OpenSource de outro produto da APPLE o QuickTime Streaming Server. De inicio o DSS era um sistema operacional completo, mas hoje em dia já é distribuído separado como um software, minha aventura foi tentar rodar o DSS no Slackware64, porém foi um fracasso, não consegui fazer o programa iniciar, fiquei então de testar a versão SO, mas não encontrei tempo ainda.

RED5
O Red5 é um servidor escrito em java, onde busca oferecer os mesmo recursos do FMS da Adobe, foi criado através de engenharia reversa dos protocolos usados pelo FMS. Transmite através do protocolo RTMP. Sua instalação é simples, porém a configuração é um pouco complicada, pois a documentação é muito incompleta, você tem que queimar bastante a cuca para entender como o servidor funciona e garimpar a internet atrás de informações. Depois de instalar e iniciar o servidor, basta acessar o mesmo pelo seu navegador com a porta do Red5, que ele já tem exemplos para mostrar, e logo de inicio tudo funciona perfeitamente.
Porém para o tipo de transmissão que eu queria fazer o Red5 iria tomar mais tempo do que o normal, até que eu descobrisse como ele funciona 100%, mas é uma ótima ferramenta, e eu recomendo.

Wownza Media Systems
O Wownza é um Red5 bem mais completo, transmite tanto em RTP/RTSP como em RTMP, porém sua versão gratuita só permite o acesso de 10 conexões simultâneas, pode atender a pequenas soluções, mas eu não poderia me dar ao luxo de limitar a transmissão a 10 pessoas, se a 11 tentasse acessar, já ia ter reclamação. Vale a pena testar, mas para produção não vejo viável a versão FREE.

VideoLan
O VLC não é um servidor Stream, mas ele pode trabalhar como tal. O VideoLan no inicio possuía duas versões, o VLC (VideoLan Client) e o VLS (VideoLan Server), porém depois eles juntaram tudo em uma só solução que hoje é conhecida como VideoLan ou VLC. Este software atende qualquer necessidade, devido a forma que ele trabalha, e o suporte aos diversos codecs de vídeo e audio existentes.
O VideoLan possui um conceito simples de input e output, onde você escolhe de onde vem a mídia e para onde ela vai. Como por exemplo o ato simples de assistir um vídeo pelo VLC, o input será FILE (arquivo) e o output será DISPLAY (tela do computador). Com este conceito fica fácil por exemplo colocar sua webcam na internet com um simples comando do VLC, onde o input deve ser o DEVICE da webcam e o output um stream HTTP com encapsulamento FLV.

Aqui está o famoso diagrama do VideoLan, é meio antigo mas é assim mesmo que funciona.

Então para fazer a transmissão ao vivo eu utilizei o VLC para pegar a imagem e som através de uma placa de captura, e jogar esta transmissão para a web usando FLV. E para visualizar o FLV utilizei um simples player em flash conhecido como Flowplayer, o que por hora resolveu meu problema.

Como servidor eu estava utilizando:
SO: Linux Slackware 13.0 64bits
CPU: AMD Athlon(tm) Dual Core Processor 4450B 2.2GHZ
MEM: 2GB RAM
Placa de Captura: saa7134 Kworld Plus TV Turner Card
VideoLan: VLC 1.0.4

No caso para efetuar o teste, sintonizei a placa de TV no canal da globo, e executei o vlc pela shell do linux com o seguinte comando:

cvlc v4l2:///dev/video0 –v4l2-caching=6500 –v4l2-width=420 –v4l2-height=320 –input-slave=alsa://hw:1,0 –alsa-samplerate=16000 –sout “#transcode{fps=12,vcodec=FLV1,vb=120,acodec=mp3,ab=16,channels=1,samplerate=11025}:std{access=http{mime=video/x-flv},dst=0.0.0.0:8080/stream.flv}” –sout-mux-caching=10000

Detalhando o comando acima temos:

1. cvlc -> inicia o vlc sem chamar a interface gráfica.
2. v4l2:///dev/video0 -> utiliza o device video0 (que é a placa de captura) como input.
3. –v4l2-caching=6500 –v4l2-width=420 –v4l2-height=320 -> parâmetros passados para o input onde determina um cache de 6.5 segundos e o tamanho da tela a ser capturado.
4. –input-slave=alsa://hw:1,0 -> aqui eu escolho qual dispositivo de som vai ser usado como input, no caso existe o 0,0 e o 1,0 o que eu escolho e o da placa de captura, o 0,0 é o da placa de som do computador.
5. –alsa-samplerate=16000 -> Isto muda a velocidade do som do input, se não usar isso a voz fica igual Alvin e os Esquilos ( somente para a captura, o resto fica normal).
6. –sout -> O Sout é o comando que fala para onde deve ir o Output, caso não utilize ele manda por padrão para o DISPLAY.
7. #transcode{fps=12,vcodec=FLV1,vb=120,acodec=mp3,ab=16,channels=1,samplerate=11025} -> O transcode é a conversão em tempo real de um tipo de midia para outro. No caso estamos recebendo um vídeo vindo da placa de captura que seu formato é desconhecido e não suportado pelo FLASH, então temos que transformar este sinal em algo compatível. Com isso fazemos um transcode para FLV e MP3. o VB=120 é que controla a qualidade do vídeo e o AB=16 é a qualidade do audio, quanto maior, melhor a qualidade e mais banda utilizada.
8. std{access=http{mime=video/x-flv},dst=0.0.0.0:8080/stream.flv} -> Aqui no STD falamos para onde ele vai enviar o stream, no caso eu quero que envie para a porta 8080 utilizando o procolo HTTP, e que o stream saia como um arquivo do tipo (mime) video/x-flv, com o nome de stream.flv

Com isso basta utilizar qualquer player de FLV e colocar nosso endereço como fonte, http://meuip:8080/stream.flv que ele vai tocar o que está passando na placa de captura com um atraso de 6.5 segundos.

- Qual a vantagem de se utilizar o VLC para isso. Eu digo que é a praticidade de se fazer a coisa funcionar, de tornar um projeto visível, sem muito esforço e obter uma qualidade de transmissão a custo baixo.

- Qual a desvantagem de ser utilizar o VLC para isso. O flash player entende que o stream.flv é um arquivo, e não um stream, então para o navegador do visitante ele está abrindo um vídeo infinito, ele não trabalha direito com isso, qualquer lag e etc é sentida pelo navegador por não ser realmente um stream e sim um arquivo com download infinito. Outro problema é que o VLC fica dando erros e warnings de buffer overflow e underflow dependendo da configuração que você utilize, e até hoje mesmo funcionando, não sei como eliminar esses erros e deixar o sistema 100%.

Ainda existe um cenário número dois que estou testando. Temos que transmitir uma programação ao vivo que só pode ser capturada de um lugar que possui um link de apenas 2MBPS. E fazer uma transmissão nesse local com certeza vai detonar todo o link só com transmissão dependendo da quantidade de pessoas que estiver assistindo ao mesmo tempo.
Para solucionar isto eu utilizei uma técnica de enviar o sinal para um servidor aqui no backbone e daqui do backbone fazer o stream para a internet. Com isso eu instalei um servidor Linux Slackware64 com uma placa de captura no local com 2mpbs, e capturo o sinal e envio via UDP para outro servidor aqui no backbone, e dele envia para HTTP usando FLV, usando os comandos abaixo:

SERVIDOR CAPTURA
Linux Slackware 13.0 64bits
AMD Athlon(tm) 64 Processor 3200+ 2GHZ
2GB RAM
saa7134 Kworld Plus TV Turner Card
VLC 1.0.4
cvlc v4l2:///dev/video0 –v4l2-caching=6500 –v4l2-width=420 –v4l2-height=320 –input-slave=alsa://hw:1,0 –alsa-samplerate=16000 –sout “#transcode{vcodec=h264,vb=800,scale=1,acodec=mp3,ab=128,channels=2}:std{access=udp,mux=ts,dst=10.1.3.88:1234}” -vv

SERVIDOR NO BACKBONE
Linux Slackware 13.0 64bits
AMD Athlon(tm) Dual Core Processor 4450B 2.2GHZ
2GB RAM
VLC 1.0.4
cvlc udp://@:1234 –udp-caching=3000 –sout “#transcode{fps=12,vcodec=FLV1,vb=120,acodec=mp3,ab=16,channels=1,samplerate=11025}:std{access=http{mime=video/x-flv},dst=0.0.0.0:8080/stream.flv}” –sout-mux-caching=10000 -vv

Este esquema funciona, porém não é o melhor esquema de ser fazer, é digamos uma gambiarra, ainda estou a procura da solução perfeita, mas vejo que esta missão está longe de terminar, mas no final espero que ajuda alguem que se encontre no mesmo barco que eu, e que se tiver alguma solução melhor fique a vontade para comentar.

Acho que este foi meu primeiro post de 2010 hehehe FELIZ ANO NOVO LOL (Fevereiro FTW).

Segue o código abaixo

Hoje eu tirei um tempo para instalar o BrOffice no meu Slackware 64, mas ao entrar no site do BrOffice não encontrei uma distribuição 64bits. Indo no site do OpenOffice encontrei a distro em 64bits e com isso instalei separado o OOo e depois o pacote de tradução para PT-BR. Nem tudo funcionou certinho logo de inicio mas alguns ajustes depois ficou 100%.

Inicialmente baixe os pacotes:
Instalador do OOo 64bits -> http://ftp.sunet.se/pub/Office/OpenOffice.org/stable/3.1.0/OOo_3.1.0_LinuxX86-64_install_en-US.tar.gz
Instalador da tradução -> ftp://ftp.unicamp.br/pub/broffice/stable/3.1.0/BrOOo_3.1.0_LinuxX86-64_langpack_pt-BR.tar.gz
CoGrOOo o corretor ortográfico -> http://extensions.services.openoffice.org/download/2453
Dicionario pt-BR (Eu achei que não precisava por causa do CoGrOOo mas ele não funcionou sem esse arquivo, você acha ele no BrOffice 32bits -> dict-pt.oxt

Depois de baixar tudo vamo a instalação:
- Extrair o arquivo de instalação

- Extrair o arquivo de instalação da tradução

- Entre no diretório de instalação

- Mova os arquivos que não serão instalados para outro diretório (Idioma inglês, tradutores en, fr, es, pacote do gnome)

- Instale tudo

Entre no diretório [b]desktop-integration[/b] e instale o pacote do Slackware

- Agora entre no diretório da tradução pt-BR e instale os rpm

Depois de tudo instalado o OpenOffice ja deve aparecer no menu do KDE, mas vai ter alguns problemas
1) Os ícones não vão aparecer.
2) O corretor não vai estar funcionando

Para resolver o problema dos ícones primeiro der permissão de escrita nos arquivos de configuração do desktop

Depois de ter permissão de escrita va na edição de menu no proprio KDE e altere os ícones para os atalhos do OOo, os ícones do OOo estão no diretório [b]/opt/kde/share/icons/hicolor[/b]/32x32/apps/

Para o corretor funcionar basta dentro de algum programa do OOo, como o Writer acessar o gerenciador de extensões e instalar o dict-pt e o CoGrOOo, depois disso configurar os idiomas todos para pt-BR inclusive o do corretor.

Com isso o OOo deve ficar 100% funcionando no seu Slack64.

Vou ver com mais tempo fazer um pacote para instalar isso.

Nesse fim de semana eu conversava com um amigo, o Vandré, sobre o uso do Ipod no Linux, quando ele mencionou um programa novo chamado Songbird. Chegando em casa eu resolvi procurar saber desse projeto, e gostei tanto que acabei migrando para esse aplicativo tanto no Windows como no Linux.
No windows eu sempre usei o iTunes, mas tem algo que muita gente reclama do iTunes, que é o fato dele ser pesado, eu até que não acho ele pesado mas em relação a outros players o iTunes é o mais lento. No Linux eu estava usando o gtk-pod com o audacious, e uma solução idêntica ao iTunes seria perfeito para substituir esses dois.
O projeto Songbird foi criado em 2006 pela "Pioneers of the Inevitable", uma empresa composta por pessoas que já trabalharam em projetos famosos como Winamp, Yahoo Music Jukebox, Netscape Navigator e Mozilla Firefox. A idéia do projeto era de criar um software novo para o mercado de media player, de forma que o programa fosse o que o Firefox foi para o mercado de navegadores.

Instalei no meu computador de casa Windows XP e no trabalho Linux Slackware 64bits 13.0, segue abaixo o processo de instalação em cada plataforma.

Windows
No windows foi fácil a instalação pois era só baixar e executar, depois de instalar escolhi dois addons para incrementar o player, um deles é o Lyric Master, um addon que busca a letra da musica que está tocando e mostra ao lado, e o outro é o iPod Device Manager, que adiciona o suporte para iPod no Songbird.
O iPod foi detectado com sucesso, porem apresentou um problema, de listar todas as musicas (juntando do iPod e do PC) na mesma library, com isso muitas musicas ficaram repetidas na Library.
Para resolver esse problema, você deve abrir o iTunes e ir nas configurações do iPod e desligar a opção de abrir o iTunes automaticamente caso o iPod seja conectado ao PC. Depois disso limpe sua Library e crie novamente e ai ele não vai mais mostrar as musicas duplicadas, e sim separado como no iTunes.
Outra vantagem é que da para adicionar as capas dos discos nas musicas sem precisar de uma conta na Apple Store.

Linux
No Linux não foi tão simples o processo de instalação, a principio o Songbird funcionou, peguei a versão x86_64, só que ele não conseguia executar a musica, dando uma mensagem de erro "Internal data flow error". E eu não conseguia solucionar o problema. Depois de fuçar muito descobri que o Slackwar64 não vem com todos os plugins gstream instalados, apenas com o gst-plugins-base. E para que o Songbird funcione é necessário que tenha instalado os plugins good, bad e ugly (The Good, The Bad and the Ugly lOL). E como eu não achei os pacotes para Slack64bits então eu tive que compilar da fonte.

Para quem não quiser ter que baixar os fonte para compilar aqui já tenho compilado para Slackware 13.0 64bits os plugins Gstream.
http://reiserfs.killermonkeys.net/Thiago/Linux/slack64/gst-plugins-bad-0.10.13-i486-2_SBo.txz
http://reiserfs.killermonkeys.net/Thiago/Linux/slack64/gst-plugins-good-0.10.15_x86_64-2.txz
http://reiserfs.killermonkeys.net/Thiago/Linux/slack64/gst-plugins-ugly-0.10.12_X86_64-1.txz

Depois de instalar os plugins o Songbird deve funcionar corretamente, eu também criei o pacote para o Songbird para Slackware 13.0 64bits para quem tiver interessado segue o link: http://reiserfs.killermonkeys.net/Thiago/Linux/slack64/Songbird-1.2.0_1146-i686-1_SBo.tgz.

O Songbird funciona normalmente depois de tudo bem instalado, coloquei o idioma português-Brasil, coloquei os addons que coloquei no Windows, o Lyric Master e o iPod Device Manager e tudo funcionou corretamente.
O iPod não detectou automaticamente, mas depois de plugar o iPod o kde montou ele, e ai eu fui em adicionar mídia e apenas cliquei em iPod, então o Songbird o adicionou como no Windows.

Finalizando, o Songbird está ai para brigar com os players do mercado, seja o iTunes no Windows ou o Amarok no Linux, ainda está no começo mas a proposta e muito boa, ele é muito mais rápido que o iTunes e é bem prático de usar.

Finalizando o Slackware 13.0 está bem completo e pronto para 64bits, agora eu tenho finalmente um bom subistituto para o meu destktop no trabalho, em casa vou continuar com o velho WinXP para rodar meus jogos ehehehe, mas quem quiser se aventurar eu recomendo, nada está faltando nesse Linux.

Quando eu fui contratado em 2005 eu encontrei um cenário não muito animador, que era:
- Dois servidores COMPAQ ML370 G1 (P3 + 256Mb Ram cada)
- Um desktop montado (Celeron + 128Mb Ram)
Nessa estrutura rodava hospedagem de sites (Apache+PHP+Mysql) e servidor de e-mail (Postfix+Cyrus+Horde), só que a estrutura era muito bagunçada, foi feita por um funcionário que já havia saido da empresa a muito tempo e era alvo de constantes invasões e ataques.
Para mudar esse cenário eu então peguei o equipamento que tinha, e refiz toda a estrutura, e um dos ML370 eu coloquei a parte de hospedagem web (APACHE+PHP+MYSQL) usando bastante restrição no php.ini principalmente a diretiva open_basedir para restringir cada virtualhost em seu diretório, e outros paramentos que eliminou de vez as invasões.

No cenário de E-mail eu resolvi radicalizar e mudar quase tudo, de Postfix eu mudei para a combinação de Qmail+Vpopmail e o Cyrus foi mudado para o Courier. No final das contas eu consegui migrar todas as contas do Postfix para o Qmail usando alguns scripts que encontrei na internet, somente as mensagens que não migrei, pois a estrutura antiga não tinha sistema de quota e a nova eu coloquei quota, com isso não dava para migrar as mensagens pois todo mundo iria ficar "overquota", mesmo assim foi dado um prazo para cada usuário fazer backup das mensagens.

[Vou dividir o post pois o texto é grande]

Este novo cenário de e-mail permaneceu por muito tempo, estavel e sem problemas graves, porem foi apresentado um novo projeto para o cenário de e-mail aqui na empresa, na qual eu não faço parte, foi-se então adotado o Expresso Livre, que trata-se de uma combinação do (E-groupware + Postfix + Cyrus + Ldap), é um software livre brasileiro, e está sendo adotado por muitas empresas do setor publico e privado.

Eu estava com alguns planos e ideias de melhorar a estrutura que eu tinha criado quando cheguei aqui, porem com esse novo projeto aprovado eu desisti e larguei meu "filho", só mantendo as atualizações em dia, e dando suporte enquanto o sistema migrava para o Expresso.

Nesse meio tempo minha estrutura estava sobrecarregada, e com isso eu ganhei um servidor novo, um HP ML350 G4, com processador Xeon 2GHZ e 2GB de RAM, isso serviu bastante e deixou o sistema mais leve, porém ainda não era a estrutura ideal, ter apenas uma maquina "bombril" com mil e uma utilidades não é o certo. Essa maquina recebia e enviava e-mails, verificava as mensagens com antivírus e antispam, hospedava o webmail e guardava as mensagens em disco. O certo seria dividir essas tarefas em servidores diferentes, porem todo hardware novo que chegava era destinado a estrutura do expresso, que já estava funcionando com 1 domínio de 500 contas, contra 98 domínios com na media de 600 contas cada na minha estrutura.

O Projeto do Expresso estava muito lento, a migração demorava seculos para por um domínio, cada domínio passava por uma burocracia enorme, pois o expresso tinha um grande problema, primeiro a nova politica de que os e-mails deveriam ser nome.sobrenome@dominio e outra que o Expresso não suporta nomes iguais, como por exemplo joao.silva@dominio.com e joao.silva@outrodominio.com para ele joao.silva é uma pessoa só e isso estava gerando muita confusão, pois entre as milhares de contas de e-mails existentes o que mais vai ter é colisão de nome.
Na minha estrutura como eu uso Vpopmail, joao.silva@dominio.com é diferente de joao.silva@outrodominio.com, assim eu poderia ter quantas pessoas com o mesmo nome pois o login no vpopmail conta com todo o endereço e não apenas o que vem antes da arroba (@).

Em um dia negro minha estrutura deu um problema grave no HD, as fitas de backup já não suportavam o tamanho do backup que era de 60gigas e as fitas so tinham 40gb, foi um dia péssimo, eu passei uma semana inteira tentando recuperar os dados, e ainda bem que no final das contas tudo voltou ao normal, porem nesse dia eu pedi para meu chefe um investimento na estrutura antiga, já que o expresso não ia para frente. Com isso eu ganhei duas HP DL360 G5 com XEON quadcore e 4GB Ram, e ainda mais ligada ao nosso cluster podendo usar a Library para backup.

Com esse equipamento eu resolvi então montar uma estrutura dividida e mais organizada. Meu projeto então foi:
- Em uma DL360 ficaria o MTA, com Qmail + Clamav + DSPAM unicamente com a função de receber e enviar e-mail, filtrar e etc.
- Em uma DL360 ficaria os e-mails com Vpopmail e dessa vez eu não optei em usar o Courier e sim o Dovecot no lugar dele.
- Em uma maquina virtual no cluster ficaria o webmail.

A estrutura seria mais ou menos assim:
[INTERNET] <===e-mail===> [MTA COM FILTROS] <===e-mail===> [MAILSTORAGE] <===e-mail===> [USUARIO]

1. MTA
O MTA é o servidor que vai receber as mensagens pela internet, e ele também vai enviar as mensagens enviadas pelo usuário da rede, pelo o que eu notei na estrutura antiga em horário de pico o processo do qmail-smtpd fica mais lento, por causa dos filtros e com isso ele deixava a maquina toda mais lenta, comprometendo o IMAP e o APACHE (Webmail) mas isso era devido a filtragem de Spam que consumia bastante memoria (eu usava Spamassassin).
No MTA eu coloquei o Qmail (netqmail) com todos os patchs, e coloquei o Simscan no lugar do qmail-scanner.pl para gerenciar a filtragem de e-mail, o Simscan é compatível com o clamav e com o DSPAM e eu escolhi ambos para a filtragem de Virus e Spam. E nela eu coloquei as regras de smtproute, para que o MTA enviasse as mensagens dos meus domínios para meu outro servidor que eu chamo de MAILSTORAGE.

Programas utilizados:
clamav-0.94.2 => antivírus
daemontools-0.76 => supervisor do qmail
dspam-3.8.0 = > antispam
mod_auth_imap2 = > autenticação do apache via imap ou pop
netqmail-1.06 => qmail atualizado com patchs
simscan-1.4.0 => scanner para qmail
ucspi-tcp-0.88 => tcptools para o qmail

2. MAILSTORAGE
Este servidor é no caso o mais importante, ele vai guardas as mensagens dos usuários e ser acessado via IMAP ou POP usando SSL ou não, mas para que ele possa receber mensagens ele precisa também ser um MTA. Porem o MTA deve ser mais simples e rápido, ele já vai receber as mensagens filtradas e so tem o papel de gravar no disco o que receber. Com isso nessa maquina eu também uso o Qmail, porem sem filtros apenas com os patchs, esse qmail recebe os e-mails do qmail do MTA através do smtproute.

Esta estrutura usa o vpopmail para guardar os e-mails, eu costumo usar o Vpopmail pela sua estrutura de diretórios, ele usa Maildir, e diferencia um usuário do outro através do domínio, impedindo de existir conflito entre dois usuários de mesmo nome. Outra mudança que teve foi o servidor de IMAP/POP. Na estrutura antiga eu usava o Courier-IMAP. Eu tive muitos problemas com ele, principalmente de contas travando, loop infinitos, e eu fiquei sem poder atualizar o courier pois eles tiraram o suporte a Vpopmail, com isso eu fui tentar o Cyrus, mas no meio do caminho encontrei o Dovecot, e depois de ler bastante a respeito resolvi testar, e vi que o Dovecot é 10x melhor que o Courier.

Programas utilizados:
autorespond-2.0.2 => Progama usado pelo qmail para auto resposta de mensagens
daemontools-0.76 = > Supervisor do qmail
dovecot-1.1.7 => Servidor IMAP/POP3
ezmlm-idx-5.1.2 => Programa de lista de e-mails
imapsync-1.267 => Programa usado para a migração, sincronizar as contas
maildrop-2.0.4 = > Usado pelo qmail para entregar as mensagens
netqmail-1.06 => MTA atualizado com os patchs + Patch Checkuser.
qmailadmin-1.2.12 => Gerencia das contas
ucspi-tcp-0.88 => Tcptools usado pelo qmail
vpopmail-5.4.25 => Suporte a dominios virtuais ao qmail.

3. WEBMAIL
O webmail foi colocado em uma maquina virtual, no nosso cluster VMware. Nela roda apenas o apache+php+mysql e o Horde Groupware (Webmail Edition). Sendo uma maquina virtual separada a performance do webmail melhorou 100%, o webmail se conecta com o MAILSTORAGE para autenticar e ler as mensagens dos usuários e com o MTA para enviar mensagens.

Todas as três maquinas incluindo a virtual usam Slackware 12.2 como sistema operacional.

4. A MIGRAÇÃO
O processo de migração foi feito nas seguintes etapas:

• Instalações dos sistemas operacionais e programas nos novos servidores
• Backup do banco de dados do vpopmail
• Criação dos scriptsde migração
• Criar os domínios no novo servidor
• Criar as novas contas no novo servidor usando uma senha padrão
• Atualizar a quota dos usuários criados no novo servidor
• Salvar a senha dos usuários no servidor antigo, para que sejam atualizadas no novo servidor
• Mudar a senha dos usuários no servidor antigo para uma senha padrão de forma que o possa se fazer o login na conta e migrar as mensagens.
• Limpar o lixo das contas como mensagens excluídas e spam para facilitar a migração, usando o "comando_do_demonio" (Um script que criei que verificar o lixo nas contas e apaga, mensagens excluídas e spam).
• Migrar as mensagens para o novo servidor usando o ImapSync
• Atualizar as senhas no novo servidor usando as senhas salvas no servidor antigo.
• Alterar o servidor de login nas configurações do webmail para que o webmail conecte no novo servidor.
• Efetuar testes de login
• Configurar o Backup do novo servidor
• Alterar os IPS do servidor antigo com o novo.

5. CONCLUSÃO
A migração foi um sucesso, e agora eu tenho 3 servidores para a estrutura, onde posso parar e trabalhar com cada um sem interferir no outro, posso para o webmail sem parar o acesso pop/imap3, posso parar o MTA mas os usuários podem ainda acessar as mensagens, e por ai vai. A performance melhorou 100%, e agora tenho backup em fitas de 800GB com mais segurança para os dados.
O DSPAM ainda não funciona muito bem, pois tem um esquema de treinar ele, e ainda estou coletando os spams reportado pelos usuários para treina-lo.
Enquanto o Expresso não anda pra frente minha estrutura nova agora pode aguentar por muito tempo.

Se você tiver algum interesse nas configurações que usei na estrutura, parametros de compilação ou scripts de migração, comenta ai que eu envio.

O VMware é uma maquina virtual, um software criado com a capacidade de emular uma maquina, sendo assim capaz de se instalar um sistema operacional dentro de outro sistema operacional.
Com o tempo eu também conheci outros softwares de maquina virtual, como o Bochs, Virtual PC e o QEMU.
O VirtualPC foi comprado pela Microsoft, e era o mais simples de se utilizar em conjunto com o Windows.

Na minha viagem para Fortaleza, para o Morphus Weekend, eu tive a chance de conhecer mais a fundo o VMware, onde um represetante da VMware mostrava como o VMware tinha crescido e qual mercado ele está atuando hoje em dia.

Antes eu tinha a ideia de virtualização uma coisa mais usada para desenvolvimento ou uso doméstico, mas agora vejo que o mercado de virtualização está mesmo para distribuição de recursos, alta disponibilidade e segurança de serviços em produção.

O VMware possui diversos pacotes diferentes, que vai da solução para o desenvoldor até a solução para virtualização de servidores. Eu peguei algumas das versões para testar e analizar, umas eu tive sucesso, outras eu quebrei a cabeça para rodar em uma maquina workstation.

As três versões que eu peguei para testar foram:
1. VMware Server
2. VMware Workstation
3. VMware ESX Server

1. VMware Server

A versão server é a mais conhecida e utilizada pela comunidade, ela é gratuita e suporta qualquer Sistema Operacional padrão x86,  pode ser gerenciado pelo VMware virtual center, tem suporte para 1 ou 2 processadores, sistema operacionais de 64 bits, e roda as maquinas virtuais como serviço (Background).

Essa versão é ideal para quem precisa de uma solução barata de virtualização, Eu estou no momento rodando em um Athlon 64 3200+ com 2GB Ram, um windows XP + VMWare com 3 Maquinas virtuais (Linux Slackware 12.1, Linux Slackware 12.1 e Windows 2008 server).
Ligando as 3 Maquinas fica impossivel trabalhar, porem eu so uso o Windows 2008 para testes e uma maquina Linux eu tambem só ligo para testes. Ligado o tempo todo mesmo somente uma maquina Linux. Mas da para deixar até 3 Linux (sem interface gráfica) rodando em background o problema mesmo e o windows 2008

2. VMware Workstation

Essa é uma versão mais completa, porém e diferente da versão Server. Essa versão é voltada mais para desenvolvedores, ela possui diversos recursos de copiar maquina, fazer cópia, mover maquinas, não possui limitação de processadores, porém é PAGO.

A workstation tem muito mais recursos que a server, por ser pago tem que ser né? Porém a workstation não roda as maquinas como serviço (pelo o que eu entendi) então para rodar maquinas em produção a server ainda é melhor (e gratis).

Existe uma tabela aqui comparando Workstation com a Server
http://www.virtualization.info/lab/VMwareWKS60_vs_VMwareSVR10.pdf

3. VMware ESX Server

Agora imagine, você quer rodar uma maquina virtual, quer alta disponibilidade, não quer ter um Sistema Operacional primario para rodar as maquinas. Bom essa é a solução da VMware, o ESX Server. O ESX é um sistema operacional voltado para rodar maquinas virtuais, ele dedica 100% dos recursos da maquina para as maquinas virtuais.
Em performance o ESX ganha disparado das outras versões, a server por exemplo veja um gráfico comparando:
http://blogs.vmware.com/photos/uncategorized/2007/03/29/esxvsserverslide.jpg

O ESX contem todos os recursos que os outros produtos tem, eu peguei uma versão trial dele porem não tive sucesso de instalar, percebi que o suporte deles é voltado mesmo para o mercado corporativo. Mas isso não será uma barreira de conhecer o software, já que no novo Cluster do ITEC iremos usar ESX em 4 servidores (licenciados).
Na tentativa de instalar na minha maquina, o ESX deu trabalho para instalar, mas não rodou, pelo o que eu entendi no forum do VMWare e um problema com suporte a controladoras SATA. Percebi tambem reinando que o ESX nada mais é que um Linux, isso mesmo um Linux porém ele roda o VMkernel logo após o inicio, ele vinha tambem com o Kernel-source do Linux, mas não adiantar muito eu mexer, pois eu teria que por o suporte no VMkernel.

Bom fica aqui a dica para quem não sabe, e quem gostaria de testar, baixe já o VMware server é gratis é facil de mexer e não é pesado, economize em hardware e distribua melhor os recursos de sua estrutura.
http://www.vmware.com/download/server/

No site FPSAdmin, encontrei alguns tutoriais que dão dicas de como baixar e instalar o COD4 para linux desenvolvido pela Icculus.
Bom depois de apanhar bastante conseguir botar o bixo para rodar e ontem a noite foi dando tiro pra todo lado.

Nesse artigo eu vou mostrar o passo a passo de como instalar, atualizar, configurar e rodar o servidor de COD4 no ambiente Linux, só não vou me aprofundar muito nos comandos de administração pois ainda tou aprendendo.

Hardware:
AMD Athlon(tm) 64 X2 Dual Core Processor 4000+
1 GB DDR2 667Mhz
SO: Linux Slackware 12.1

IMPORTANTE: Você precisa ter o DVD do jogo para instalar o server (6gb de server é foda mas e a vida).

Primeiro passo é criar um usuário novo na maquina, no meu ambiente eu tenho um grupo kmgames, para rodar os servidores (Counter Strike Source, Team Fortress 2, TeamSpeak).
A pasta que eu uso para instalar meus jogos é /games/
Então na shell do seu Linux digite:

root@hostname: groupadd games
root@hostname: mkdir  -p /games/cod4
root@hostname: useradd cod4 -g games -d /games/cod4 -s /bin/bash
root@hostname: passwd cod4

Com isso ele vai criar o grupo games (que já deve existir), criar o diretório e depois o usuário. E no final pedir a senha.

Coloque o DVD do jogo no servidor ( se você tiver a imagem do jogo no HD monte a imagem com mount -o loop /diretorio/da/imagem/imagem.iso /mnt/iso)

Monte o DVD:
root@hostname: mount /dev/hdx /media/cdrom
Mude o hdx pelo certo correspondente ao seu drive de DVD.

Copie o conteudo do jogo da pasta Data para a pasta do jogo:
root@hostname: cp -a /media/cdrom/Setup/Data/* /games/cod4/

Agora baixe o COD4 Para Linux 1.7 (ultima versão até eu escrever esse artigo)

root@hostname: cd /games/cod4
root@hostname: wget http://treefort.icculus.org/cod/cod4-linux-server-06282008.tar.bz2

Agora copie o que você baixou por cima dos arquivos do jogo, assim ele vai atualizar o jogo para Linux com a versão 1.7

root@hostname: tar jxvf http://treefort.icculus.org/cod/cod4-linux-server-06282008.tar.bz2

Ele vai criar um diretório chamado cod4-linux-server/
copie tudo que tem dentro dele para a raiz

root@hostname: cp -a cod4-linux-server/* /games/cod4/
root@hostname: chmod +x pbsetup.run cod4_lnxded*

Agora seu server ta instalado e vamos configurar, primeiro muda a permissão dos diretórios para o user cod4

root@hostname: chown cod4.games /games/cod4 -R

Saia do root e logue agora com o user cod4 (tudo isso poderia ser feito com o user cod4 direto).

cod4@hostname: cd /games/cod4 (esse comando nem precisa pois essa já é a home do user cod4)

Instalando o PunkBuster
cod4@hostname: ./pbsetup.run -e
cod4@hostname: ./pbsetup.run --add-game=cod4 --add-game-path=/games/cod4
cod4@hostname: ./pbsetup.run -u

De (Y)es para quando ele perguntar se você aceita a licença.

Agora vamos para as configurações
cod4@hostname: cd /games/cod4/main
cod4@hostname: wget  http://reiserfs.killermonkeys.net/misc/cod4cfg/server.cfg
cod4@hostname: wget  http://reiserfs.killermonkeys.net/misc/cod4cfg/gametypes.cfg
cod4@hostname: wget  http://reiserfs.killermonkeys.net/misc/cod4cfg/maprotation.cfg
cod4@hostname: wget  http://reiserfs.killermonkeys.net/misc/cod4cfg/playercontrol.cfg
cod4@hostname: wget  http://reiserfs.killermonkeys.net/misc/cod4cfg/weaponcontrol.cfg

Edite o arquivo server.cfg para configurações básicas do seu server, como nome, porta, senha e etc.
O arquivo gametypes voce escolhe o modo de jogo (Deathmatch, Domination e etc) Modo Hardcore, Killcam e etc.
O arquivo maprotation muda os mapas de acordo com o gametypes
Os arquivos playercontrol e weaponcontrol servem para você controlar perk, armas e etc.

Depois de editar tudo vamos para o principal
cod4@hostname:  ./cod4_lnxded +set dedicated 2 +set sv_maxclients 16 +set sv_punkbuster "1" +exec server.cfg +map_rotate

Pronto seu server já deve estar rodando, para rodar o server em Background jogue ele em uma screen
cod4@hostname: screen  ./cod4_lnxded +set dedicated 2 +set sv_maxclients 16 +set sv_punkbuster "1" +exec server.cfg +map_rotate

Aperte Ctrl+A depois Ctrl + D para sair da screeen, e screen -r para voltar.
O resto, como administrar e etc você se vira nos 30 hehehehe.

Meu server já está rodando tudo certinho.

Clique em Ler mais para mais informações

Um dos primeiros softwares que eu usei para jogar foi o Roger Wilco. Era um software bem arcaico mas era eficaz, o som era ruim mas dava pro gasto.

O GameSpy comprou o código fonte do Roger Wilco e incluiu um sistema de voip para "gamers" no seu GameSpy Arcade.

Logo após de um tempo usando o Roger Wilco, a quantidade de pessoas que usavam o software foi aumentando e o software não tinha mais porte para suportar aquela quantidade de jogadores. Foi aí que tive contato com o TeamSpeak. Diferente do Roger Wilco, o TeamSpeak tinha suporte a um sistema de salas, onde cada sala tinha seu canal de voz separado. Isso ajudou bastante pois se poderia ter várias pessoas juntas no mesmo servidor mas em salas diferentes caso estivessem no time adversário ou jogando outro jogo. O TeamSpeak também tinha uma variedade de codecs, o qual cada canal poderia usar um codec diferente, assim podendo balancear qualidade com velocidade.

O TeamSpeak possui versões oficiais tanto cliente como servidor para Windows e para Linux, e uma versão não oficial para Mac OS X. Atualmente o TeamSpeak se encontra na sua segunda geração, conhecido como TeamSpeak 2, e com a sua terceira geração já em estado de desenvolvimento.

O Cliente

Outra opção é usar o "connection -> quick connect"Sua configuração é simples, selecionando "connection -> connect" o TeamSpeak irá abrir uma tela onde você poderá configurar os servidores no "Local Addressbook" ou conectar em um servidor publico procurando no "Webserver List"., onde você pode conectar a um servidor sem ter que registrar no "Address Book".

Outra opção importante é o "Push to Talk", está opção você escolhe uma tecla do teclado para ser o interruptor para ligar ou desligar o envio de voz pelo TeamSpeak, ou pode ser usar a opção de "Voice Activation" onde o TeamSpeak ativa automaticamente o envio de voz ao detectar que o usuário está falando ao microfone.

Todas as versões oficiais, Linux e Windows possuem a mesma interface com as mesmas opções. A versão para Linux usa QT, foi compilado com o Kylix. Não se sabe como será a terceira geração do Teamspeak, mas segundo algumas informações no fórum oficial, o TeamSpeak que é feito em Delphi será agora feito em C++, então deve ser esperar algumas mudanças na interface do Linux para o Windows.

O Servidor

A versão para Linux é diferente da versão para Windows. Na versão Windows temos a interface gráfica e facilidade do "click click click" e está tudo pronto. Ambas versões possuem um webserver para poder gerenciar o servidor, clientes e outros servers.

O TeamSpeak usa de forma padrão o banco de dados SQLite, mas possui a opção de ser usar MySQL, o que facilita bastante os administradores e desenvolvedores a integrarem um sistema único de login.

Por exemplo, no servidor de TeamSpeak do Killermonkeys.net o qual eu administro, o banco de dados do TeamSpeak é o mesmo banco do phpBB, fiz algumas alterações nos scripts SQL do TeamSpeak, para ele usar os campos user_id,username,password da tabela phpbb_users no lugar dos campos e da tabela padrão, assim temos um login integrado, se o usuário mudar a senha no Fórum, automaticamente muda no TeamSpeak também.

Concorrência.

Existem outros softwares de voz sobre ip no mercado, um deles é o Ventrilo um forte adversário do TeamSpeak, possui uma interface menos interativa, mas possui o melhor codec, e a função de "Text-to-speech" usando principalmente quando alguém entra em um canal ou no server, o programa fala o nome do usuário.

Existe também um projeto opensource, mas nunca tive tempo de testar, trata-se do Mumble, veja foto abaixo.

Bom concluindo, o TeamSpeak tem de tudo para suprir uma necessidade de uso de voz sobre ip em larga escala, e multi-conferencia. Existem servidores públicos e privados, e empresas especializadas em hospedar o sistema.
Ele é uma ferramenta Grátis, tanto para server como para cliente, porem para se prover o serviço de hospedagem deve ser pagar a licença comercial.

Duas coisas são muito importantes hoje em dia em um sistema de fórum, uma delas e suporte a anexos de arquivos. Os phpBB2 não possui este recurso nativo no sistema, dependendo de uma modificação no fórum que pode ser um pouco complicada para pessoas com pouco conhecimento técnicos. O outra coisa importante no fórum, são os sub-fóruns. As comunidades independente do assunto tratado, tendem a crescer e adicionar mais assuntos e mais categorias, um fórum com muitas categorias e muitos fóruns, tende a ficar desorganizado, a adição de sub-fóruns oferece o recurso de se dividir em uma cascata os fóruns, deixando de forma mais limpa e organizada os fóruns mais grandes. Assim como suporte a anexos o phpBB2 não suporta sub-fóruns, ficando novamente dependente de modificações de terceiros.

Em virtude da falta desses recursos básicos, o phpBB2 foi perdendo mercado para a concorrência, muitos falam que foi por causa dos bugs de segurança, mas todos os outros fóruns também estavam vulneráveis a diversas falhas de programação, o problema do phpBB2 era sua popularidade que era maior e com isso uma vulnerabilidade nova descoberta resultava em muito mais comunidades atacadas do que uma vulnerabilidade nos outros sistemas de foruns.

Bom o phpBB3 esta vindo ai para mudar este cenário, com um novo código totalmente reescrito, adição dos recursos básicos e de novos recursos, e uma nova interface mais amigável de administração, o phpBB3 voltará a ser um sistema de fórum confiável e poderoso, e quem sabe recuperar o mercado perdido para a concorrência.

tela de administração do phpBB3 (clique para ver no tamanho original)

Uma das coisas, que mais preocupou a comunidade foi a migração de dados do BB2 para o BB3, a equipe do phpBB ainda não oficializou o suporte a essa migração, mas no BETA5 já foi adicionado as funções de migração, nas quais eu testei e tive resultados surpreendentes. O suporte a migração vai ser lançado na próxima versão que vai ser a RC1 (Release Candidate 1).

Para testar o BB3 eu fiz uma cópia do fórum do KM na minha pasta, tanto os arquivos como o banco de dados. Meu medo é que não fosse possível migrar os dados, pois o banco do KM é um pouco modificado, por exemplo, os campos para integração com o TeamSpeak, e para integração com o sistema de gerenciamento de acesso e membros o KingKong.

Depois do processo de migração, que é um pouco demorada, o BB3 estava pronto e funcionando, só reparei em um problema, o founder da instalação tinha sumido. E para piorar ele pegou o usuário mais novo por ordem de user_id e deu para ele permissão de founder, com isso tive que modificar algumas coisas via MySQL para que o meu usuário fosse o founder do site, e o outro um usuário comum, mas isso era o de menos, todos os dados foram migrados, tanto os usuários e permissões como "posts", tópicos e fóruns.

Fórum do KM migrado para o phpBB3

Os novos recursos do phpBB3 que estão listados até agora no site oficial são:

Requerimentos

Banco de dados suportados.

* MySQL 3.23+/4.0+/4.1+/5.0+
* MySQLi (MySQL 4.1+/5.0+)
* PostgreSQL 7.3+
* SQLite
* Firebird 1.5+/Interbase 7.1+
* Oracle
* MSSQL 2000+
* MSSQL 2000+ (ODBC)

Versão mínima do PHP suportada

PHP >= 4.3.3

Recursos
O que foi melhorado?

Recursos que já existiam no phpBB2, e que foram melhorados no Olympus.

Mensagens Privadas (está mais com cara de um sistema de e-mail agora)

* Enviar para múltiplos usuários (isso fazia falta)
* Enviar para grupos
* Enviar BCC (Blind Carbon Copies)
* Encaminhar mensagens
* Lista de amigos funciona como Livro de endereços
* Anexar arquivos (vide sistema de anexos)
* Rascunho de PM
* Sistema de conversa (deve ser igual ao Gmail não testei)
* Pastas das PM
* Filtros nas PM
* Exportar mensagens (deve ser muito legal isso)

Registro

* Ligar e desligar o COPPA (isto controla a mensagem do fórum sobre a idade permitida)
* Limitar o numero de tentativas de registro (bom para combater spam bots)
* Limitar o tamanho máximo e mínimo do nome de usuário
* Limitar o tamanho máximo e mínimo da senha
* Limitar os caracteres utilizados no nome de usuário
* Configurar sistema de complexidade da senha (nada de 123456 hehehe)
* Forçar a troca da senha
* Permitir ou Proibir o re-uso de uma e-mail no registro

Busca

* Buscar dentro de tópicos
* Selecionar múltiplos tópicos na busca
* Buscar apenas nos títulos
* Buscar no primeiro post do tópico apenas
* configurar o intervalo de buscas para evitar o flood e a sobrecarga no server.
* Escolher o backend da busca (mysql/phpbb) não testei.

Admin Control Panel

* Mais flexível e acessível com sistema de abas (nada de frames)
* Sistema modular, para melhor suporte a extensões (antigos Mods)
* Liberar permitir acesso as funções no painel (melhor gerencia dos admins)
* Novo status de founder para o criador do fórum
* Completamente re-estruturado

Moderator Control Panel

* Gerenciar fila de pendências da moderação
* Lista de avisos e denuncias
* Detalhes do Fórum, tópico, e post.

Enquetes

* Múltiplas opções por usuário
* Liberar ou permitir alterações na votação

grupos

* Múltiplos lideres de grupo
* Cor do grupo
* Rank do Grupo
* Avatar do Grupo

Visualizar o Profile

* Mais estatísticas na visualização do profile
* Assinatura no profile
* Grupos no profile

Permissions

* Mais poderoso e flexível sistema de permissões
* Permissões simples através de regras
* Ajuste aos acessos dos moderadores e administradores
* Super moderadores

Gerenciamento de Usuários

* Avançada interface de edição do usuário
* Editar preferenciais do usuário
* Editar membros dos grupos
* Mostrar ou editar anexos dos usuários
* Ver permissões diretamente (virar o usuário e ver como ele visualiza e acessa o fórum)

Mais

* Painel de controle para moderador e admin
* Bans temporários
* Comentários para os bans
* Gerenciar grupos no ACP
* Procurar membros por qualquer atributo

O que tem de novo?

Novos recursos adicionados que não existiam no phpBB2, está lista não esta completa pois o phpBB3 não está pronta, coisa nova ainda pode vir.

Suporte completo a UTF-8

Anexos

* Anexos nos post e nas mensagens privadas
* Miniatura de imagem automática
* Anexar imagens, documentos, vídeo streams, arquivos compactados
* Múltiplos anexos
* Mostrar anexos na linha

sub-fóruns ilimitados

* Mostra tópicos ativos de todos os sub-fóruns

BBcodes customizaveis

* Crie seus próprios BBCODES (show de bola isso)
* Adiciona o botão do BBCODE no formulário de envio

Campos do Profile customizados

* Adicionar novos campos no profile
* Mostrar no registro
* Mostrar na visualização do profile
* Esconder novo campo
* Suporte a diferentes tipos de dados

Controle de Painel do Usuário

* Gerenciar tópicos inscritos e fóruns (quando você se inscrever para obter as atualizações do mesmo por e-mail)
* Gerenciar tópicos favoritos
* Gerenciar rascunho
* Gerenciar mensagens privadas
* Gerenciar grupos
* Gerenciar amigos e inimigos
* Gerenciar anexos

Novas ferramentas para moderador

* Fila de moderação
* Juntar tópicos
* Copiar tópicos
* Trancar um post (nao sei como funciona ehehe)
* Histórico do tópico (legal isso)

Caching and performance (não vou traduzir isso da pra entender)

* Templates are cached
* Permissions are cached
* Forum config is cached
* Database queries are cached

Amigos e inimigos

* Adicionar outros membros como amigos ou inimigos
* Posts de inimigos ficam escondidos
* Amigos são mostrados na lista de amigos

Avisos e Denuncias

* Usuários podem denunciar posts e tópicos
* Moderadores podem advertir usuários

Melhorias para os usuários

* Favoritos
* Acompanhar fórum
* Suporte ao Jabber/xmpp
* Enviar por e-mail ou imprimir tópicos
* "You got beaten at posting notification"

Melhorias para Admins

* Anúncios Globais
* Mostrar regras na pagina
* Apagar usuários inativos
* User, moderator, admin and error logs
* Language pack editing
* User notes
* Detectar bots de busca (search spiders)

Com todos esses recursos não preciso mais de MOD nenhum para o fórum, vou tentar agora modificar mais o TeamSpeak e o KingKong para se adaptar ao fórum do que o fórum para se adptar a programas externos.
Bom com isso é tudo no momento, agora é aguardar o RC1, e por as mãos na massa.

Thiago Melo.