Cafe TI - pra perder o sono. » Squid Proxy

Analisando o uso da internet… [atualizado 26/01/09]

Alroger Filho — Sat, 20 Dec 2008 00:00:14 +0000

Chega uma hora que precisamos analisar o uso da Internet, quem está usando o que, e porquê a internet está tão lenta na rede. Para isso vamos usar 2 ferramentas para verificar o tráfego de dados atraves do Squid Proxy e do Firewall/Gateway/NAT.

Instalando no Fedora…

Sarg – análise do proxy

yum -y install bitstream-vera-fonts gd gd-devel php httpd gcc automake

Baixe o Sarg do site e descompacte, depois:
./configure
make
make install

Edita o /usr/local/sarg/sarg.conf e descomente e altere as seguintes opções:

language Portuguese
access_log /var/log/squid/access.log
title “Relatório de uso da internet”
temporary_dir /tmp
output_dir /var/www/squid-reports
[atualizado 26/01/2009]
output_dir /var/www/html/squid-reports
resolve_ip yes
user_ip yes
usertab /usr/local/sarg/ip_nomes
topuser_sort_field BYTES reverse
topsites_num 100

Altere/Crie o /usr/local/sarg/ip_nomes com 2 colunas, IPs e Nomes, para sair um relatorio mais amigavel ao invez de apenas enderecos IPs. é como o arquivo /etc/hosts, mas com apenas 1 nome definido para cada IP.

Para ver os relatorios basta executar o sarg e navegar no http://servidor/squid-reports.

Para tirar relatorios online (em tempo real) execute:
chmod -R a+rx /var/log/squid
E navegue para http://servidor/sarg-php/sarg-realtime.php.

Dicas:

Depois de instalado e feita a configuração inicial, você pode customizar mais detalhadamente e agendar a geração automática dos relatórios usando o Webmin.

NTOP – análise do tráfego de internet (NAT)

Presumindo que os programas do Sarg acima já foram instalados, basta instalar agora:
yum -y install libtool libpcap-devel gdbm-devel rrdtool-devel zlib-devel

Baixe a última versão estável do NTOP do site, descompacte e:

./autogen.sh
make
make install
mkdir /usr/local/var/ntop/rrd
chmod -R a+rw /usr/local/var/ntop/rrd

Execute uma vez o ntop e ele vai pedir para você definir uma senha para o usuário “admin” que serve para administrar o sistema. Depois de definar sua senha, de um CTRL-C para finalizar o programa.

Este comando inicia o NTOP para a minha interface ppp0, pois utilizo um link Speedy Home com IP variável via PPPoE. Você pode usar eth0 ou eth1 no lugar do ppp0 dependente em que interface sua internet está conectada. Você também pode definir a interface pelas configurações do menu Admin, e omiti-la da linha de comando.

ntop -d –use-syslog -i ppp0

Para inicia-lo automaticamente ao ligar o servidor, adicione a linha acima ao /etc/rc.local do servidor.

Entre no navegador http://servidor:3000 e divirta-se.

Snapshots:

Agora é só fuçar e aprender a identificar o que interessa em meio a tantos relatórios detalhados.

Links e Refs:

Site do Sarg.
Webmin – para administrar seus servidores.
Squid Ninja.
Site do NTOP.
ntop na GdHh Press.

Alroger Filho

Squid Proxy: Configurações Automáticas e Performance [atualizado 20/08/2008]

Alroger Filho — Fri, 01 Aug 2008 14:14:30 +0000

Descobri recentemente pra que serve a opção “Autodetectar as configurações de proxy para esta rede” existente nos navegadores. No caminho me deparei com algumas dicas de performance para o Squid. Então seguem dicas de performance e como configurar seu Squid para ser “Autodetectado” na rede, sem precisar ficar configurando micro por micro para usar o proxy.

Performance:
Basta alterar as seguintes opções no arquivo de configuração do Squid, normalmente em /etc/squid/squid.conf:. Caso elas não existam, adicione!

cache_mem 64 MB
cache_swap_low 95
cache_swap_high 98
maximum_object_size 16384 KB
maximum_object_size_in_memory 20 KB
cache_dir ufs /var/spool/squid 2048 16 256

A última opção especifica o tamanho do cache a ser alocado em disco, 2GB no caso (2048MB). Já experimentei 2048 64 64, 2048 64 256, 2048 256 256, mas pelo jeito 2048 16 256 é a melhor combinação, pelo menos para HDs comuns ATA/SATA.
A primeira opção especifica o quanto de memória RAM deve ser usada pelo Squid. Quanto mais melhor! Alias se o cache todo pudesse ficar em RAM, tudo ficaria muito mais rápido. O padrão dele é 8MB, bem mixuruca. Por isso sugiro pelo menos 64MB que já faz diferença. Se você tiver mais memória livre, aumente este valor, os usuários da rede vão agradecer.
As demais opções também se referem ao uso de memoria e ajudam a reduzir o acesso ao disco rígido, que é muito mais lento que memória RAM.

Depois para ativar as alterações:
service squid stop (ou sudo /etc/init.d/squid stop)
squid -z (ou sudo squid -z)
service squid start (ou sudo /etc/init.d/squid start)

Autodetecção do Proxy:

Bom, como vocês já devem saber, quando mais usuários na rede, mais trabalho para configurar o proxy deles, sem contar quando o usuário mexe nesta configuração tentando burlar as políticas de navegação da empresa. Proxy transparente ajuda mas serve apenas para a porta 80, ou seja, acesso a bancos e páginas seguras não vão funcionar automaticamente. Outra situação é quando você quer disponibilizar um acesso básico para usuários visitantes sem ter que mexer nas configuração de proxy deles. Os navegadores (Firefox, Internet Explorer, Opera, etc) normalmente já vem configurados para tentar descobrir automaticamente as configurações de proxy da rede, muito prático.

Resumindo esta “autoconfiguração” depende de 2 padrões/protocolos existentes, um tal de PAC e um tal de WPAD. Vamos configurar os 2 de uma vez para ser compatível com as diversas versões de navegadores.

Precisamos criar um arquivo que contém um JavaScript, na raiz de um servidor Web da rede. Pode estar no mesmo servidor do Squid ou em qualquer outro servidor da rede.

No meu caso: /var/www/html/wpad.dat
function FindProxyForURL(url, host) {
if(isPlainHostName(host) || isInNet(host, “192.168.0.0″, “255.255.255.0″) || dnsDomainIs(host, “speedtest.net”))
return “DIRECT”;
else
return “PROXY 192.168.0.88:3128″;
}

Observe no “if” que caso o site tentando ser acesso seja dentro de minha rede (192.168.0.0) ou seja o speedtest.net, a autoconfiguração diz para que seja acessado diretamente (DIRECT), sem passar pelo proxy. Caso contrario tudo vai passar pelo proxy de minha rede (192.168.0.88 na porta 3128).

Em seguida, vamos criar um link simbólico deste arquivo para outro (assim não precisamos ter 2 cópias do mesmo arquivo e ter que mante-los ambos atualizados).
ln -s /var/www/html/wpad.dat /var/www/html/proxy.pac

Adicione nas configurações do seu servidor web, neste caso o Apache, definições MIME para estes arquivos.

No meu caso adicionei ao /etc/httpd/conf/httpd.conf:
AddType application/x-ns-proxy-autoconfig .dat
AddType application/x-ns-proxy-autoconfig .pac

E reinicie seu Apache:
service httpd restart (ou sudo /etc/init.d/apache2 restart)

[Atualização Importante!]
Defina um host wpad dentro de seu domínio, apontando para o IP de seu servidor web. Exemplo de registro DNS:
wpad.sdev.com A 192.168.0.71

Este host deve fazer parte do domínio especificado no DHCP, conforme descrito abaixo. Por exemplo, se o navegador percebe que o sufixo de domínio é servidor1.cliente.sdev.com, ele vai tentar os seguintes endereços para encontrar o arquivo de configuração do proxy:

http://wpad.servidor1.cliente.sdev.com/wpad.dat
http://wpad.cliente.sdev.com/wpad.dat
http://wpad.sdev.com/wpad.dat

Só falta o DHCP. Insira logo no começo junto com as outras “option”s (/etc/dhcpd.conf):
option domain-name “sdev.com”;
option wpad code 252 = text;
option wpad “http://192.168.0.71/wpad.dat\n”;

Observe que precisa definir um domínio para sua rede, e na terceira linha definir o caminho completo (URL) de onde acessar o arquivo de configuração que você criou. 192.168.0.71 é meu servidor Web com Apache. Teste este caminha de um navegador para confirmar! Ele deve oferecer para fazer o download do arquivo.

Agora reinicei seu DHCP:
service dhcpd restart (ou /etc/init.d/dhcpd restart)

Agora deixe seu navegar configurado para detectar as configurações de proxy automaticamente e faça seus testes para confirmar que ele esta navegando automaticamente pelo proxy da rede.

OBS:

Cuidado ao copiar/colar estas configurações deste site, ou qualquer outro site. Possivelmente as áspas (“) serão convertidas para caracteres especiais (levemente inclinadas), o que gera erro nos arquivos de configuração. Verifique e re-digite as áspas.
Testei no Nokia N95 e o browser nativo do Symbian não detecta automaticamente.

Links e Refs:

Alroger Filho

Squid Proxy com Autenticação Samba

Alroger Filho — Fri, 18 Apr 2008 00:08:42 +0000

Finalmente aprendi a configurar o Proxy Squid para liberar acesso a internet baseado na autenticação de usuários do Samba (compartilhamento de arquivos sabor Windows).

Aparentemente o processo é tão simples que nem é documentado direito. Depois de vários anos pesquisando superficialmente, resolvi mandar bala sem parar enquanto não descobrir. Ninguém explica como funciona o smb_auth que vem junto com o Squid. Toda documentação que encontrei se baseia em “domínios“, não de internet mas do vocabulário Microsoft. Ou seja, para quem não usa este conceito Windoooze, foi barra.

Mas agora ficou fácil, assumindo que você já tem um servidor samba instalado, e o Squid também, basta:

Adicionar “domain master = yes” e “domain logons = yes” nas configurações gerais do Samba.
(não se preocupe, isso não vai alterar a forma de seus usuários Windows ou Linux fazerem logon. Não precisa configurar ninguém para entrar em “domínio” algum)
Configurar o programa básico de autenticação do Squid para /usr/lib64/squid/smb_auth, ou /usr/lib/squid/smb_auth, exemplos dos padrões do Fedora, 64 e 32bits. A linha de configuração no squid.conf ficaria, por exemplo:
1. auth_param basic program /usr/lib64/squid/smb_auth -W XXX
  Onde XXX é o nome do “workgroup” ou “domínio” que você configurou em seu Samba. Com a primeira configuração feita acima, o seu nome de “workgroup” do Samba, automaticamente é usado como “domínio” também. Não importa em que servidor o Samba está rodando, basta estar na mesma rede.
Configurar as regras de controle de acesso do Squid:
1. acl Auth_Samba proxy_auth REQUIRED
  (Auth_Samba = nome que dei para esta regra; proxy_auth é o tipo de regra, descrito em alguns gerenciadores tipo o Webmin, como “External Auth”)
2. http_access allow Auth_Samba
  (permite acesso mediante a autenticação criada acima)
  Esta restrição pode ser misturada entre outras, por exemplo, permitindo apenas os IPs tal e tal autenticados a navegar. Também existem outras opções, por exemplo, para especificar determinados usuários, que não estou usando no momento.

Não esqueça de:

Reiniciar os serviços Samba e Squid após as configurações.

Caso o seu servidor Samba não esteja localizado no mesmo servidor em que o Squid roda:

Instale os pacotes samba-client e samba-common no servidor Squid, para ele poder, pelo menos, ser um “cliente” do Samba.

Links e Refs:

SMB Proxy Auth Module.

Se ajudar, deixe um comentário!

Alroger Filho

Sem artigos relacionados.