Squid Reverse Proxy

Squid反向代理:实现Web应用加速

时间:2009-04-09 10:30:26 来源:Linux联盟 作者:
http://www.xxlinux.com/linux/article/development/web/20090409/16203.html

公司服务器需要进行迁移,从A机柜到B机柜,二机柜之间的距离为10米。哈哈。好近,尽管很近,但IP段不一样。因此web,dns,mail,mysql 都得切换。在这里呢,先写一些切换前的准备工作,squid 反向代理就是其中之一。

一.反向代理的概念

什么是反向代理呢?其实,反向代理也就是通常所说的WEB服务器加速,它是一种通过在繁忙的WEB服务器和Internet之间增加一个高速的WEB缓冲服务器(即:WEB反向代理服务器)来降低实际的WEB服务器的负载。

Web服务器加速(反向代理)是针对Web服务器提供加速功能的。它作为代理Cache,但并不针对浏览器用户,而针对一台或多台特定Web服务器(这也是反向代理名称的由来)。实施反向代理(如上图所示),只要将Reverse Proxy Cache设备放置在一台或多台Web服务器前端即可。当互联网用户访问某个WEB服务器时,通过DNS服务器解析后的IP地址是Reverse Proxy Server的IP地址,而非原始Web服务器的IP地址,这时Reverse Proxy Server设备充当Web服务器,浏览器可以与它连接,无需再直接与Web服务器相连。因此,大量Web服务工作量被卸载到反向代理服务上。不但能够防止外部网主机直接和web服务器直接通信带来的安全隐患,而且能够很大程度上减轻web服务器的负担,提高访问速度。

二.反向代理工作原理

反向代理服务器位于本地WEB服务器和Internet之间

当用户浏览器发出一个HTTP请求时,通过域名解析将请求定向到反向代理服务器(如果要实现多个WEB服务器的反向代理,需要将多个WEB服务器的域名都指向反向代理服务器)。由反向代理服务器处理器请求。反向代理一般只缓存可缓冲的数据(比如html网页和图片等),而一些CGI脚本程序或者ASP之类的程序不缓存。它根据从WEB服务器返回的HTTP头标记来缓冲静态页面。

三.squid做反向代理

1.安装

  注:如果系统是redhat 9,需要安装epoll的库文件(epoll有效的降低系统的I/0瓶颈,资源占用率)
  wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE2.tar.gz
  为了安全起见,建立squid运行的用户及组

  useradd squid -M -c "Squid user" -d /dev/null -s /sbin/nologin
  tar zxvf squid-3.0.STABLE2.tar.gz
  cd squid-3.0.STABLE2
  ./configure --prefix=/usr/local/squid3 --disable-carp --with-aufs-threads=32 --with-pthreads --enable-storeio='ufs,aufs,coss,null' --enable-disk-io='AIO,Blocking' --enable-removal-policies='heap,lru'
  --disable-wccp --enable-kill-parent-hack --disable-snmp --disable-poll --disable-select --enable-auth=basic --with-aio
  --disable-ident-lookup --with-filedescriptors=65536

  编译参数:

  --prefix=/usr/local/squid3 :指定安装路径 为便于管理
  --enable-poll :提升性能
  --enable-snmp :此选项可以让MRTG使用SNMP协议对服务器的流量状态进行监测,因此必须选择此项,使Squid支持SNMP接口。
  --enable-storeio=ufs,null #使用的文件系统通常是默认的ufs,不过如果想要做一个不缓存任何文件的代理服务器,就需要加上null文件系统。

  其它的参数等待大家来解释。HOHO ~
  make;make install
  安装完毕。
2.配置

  注意:squid 的配置文件在:/usr/local/squid3/etc/squid.conf
  这里是最重要的,也是最难的。

  • http_port 80 #选项 http_port 指定squid监听HTTP请求的端口,一般都设置成80端口,这样使用户感觉不到反向代理的存在,就像访问真正的WEB服务器一样。
  • cache_mem 128 MB #共享内存大小(squid在提供服务的时候所使用的内存)
  • maximum_object_size_in_memory 512 KB #最大内存缓存OBJECT值~如果超过则不再内存中缓存~而存入IO中!
  • memory_replacement_policy lru #替换机制 (lru叫做 最近不常用的单元 unit一般就是常说的object 也就是当cache中的内容比如内存或硬盘达到上限时的 那么就需要进行数据的换进和换出工作)
  • cache_dir null /tmp #cache_dir存储cache内容也就是object的物理存放点
  • cache_dir ufs /tmp1 10000 16 256 (/tmp size L1 L2) #10G其中1层目录16个 并且每个1层目录下又有256个2层目录[或者说子目录]

  ufs是一种文件存储方式 因为os一般都是从内存获取数据 那么内存的东西必须最后写的硬盘上~
  sync 同步的时候用的ufs 那么squid也是一样
  ufs一般是同时写入内存和硬盘
  注意:size是按照M为单位的也就这个目录中最大存储容量的上限

  • max_open_disk_fds 0
  • minimum_object_size 0 KB
  • maximum_object_size 4096 KB
  • logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt

#设置access_log中日志存储的格式~

  • access_log /usr/local/squid3/var/logs/access.log squid
  • access_log为客户端请求的日志
  • cache_log /usr/local/squid3/var/logs/cache.log

#为squid自身的运行日志

  • pid_filename /usr/local/squid3/var/logs/squid.pid

#此三项是设置PID和日志文件位置

  • cache_store_log none 不记录store.log
  • visible_hostname liuyu.blog.51cto.com #liuyu.blog.51cto.com 只是标签 有利于检查是否你的那台设备在提供服务!
  • cache_peer 192.168.1.53 parent 80 0 no-query round-robin max-conn=32 originserver # squid2.5以上都是用的cache_peer来指定所需要代理的服务器的IP 这一点很重要! 由于本例squid 与web 不在同一服务器,因此需要cache_peer 指定相应WEB服务器IP
  • acl all src 0.0.0.0/0.0.0.0
  • acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
  • cache deny QUERY
  • cache_effective_user squid
  • cache_effective_group squid

  在这里我所以的日志都记录在:/usr/local/squid3/var/logs里
  给目录相应的权限
  chmod 666 -R /usr/local/squid3/var/logs
  chown squid:squid -R /usr/local/squid3/var/logs

  保存配置!

3.测试配置是否正确

  # /usr/local/squid2/sbin/squid -k parse
  出现ERROR:
  WARNING: Cannot write log file: /usr/local/squid3/var/logs/cache.log
  /usr/local/squid3/var/logs/cache.log: Permission denied
  messages will be sent to 'stderr'.
  2008/03/13 12:53:09| Creating Swap Directories
  FATAL: Failed to make swap directory /usr/local/squid3/var/cache: (13) Permission denied

  很明显权限不对,修改后测试通过!

  /usr/local/squid2/sbin/squid -z
  -z Create swap directories 是创建SWAP目录的! 也就是cache_dir 中的目录
  相关的调试命令:
  http://bbs.chinaunix.net/thread-960422-1-1.html

4.启动squid

  /usr/local/squid3/sbin/squid -Nd1
  ps aux |grep squid 查看是否启动

5.测试访问WEB站点

  本机hosts 文件指向squid代理服务器
  出现ERROR:
  Access Denied.
  访问拒绝
  Access control configuration prevents your request from being allowed at this time. Please contact your service provider if

  you feel this is incorrect.
  当前的存取控制设定禁止您的请求被接受,如果您觉得这是错误的,请与您网路服务的提供者联系。
  本缓存服务器管理员:webmaster

  配置文件设置不对:
  acl all src 0.0.0.0/0.0.0.0
  http_access allow all

  重新测试:OK 一切正常~~~
  查看相应日志一切正常。

四. 配置squid 是方便web进行切换,至于dns,mysql,mail切换文章请大家期待。

  总体来说,squid 配置不是很麻烦,主要是配置文件里的每一项,对服务器的产生的影响非常的重要。细节决定成功。

实例二

http://deidara.blog.51cto.com/400447/87198/
Proxy是使用非常普遍的一种将局域网主机联入互联网的一种方式,使用代理上网可以节约紧缺的IP地址资源,而且可以阻断外部主机对内部主机的访问,使内部网主机免受外部网主机的攻击。但是,如果想让互联网上的主机访问内部网的主机资源(例如:Web站点),又想使内部网主机免受外部网主机攻击,一般的代理服务是不能实现的,需要使用反向代理来实现。
  本文将详细介绍反向代理服务的概念以及如何利用反向代理服务器提高WEB服务器的性能和安全性。
  一.反向代理的概念
  什么是反向代理呢?其实,反向代理也就是通常所说的WEB服务器加速,它是一种通过在繁忙的WEB服务器和Internet之间增加一个高速的WEB缓冲服务器(即:WEB反向代理服务器)来降低实际的WEB服务器的负载。典型的结构如下图所示:

Web服务器加速(反向代理)是针对Web服务器提供加速功能的。它作为代理Cache,但并不针对浏览器用户,而针对一台或多台特定Web服务器(这也是反向代理名称的由来)。实施反向代理(如上图所示),只要将Reverse Proxy Cache设备放置在一台或多台Web服务器前端即可。当互联网用户访问某个WEB服务器时,通过DNS服务器解析后的IP地址是Reverse Proxy Server的IP地址,而非原始Web服务器的IP地址,这时Reverse Proxy Server设备充当Web服务器,浏览器可以与它连接,无需再直接与Web服务器相连。因此,大量Web服务工作量被卸载到反向代理服务上。不但能够防止外部网主机直接和web服务器直接通信带来的安全隐患,而且能够很大程度上减轻web服务器的负担,提高访问速度。
  二. 反向代理和其它代理的比较
  下面将对几种典型的代理服务作一个简单的比较。在网络上常见的代理服务器有三种:
  1. 标准的代理缓冲服务器
  一个标准的代理缓冲服务被用于缓存静态的网页(例如:html文件和图片文件等)到本地网络上的一台主机上(即代理服务器)。当被缓存的页面被第二次访问的时候,浏览器将直接从本地代理服务器那里获取请求数据而不再向原web站点请求数据。这样就节省了宝贵的网络带宽,而且提高了访问速度。但是,要想实现这种方式,必须在每一个内部主机的浏览器上明确指明代理服务器的IP地址和端口号。客户端上网时,每次都把请求送给代理服务器处理,代理服务器根据请求确定是否连接到远程web服务器获取数据。如果在本地缓冲区有目标文件,则直接将文件传给用户即可。如果没有的话则先取回文件,先在本地保存一份缓冲,然后将文件发给客户端浏览器。
  2. 透明代理缓冲服务器
  透明代理缓冲服务和标准代理服务器的功能完全相同。但是,代理操作对客户端的浏览器是透明的(即不需指明代理服务器的IP和端口)。透明代理服务器阻断网络通信,并且过滤出访问外部的HTTP(80端口)流量。如果客户端的请求在本地有缓冲则将缓冲的数据直接发给用户,如果在本地没有缓冲则向远程web服务器发出请求,其余操作和标准的代理服务器完全相同。对于Linux操作系统来说,透明代理使用Iptables或者Ipchains实现。因为不需要对浏览器作任何设置,所以,透明代理对于ISP(Internet服务器提供商)特别有用。
  3. 反向代理缓冲服务器
  反向代理是和前两种代理完全不同的一种代理服务。使用它可以降低原始WEB服务器的负载。反向代理服务器承担了对原始WEB服务器的静态页面的请求,防止原始服务器过载。它位于本地WEB服务器和Internet之间,处理所有对WEB服务器的请求,组织了WEB服务器和Internet的直接通信。如果互联网用户请求的页面在代理服务器上有缓冲的话,代理服务器直接将缓冲内容发送给用户。如果没有缓冲则先向WEB服务器发出请求,取回数据,本地缓存后再发送给用户。这种方式通过降低了向WEB服务器的请求数从而降低了WEB服务器的负载。
三.反向代理工作原理
  反向代理服务器位于本地WEB服务器和Internet之间,如下图所示:

当用户浏览器发出一个HTTP请求时,通过域名解析将请求定向到反向代理服务器(如果要实现多个WEB服务器的反向代理,需要将多个WEB服务器的域名都指向反向代理服务器)。由反向代理服务器处理器请求。反向代理一般只缓存可缓冲的数据(比如html网页和图片等),而一些CGI脚本程序或者ASP之类的程序不缓存。它根据从WEB服务器返回的HTTP头标记来缓冲静态页面。有四个最重要HTTP头标记:
Last-Modified: 告诉反向代理页面什么时间被修改
Expires: 告诉反向代理页面什么时间应该从缓冲区中删除
Cache-Control: 告诉反向代理页面是否应该被缓冲
Pragma: 告诉反向代理页面是否应该被缓冲.
  例如:在默认情况下,ASP页面返回” Cache-control: private.” ,所以ASP页面时不会在反向代理服务器缓存的
  四.代理服务器软件squid简介
  Squid Internet Object Cache (Harvest Project的后续版本) 是美国政府大力助的一项研究计划,其目的为解决网络带宽不足的问题,是现在Unix系统上使用者最多功能也最完整的一套软体。Apache和Netscape虽附有相关的Proxy模块,但因其功能简单而不够普及。有关squid的详细说明可到squid网站([url]http://www.squid-cache.org[/url])查询。
Squid最典型的应用是代理局域网的机器联入互联网,它支持现在流行的网络协议。Squid的另一项非常出色的功能就是实现反向代理功能。

五.使用Squid配置反向代理(HTTP 加速器)
  通过squid配置反向代理主要就是配置“squid.conf”这个配置文件。下面以Linux操作系统为例进行介绍,其它版本的在UNIX也同样适用。在Linux中squid如果是以源代码方式安装的话,这个文件一般在“/usr/local/squid/etc/”目录下。如果是系统自带的squid,一般配置文件在“/etc/squid/”目录下。

  1. Squid反向代理单个后台WEB服务器
  如果WEB服务器和反向代理服务器是两台单独的机器(一般的反向代理应该有两块网卡分别连接了内外部网络)。那么,应该修改下面的内容来设置反向代理服务。

http_port 80 # squid监听的端口
cache_peer 192.168.6.101 parent 80 0 no-query originserver 如果WEB服务器和反向代理服务器是同一台机器。

那么,应该设置WEB服务器的监听端口为非80端口(比如:81端口)。要修改的内容如下:

cache_peer 192.168.6.101 parent 81 0 no-query originserver

   
  我们可以用Squid反向代理多个后台WEB服务器。例如:我们可以配置squid同时反向代理www.abc.com, www.xyz.com, www.lmn.com 三个后台WEB服务器

Squid的配置如下:
cache_peer 192.168.6.101 parent 80 0 no-query originserver
#cache_peer 192.168.1.55 parent 80 0 no-query originserver name=my55
#cache_peer 192.168.1.88 parent 80 0 no-query originserver name=my88
#cache_peer_domain master .xxx1.com .xxx2.com .xxx3.cn .xxx4.com .xxx5.cn .xxx6.com .xxx7.cn
#cache_peer_domain my55 test.xxx8.com
#cache_peer_domain my88 test2.xxx8.co

  使三个域名都指向反向代理服务器的IP地址202.102.240.74。
下面设置反向代理所需要的DNS入口信息(即设置内部DNS,仅仅是squid在内部使用,Internet用户不可见)。有两种方法可以设置内部DNS,使用内部DNS服务器来解析或者使用/etc/hosts文件来实现。

  结论
  通过本文中的论述和相关实例,可以看出,反向代理方式不单是一种WEB服务器加速器,而且使也一种对外提供Web发布时使用的有效的防火墙技术,使用它不但能节约紧缺的IP地址资源,加速WEB服务器的访问速度,而且能够保护WEB主机,因此能够适应多种应用场合。

再此贴一下我简单的配置,高手请高抬贵手不要乱骂人。。哈哈
cache_mem 256 MB
cache_dir ufs /squid2/cache0 2048 16 256
half_closed_clients off
cache_swap_low 95
cache_swap_high 98
maximum_object_size 4096 KB
minimum_object_size 0 KB
maximum_object_size_in_memory 8 KB
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
cache_swap_log /var/log/squid/swap.log
logfile_rotate 3
http_port 192.168.6.5:80 vhost vport
cache_vary on
#url_rewrite_host_header on
#acl OverConnLimit maxconn 50
#http_access deny OverConnLimit
acl Manager proto cache_object
acl Localhost src 127.0.0.1 192.168.6.101
http_access allow Manager Localhost
http_access deny Manager
acl all src 0/0
acl LAN src 192.168.6.0/24
acl manager proto cache_object
acl Safe_ports port 80

http_access allow LAN
http_access deny !Safe_ports
http_access allow all
visible_hostname xxx1.com
cache_mgr moc.1xxx|toor#moc.1xxx|toor
cache_effective_user squid
cache_effective_group squid
tcp_recv_bufsize 65535 bytes
acl QUERY urlpath_regex cgi-bin .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
cache deny QUERY
cache_peer 192.168.6.101 parent 80 0 no-query originserver
#cache_peer 192.168.1.55 parent 80 0 no-query originserver name=my55
#cache_peer 192.168.1.88 parent 80 0 no-query originserver name=my88
#cache_peer_domain master .xxx1.com .xxx2.com .xxx3.cn .xxx4.com .xxx5.cn .xxx6.com .xxx7.cn
#cache_peer_domain my55 test.xxx8.com
#cache_peer_domain my88 test2.xxx8.com
error_directory /usr/local/etc/squid/errors/Simplify_Chinese
#icp_port 0

squid 反向代理的終點

来源: ChinaUnix博客  日期: 2008.01.22 16:35 (共有条评论) 我要评论
http://linux.chinaunix.net/techdoc/system/2008/01/22/977257.shtml

Tool: squid-2.6.STABLE6-4.el5

有两个网络:公司内部私有网络:192.168.1.0/24;Internet外部网络:10.66.0.0/24。
公司内部网络有两个服务器:
Server A提供两种服务,端口81提供服务1,端口82提供服务2。
Server B提供一种服务,通过端口80来提供服务。
Squid作为公司内部服务器的反向代理,两块网卡,其IP分别是:eth0: 10.66.0.80(接Internet外部网络);eth1:192.168.1.200(接公司内部私有网络)。
Internet外部网络通过Squid代理服务器,访问公司内部服务器。例如,Client 10.66.0.174,它不能直接访问公司内部服务器,而是通过Squid访问公司内部服务器。
外部网络客户端访问公司内部网络服务器的流程,举个例子,如下:
首先,在 Client端修改 /etc/hosts文件,添加如下三行:
10.66.0.80 www.serverA1.com www
10.66.0.80 www.serverA2.com www
10.66.0.80 www.serverB.com www
注:添加这三行,目的是为了让客户端能够解析这三个域名(www.serverA1.com www.serverA2.com www.serverB.com),其对应IP为10.66.0.80(squid反向代理服务器的IP)
这里,Squid反向代理服务器监听端口:8000 (默认是:3128)
在客户端,打开浏览器,在浏览器地址栏输入: www.serverA1.com:8000
客户端发出这个请求后,到最后收到数据的整个流程:

Phase 1:这里客户端在浏览器地址栏输入: www.serverA1.com:8000 通过Client本地 /etc/hosts 解析,域名www.serverA1.com对应的 IP 是10.66.0.80(Squid反向代理服务器),于是客户端向 Squid 反向代理服务器端口8000发送请求。
注:在客户端浏览器地址栏输入: www.serverA1.com:8000 和 http://10.66.0.80:8000 是不一样的,虽然都是请求 Squid 反向代理服务器 8000端口,但它们有本质的区别。如果通过 IP 方式 http://10.66.0.80:8000 访问 Squid 服务器,则不能实现让 Squid服务器对内部网络多个服务器作代理,此时 Squid 只能将客户端的请求向内部网络的“一个”服务器作请求。为了实现 Squid 能对内部网络多个服务器作代理,需要使用域名方式,例如这里的 www.serverA1.com:8000,Squid 服务器收到这样的请求后,它会解析 Host 是 www.serverA1.com ,在 配置 Squid 时,有两个选项,cache_peer 和 cache_peer_domain,这两个配置项让 Squid 有能力知道 www.serverA1.com 这个请求最终是想访问公司内部网络服务器A(Server A)的 81 端口,从而实现了 Squid 对内部多个服务器作代理的功能需求。(关于 cache_peer和 cache_peer_domain的使用见后文)。
Phase 2:如上所述, Squid 服务器收到客户端发来的请求,一看是 www.serverA1.com。Squid知道接下来去请求公司内部网络服务器A(Server A)的 81端口。
Phase 3:Server A 提供的服务1(Service 1)监听端口 81,收到 Squid 发送过来的请求,于是根据请求发送相应数据给 Squid 服务器。
Phase 4: Squid 收到服务器A(Server A)从端口81发送过来的数据后,会将该数据在本地缓存,同时将数据从自己的 8000 端口发送给外部网络的客户端。
上面四个步骤结束后,客户端就会收到所希望的数据。
值得说明的是:在整个过程中,公司内部网络的服务器对客户端是透明的,即客户端并不知道内部网络究竟有哪些服务器,提供哪些服务。客户端仅仅是访问 Squid 服务器的8000端口,然后获得相应的数据。
理解上面 Squid 作代理,客户端的请求流程后,下面介绍 Squid 的一些配置项 ( squid.conf )
注:以下内容是 Squid 一些基本配置项的说明,其中重点解释给多个服务器作代理所涉及的配置项。需要读者对 Squid 有一些基本的认识,另外关于 Squid 还有很多没提到的配置项,有些配置项是直接影响 Squid 服务器的性能,这里不作说明。
Let’s begin:)
http_port 8000 vhost # Squid 服务器监听本机 8000 端口,vhost 支持虚拟主机。
cache_peer 192.168.1.50 parent 81 0 no-query originserver weight=1 name=a
cache_peer 192.168.1.50 parent 82 0 no-query originserver weight=1 name=b
cache_peer 192.168.1.51 parent 80 0 no-query originserver weight=1 name=c
cache_peer_domain a www.serverA1.com
cache_peer_domain b www.serverA2.com
cache_peer_domain c www.serverB.com
#以上六行配置,让 Squid 服务器知道:
#从客户端过来的请求,如果是 www.serverA1.com,则 Squid 向 ServerA 192.168.1.50 的端口 81发送请求;
#从客户端过来的请求,如果是 www.serverA2.com,则 Squid 向 ServerA 192.168.1.50 的端口 82发送请求;
#从客户端过来的请求,如果是 www.serverB.com,则 Squid 向 ServerA 192.168.1.50 的端口 80发送请求;
cache_dir ufs /squid_cache 256 16 256 #指定 Squid 服务器存放数据的目录
acl all src 0.0.0.0/0.0.0.0
http_access allow all
cache_peer_access a allow all
cache_peer_access b allow all
cache_peer_access c allow all
#设置访问权限,允许所有外部客户端访问 a b c(我们定义的三个虚拟主机)
其它配置项默认即可。
注: squid-2.6.STABLE6-4.el5的主配置文件 /etc/squid/squid.conf有四千多行,其中大部分的是注释,应该说根据这个配置文件配置一个基本的代理服务器(正向、反向)比较容易。 我在配置过程中,遇到的主要问题是不知道如何让 Squid对多个服务器作反向代理(不同IP对应的服务器,同一IP不同端口对应的服务 器),在查阅一些文档,做了很多实验后,才做成。其关键配置项就是这两个指令: cache_peer 和 cache_peer_domain。这两个指令也是 squid-2.6 和 squid-2.5的主要区别之一(红帽 RHLE4集成的是 Squid-2.5,RHEL5集成的是Squid-2.6)。在 squid-2.5中,反向代理所涉及到的关键配置指令是:httpd_accel_host, httpd_accel_port, httpd_accel_single_host, httpd_accel_with_proxy, httpd_accel_uses_host_header。httpd_accel_*这一系列的指令,在Squid-2.6中都已经去掉,取而带之的 是 cache_peer, cache_peer_domain, cache_peer_access 这三个指令。