yoursunny blog
computer, Internet, and life

如何使用FiddlerCap抓取网站访问记录

Junxiao Shi

感谢你汇报了有关我的网站或作品的一个问题。为了定位你的问题原因、并尽快解决这个问题，我请求你根据下列步骤抓取一份网站访问记录。

  1. 下载FiddlerCap，并保存在桌面上
  2. 请关闭除了本页之外的所有浏览器窗口或标签页
  3. 双击桌面上的FiddlerCapSetup.exe文件，单击Install按钮
    安装界面
  4. 安装完毕后，单击Close按钮
    安装完毕界面
    此时如果弹出0xc0000135错误，请下载安装.NET Framework 2.0
  5. 如果我要求你“抓取HTTPS流量”，请勾选Decrypt HTTPS traffic（弹出A note about HTTPS Decryption对话框请单击OK）；勾选此选项后，浏览器访问https网站时会弹出证书错误警告，请忽略那些警告
  6. 依次单击Clear Cookies、Clear Cache、1 Start Capture按钮
    主界面-未开始
  7. 如果你使用的浏览器不是IE，请手动将HTTP代理服务器设置成127.0.0.1、端口号8889
  8. 打开浏览器窗口，访问遇到问题的网页并进行必要的操作，使你汇报的问题再次出现
  9. 回到FiddlerCap窗口，依次单击2 Stop Capture、3 Save Capture按钮
    主界面-已抓取
  10. 在Save Session Capture to...对话框中，将网站访问记录.saz文件保存在桌面上
  11. 访问阳光男孩的网上名片查看我的Email地址，并把问题描述、截图、网站访问记录发送给我。
    阳光男孩尊重你的隐私，你提交的网站访问记录只会用于问题的定位和解决，不作其他用途。

说明：FiddlerCap是Eric Lawrence编写的HTTP访问记录抓取软件。 本文面向熟悉计算机基本操作的读者，介绍了该软件的基本使用方法，让你在汇报问题时提供更多信息，用于问题的定位和解决。

(read more)

用XSLT欣赏所有世博印章

Junxiao Shi

中国2010年上海世博会吸引了众人的关注，五彩缤纷的“世博印章”更是令人趋之若鹜。作为2010年世博会的两大创新项目之一的网上世博会的“我的护照”栏目，可以看到大部分场馆的世博印章图片。那么，能否一次性看到所有的世博印章呢？

用Fiddler观察网络流量可以得知：每个片区有一个xml配置文件包含了片区内各场馆的名称和代码。例如，A片区的xml配置文件是：

<!-- http://www.expo.cn/configs/tencent/azone.xml -->
<root>
<err>0</err>
<p>
    <pid>11100001</pid>
    <dis>A片区</dis>
    <cnname>中国国家馆</cnname>
    <code>z0001</code>
    <type>体验馆</type>
    <name>China Pavilion</name>
</p>
<p>
    <pid>11200011</pid>
    <dis>A片区</dis>
    <cnname>哈萨克斯坦馆</cnname>
    <code>c1050</code>
    <type>浏览馆</type>
    <name>Kazakhstan Pavilion</name>
</p>
<p>
    <pid>11200013</pid>
    <dis>A片区</dis>
    <cnname>沙特馆</cnname>
    <code>c1086</code>
    <type>体验馆</type>
    <name>Saudi Arabia Pavilion</name>
</p>
<p>
    <pid>11200025</pid>
    <dis>A片区</dis>
    <cnname>印度馆</cnname>
    <code>c1018</code>
    <type>浏览馆</type>
    <name>India Pavilion</name>
</p>
<!-- 以下省略 -->
</root>

而世博印章的图片URI，可以根据pid字段构造。例如，中国国家馆的印章URI是：http://www.expo.cn/images/HZ/11100001.png。

程序处理xml有很多种方法，其中一种好用的方法是XSLT。XSLT是一种声明性的、基于XML的语言，用于将一个或多个xml文档转换成另一些xml文档。XSLT经常被用于将xml数据转换成可以作为网页显示的html或xhtml文档。

(read more)

双层动态图片保护Email地址

Junxiao Shi
last updated

Email是最重要的通讯工具之一。滥发垃圾信息者会利用一切可能的通讯工具，把小广告送到你的手中。发送Email的成本极为低廉，使得Email倍受垃圾信息发送者的青睐。发送垃圾邮件的第一步，是收集足够多的有效电子邮件地址；而收集Email地址的方法，主要就是查询目录、使用网页爬虫两种。

通过查询目录收集Email地址，主要是查询各类电子黄页、网站备案资料、域名WHOIS信息等。例如WHOIS yoursunny.com，可以查询到域名注册者的Email地址（有些WHOIS结果页面会用各种方式保护Email地址，但大部分并不会进行保护）。根据规定，域名WHOIS信息必须包含有效的Email地址，因此规避这种收集的唯一方法是使用Private Domain Registration服务，令WHOIS信息中包含的Email地址不断变化。

使用网页爬虫收集Email地址，是指垃圾邮件发送者编写程序抓取互联网上的网页，在网页文本中提取形似Email地址的字符串。比如某网页包含了 someone@example.com 这个Email地址，爬虫程序抓取该网页时就可以用正则表达式找到这个地址。本文主要讨论针对这种收集方法的防范。

防范网页爬虫抓取Email地址的传统方法

使用变体Email地址

(read more)

SNS社交平台的核心技术架构

Junxiao Shi

SNS（Social Networking Sites），是一类用户可以自己发布信息、与别人互动并分享个人或职业兴趣的网站。知名的SNS网站有Facebook、MySpace、人人网(校内网)、开心网等。

运营一个SNS并不容易，需要用户体验研究、艺术设计、前端开发、后端架构、系统维护优化等技术人员，以及商务、公关、客服等非技术部门的通力配合。阳光男孩是技术人员，所以只谈技术。本文只想涉及SNS技术的一小部分：平台核心架构。所谓“平台核心架构”，我说的是SNS网站最基础、最核心的部分。与“操作系统”对比，SNS的平台核心架构，就相当于操作系统的内核。阳光男孩认为，SNS平台的核心架构包括两块：应用接入、消息分发。

应用接入，让用户有事可做

完善、稳定的应用接入平台，让用户在SNS平台上有事可做。这里所说的“应用”，既包括第三方应用（比如开心农场、荣光医院、跑火车等各类游戏），也包括SNS网站自己推出的应用（比如日志、照片、相册等各种内置工具）。自有应用+第三方应用，约等于SNS网站上除了首页、个人主页、设置页面以外的所有页面。

SNS平台为接入应用提供的功能

(read more)