anyproxy的docker化

由于项目上的需要,需要抓包分析app的请求的url特征,因而就需要在手机上配置代理服务器,项目组的同事一直都是使用fiddle或者wireshark来分析app的请求url,代理服务器则是使用带有无线网卡的电脑提供热点来作为代理服务器或者监听网关。 这种模式需要每个同事都要有安装配置一套环境,会有很多的不便。经过查找资料,得知anyproxy能够满足抓取app的请求url的需求,但是目前anyproxy无法区分多台使用anyproxy代理的设备,无法多个设备使用同一个anyproxy代理服务器。 docker可以很方便的把不同的进程隔离,可以快速的启动不同的代理服务器,于是决定使用docker起多个anyproxy代理服务器的实例。 anyproxy的docker化中遇到了不少问题,这里做个记录: 首先找到一个anyproxy-docker 使用命令 docker run ...

使用netty构建http服务器

近期需要对得到的搜索关键词做敏感词过滤,本来的想法是自己通过建立敏感词库,然后通过本地词库的匹配来实现,但是查询的效率上不好保证,通过在网上查询找到海鸥api可以实现,由于是在公网上查询,并且查询量也比较大,就考虑把查询过的敏感词存储到hbase中,下次查询如果在hbase中命中的话,就不用频繁调用api去查询了。 使用netty作为服务端接受传递的字符串,首先去hbase中查询,如果命中,直接返回包含敏感词,如果hbase中没有命中,就调用海鸥的接口查询,返回不包含敏感词就返回不包含敏感词,如果返回包含敏感词,解析返回的结果把敏感词存储到hbase中,返回包含敏感词。 ...

ubuntu安装scrapy需要的依赖

ubuntu安装必要的编译环境是apt-get install build-essential()(centos是 yum groupinstall "Development Tools") ubuntu直接使用pip install scrapy会出现twisted/test/raiser.c:4:20: fatal error: ...

angularjs传递json形式参数的问题

在使用angularjs内置的$http的服务时,在js中还是像往常使用jquery的$.ajax的方式在data中放置json对象发送到后台的时候,在spring controller的方法中接收不到js传递过来的参数。 通过查询资料得知,使用$.ajax方法向后台发送请求的时候使用的Content-Type是application/x-www-form-urlencoded;charset=utf-8,然而angularjs的$http请求使用的Content-Type是application/json;charset=utf-8,因此在controller中使用HttpRequestServlet中的request.getParam方法的使用获取不到传递的参数。 有两种方法可以解决这个问题: ...