花费一天的时间,爬取了codeforces、vjudge、蓝桥云课、洛谷、牛客竞赛的AC数量。

杭电打不开,所以没有去弄(老OJ了,应该好爬一些)

codeforces:非常简单的爬取,直接通过单独的用户页面就可以访问到所有的信息。

vjudge:同codeforces

洛谷:洛谷采用前后端分离。但是洛谷的json很容易就能看到。大概就是用一些奇怪的%和数字来表示了某一些特殊符号。本来想着先解码出来再弄。很明显不需要解码。因为数字和字母部分并没有加密。看了舍友的思路(直接暴力裁剪),我也就暴力了。

蓝桥云课:蓝桥云课必须要登录后才能够获取自己的做题情况。好在自己的AC数据本身就在页面中,先用cookie登录并解析,再从页面中找到AC信息进行处理。

牛客竞赛:同codeforces

——————————————

以上是已经爬取的OJ

下面说说其他难以爬取的OJ

山理工:经过三个版本的更新迭代,实在是找不到数据所在的json。不管是排行榜页面还是个人页面,数据的获取都是在几个超长的json获取想要的数据。根本没法看。

蓝桥杯练习系统:和蓝桥云课同样的是也需要进行登录。但是登陆之后,就发现很不对劲。打开json随便看两眼,感觉是对每个赛题的状态进行了一次遍历,从而得到AC数量。这个要弄起来有点麻烦。

PTA:同样需要进行登录,没有着手去写。看了下json,感觉有点复杂,毕竟百腾弄的。

ACwing:没有做题统计,如果真要去实现AC数量,就要去遍历所有题的AC情况,难以实现。