云服务器架设游戏下载 最近由于工作原因接触到阿里云的服务,我需要实时获取所有的域名信息,用于对其进行扫描,因此写了一个自动化爬取脚本 给需要的人分享。 (阿里云有官···
云服务器架设游戏下载
最近由于工作原因接触到阿里云的服务,我需要实时获取所有的域名信息,用于对其进行扫描,因此写了一个自动化爬取脚本 给需要的人分享。
(阿里云有官方的demo,有兴趣的可以自己看一下,后面也会放链接,我只能说阿里味有点冲)
云服务器加短信包
1.基础准备
代码环境:python3 第三方库:阿里云sdk (pip install alibabacloud_alidns20150109==3.0.10)(无力吐槽的库名) 官方在线调试接口|文档:https://next.api.aliyun.com/api/Alidns/2015-01-09/DescribeDomainRecords2.获取client
首先你需要获取一个有效的key,指路
控制台 -> RAM 访问控制 ->创建密钥(右上角点击头像->accesskey管理也可以快捷进入),得到key后就可以正式开始编程了
importopenpyxl,requestsfromalibabacloud_alidns20150109.clientimportClientasAlidns20150109Clientfromalibabacloud_tea_openapiimportmodelsasopen_api_modelsfromalibabacloud_alidns20150109importmodelsasalidns_20150109_modelsfromalibabacloud_tea_utilimportmodelsasutil_models创建客户端 返回可用clientdefcreate_client(access_key_id: str,access_key_secret: str,)-> Alidns20150109Client:config = open_api_models.Config(必填,您的 AccessKey ID,access_key_id=access_key_id,必填,您的 AccessKey Secret,access_key_secret=access_key_secret ) config.endpoint =falidns.cn-hangzhou.aliyuncs.comreturnAlidns20150109Client(config)创建客户端,这里写的是最简单的方式,如果为了安全可以使用临时key+token的方式或写入配置文件的方式,详见官方文档。
函数前的import内容只包含本文后续的所有内容,在此只写一次。3.获取域名列表
苏州云服务器网络异常
阿里云可以通过接口直接获取域名的列表。
获取域名列表由于查询dns记录的数目可能会超过单次查询的上限 所以最好返回记录数量方便循环defget_domain_list(client):describe_domains_request=alidns_20150109_models.DescribeDomainsRequest()runtime=util_models.RuntimeOptions()resp=client.describe_domains_with_options(describe_domains_request, runtime)domain_list=[]fordomain in resp.body.domains.domain:domain_list.append([domain.domain_name,domain.record_count])returndomain_list阿里的接口返回的数据都是完全封装好的,所以我们不能直接通过常规的解析json的方式获取数据。这里我们额外返回了一个域名的解析记录数目是因为阿里云的sdk没有next指针之类的机制,需要手动计算数量来实现循环获取全部的解析记录返回的参数单条为[域名,解析记录长度]前三句都是阿里的官方调用模式,不清楚有啥改动方案,照写就行4.获取指定域名的全部解析记录
获取指定域名下的dns解析记录defget_domain_records(client,domain_list):lenth=0page_size=500 500是单条最大查询次数,可以自行调整 不影响输出结果record_list=[]whilelenth * page_size < domain_list[1] :describe_domain_records_request=alidns_20150109_models.DescribeDomainRecordsRequest(domain_name=domain_list[0],page_number=lenth+1,page_size=page_size)runtime=util_models.RuntimeOptions()resp=client.describe_domain_records_with_options(describe_domain_records_request, runtime)forrecord in resp.body.domain_records.record:record_list.append([record.rr+.+domain_list[0],record.type])lenth+= 1print(len(record_list))returnrecord_list单次查询的最大记录是500条,可以通过调整page_size这个参数来自行设置返回的rr为解析值,type为解析类型5.获取账号下的全部域名解析记录
获取所有域名下的全部dns解析记录defget_all_domain_records(client):domain_list=get_domain_list(client)record_list=[]fordomain_name in domain_list:record_list.extend(get_domain_records(client,domain_name))returnrecord_list6.获取指定的DNS解析记录
record_type = [A,AAAA,"CNAME"]根据想要的dns记录筛选最终数据defget_dns_records_by_type(dns_records, record_type):final_dns_records =[]forrecordindns_records:ifrecord[1]inrecord_type: final_dns_records.append(record)returnfinal_dns_records7.测试网站能否正常访问
由于部分cname本身并不是有效域名 只是一个单纯转发,且dns解析上无法判断解析记录是否公网开放,所以需要进行测试。这里提供一个简单的方案 就是直接发起request请求,如果有响应则证明解析有效。
测试网站是否能访问def test_web_alive(dns_records): web_list = [] dns_list =set()fordnsindns_records: dns_list.add(dns[0]) print(len(dns_list))fordnsindns_list: try: response = requests.get("https://"+dns) web_list.append([dns,response.status_code,aliyun])except: web_list.append([dns,cant reach,aliyun])returnweb_list将测试结果存到excel中defsave_dns_to_xlsx(web_list,path): workbook = openpyxl.load_workbook(path) sheet =workbook["Sheet1"]默认存到第一页forindex,dnsinenumerate(web_list): sheet.cell(row=index+2,column=1).value = dns[0] sheet.cell(row=index+2,column=2).value = dns[1] sheet.cell(row=index+2,column=3).value = dns[2] workbook.save(path)如果有问题,欢迎留言咨询~
苹果贵州服务器云空间
您好:云优数据云计算 www.yunyoushuju.cn 2核2G6M最低19.9元/月 欢迎开机

发表评论
最近发表
标签列表