最新文章专题视频专题关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

python数据爬下来保存在哪里

来源:懂视网 责编:小采 时间:2020-11-03 23:14:08
文档

python数据爬下来保存在哪里

python数据爬下来保存在哪里:昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教程)python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己
推荐度:
导读python数据爬下来保存在哪里:昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教程)python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己

昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教程)

python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。

#coding=utf-8
import urllib.request
import re
import os
 
'''
Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据
urlopen 方法用来打开一个url
read方法 用于读取Url上的数据
'''
 
def getHtml(url):
 page = urllib.request.urlopen(url);
 html = page.read();
 return html;
 
def getImg(html):
 imglist = re.findall('img src="(http.*?)"',html)
 return imglist
 
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
 
if os.path.exists("D:/imags") == False:
 os.mkdir("D:/imags");
 
count = 0;
for url in imagesUrl:
 print(url)
 if(url.find('.') != -1):
 name = url[url.find('.',len(url) - 5):];
 bytes = urllib.request.urlopen(url);
 f = open("D:/imags/"+str(count)+name, 'wb');
 f.write(bytes.read());
 f.flush();
 f.close();
 count+=1;

经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。

注:上面的程序基于 python 3.5。python3 和 python2 还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。TEL:0731-84117792 E-MAIL:11247931@qq.com

文档

python数据爬下来保存在哪里

python数据爬下来保存在哪里:昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。 (推荐学习:Python视频教程)python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己
推荐度:
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top