02-函数和模块
02-函数和模块
小u第二模块 函数&模块
从今天开始，我们将进入系列课程第二模块的的学习。从今天开始，我们将进入系列课程第二模块的的学习。从今天开始，我们将进入系列课程第二模块的的学习。从今天开始，我们将进入系列课程第二模块的的学习。从今天开始，我们将进入系列课程第二模块的的学习。
第一模块主要是学习python基础知识，从第二模块开始就可以通过程序去解决工作中实际的问题。
从今天开始，我们将进入第二模块的学习，此模块主要包含两大部分：
函数，一个用于专门实现某个功能的代码块（可重用）。
内置函数
1
len、bin、oct、hex 等
自定义函数
1
2
3
4
5def send_email():
## 写了10行代码，实现了发送邮件。
pass
send_email()1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34## 定义了一个函数，功能代码块
def send_email():
## 写了10行代码，实现了发送邮件。
pass
goods = [
{"name": "电脑", "price": 1999},
{"name": "鼠标", "price": 10},
{"name": "游艇", "price": 20},
{"name": "美女", "price": 998}
]
for index in range(len(goods)):
item = goods[index]
print(index + 1, item['name'], item['price'])
## 调用并执行函数
send_email()
while True:
num = input("请输入要选择的商品序号(Q/q)：") ## "1"
if num.upper() == "Q":
break
if not num.isdecimal():
print("用输入的格式错误")
break
num = int(num)
send_email()
if num > 4 or num < 0:
print("范围选择错误")
break
target_index = num - 1
choice_item = goods[target_index]
print(choice_item["name"], choice_item['price'])
send_email()
模块，集成了很多功能的函数集合。
内置模块，Python内部帮助我们提供好的。
1
2
3import random
num = random.randint(0,19)1
2
3
4
5
6import decimal
v1 = decimal.Decimal("0.1")
v2 = decimal.Decimal("0.2")
v3 = v1 + v2
print(v3) ## 0.3第三方模块，网上下载别人写好的模块（功能集合）。
自定义模块
day09 文件操作相关
课程目标：掌握基于Python对文件相关操作。
课程概要：
- 文件操作
- 文件夹和路径
- csv格式文件
- ini格式文件
- xml格式文件
- excel文件
- 压缩文件
注意：每种格式包含很多相关操作，大家在学习的过程中只要掌握知识点的用法，参考笔记可以实现相关的练习即可，不必背会（在企业开发过程中也是边搜边实现。
1. 文件操作
在学习文件操作之前，先来回顾一下编码的相关以及先关数据类型的知识。
字符串类型（str），在程序中用于表示文字信息，本质上是unicode编码中的二进制。
1
name = "武沛齐"
字节类型（bytes）
可表示文字信息，本质上是utf-8/gbk等编码的二进制（对unicode进行压缩，方便文件存储和网络传输。）
1
2
3
4
5
6name = "武沛齐"
data = name.encode('utf-8')
print(data) ## b'\xe6\xad\xa6\xe6\xb2\x9b\xe9\xbd\x90'
result = data.decode('utf-8')
print(result) ## "武沛齐"可表示原始二进制（图片、文件等信息）
1.1 读文件
读文本文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16## 1.打开文件
## - 路径：
## 相对路径：'info.txt'
## 绝对路径：'/Users/wupeiqi/PycharmProjects/luffyCourse/day09/info.txt'
## - 模式
## rb，表示读取文件原始的二进制（r, 读 read；b, 二进制 binary；）
## 1.打开文件
file_object = open('info.txt', mode='rb')
## 2.读取文件内容，并赋值给data
data = file_object.read()
## 3.关闭文件
file_object.close()
print(data) ## b'alex-123\n\xe6\xad\xa6\xe6\xb2\x9b\xe9\xbd\x90-123'
text = data.decode("utf-8")
print(text)1
2
3
4
5
6
7
8
9
10## 1.打开文件
file_object = open('info.txt', mode='rt', encoding='utf-8')
## 2.读取文件内容，并赋值给data
data = file_object.read()
## 3.关闭文件
file_object.close()
print(data)读图片等非文本内容文件。
1
2
3
4
5file_object = open('a1.png', mode='rb')
data = file_object.read()
file_object.close()
print(data) ## \x91\xf6\xf2\x83\x8aQFfv\x8b7\xcc\xed\xc3}\x7fT\x9d{.3.\xf1{\xe8\...
注意事项：
路径
相对路径，你的程序到底在哪里运行的？
绝对路径
1
2
3
4
5
6## 1.打开文件
file_object = open('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/info.txt', mode='rt', encoding='utf-8')
## 2.读取文件内容，并赋值给data
data = file_object.read()
## 3.关闭文件
file_object.close()windows系统中写绝对路径容易出问题：
1
2
3
4
5
6## file_object = open('C:\\new\\info.txt', mode='rt', encoding='utf-8')
file_object = open(r'C:\new\info.txt', mode='rt', encoding='utf-8')
data = file_object.read()
file_object.close()
print(data)读文件时，文件不存在程序会报错。
1
2
3
4Traceback (most recent call last):
File "/Users/wupeiqi/PycharmProjects/luffyCourse/day09/2.读文件.py", line 2, in <module>
file_object = open('infower.txt', mode='rt', encoding='utf-8')
FileNotFoundError: [Errno 2] No such file or directory: 'infower.txt'1
2
3
4
5
6
7
8
9
10
11
12
13
14
15## 判断路径是否存在？
import os
file_path = "/Users/wupeiqi/PycharmProjects/luffyCourse/day09/info.txt"
exists = os.path.exists(file_path)
if exists:
## 1.打开文件
file_object = open('infower.txt', mode='rt', encoding='utf-8')
## 2.读取文件内容，并赋值给data
data = file_object.read()
## 3.关闭文件
file_object.close()
print(data)
else:
print("文件不存在")
1.2 写文件
写文本文件
1
2
3
4
5
6
7
8
9
10## 1.打开文件
## 路径：t1.txt
## 模式：wb（要求写入的内容需要是字节类型）
file_object = open("t1.txt", mode='wb')
## 2.写入内容
file_object.write( "武沛齐".encode("utf-8") )
## 3.文件关闭
file_object.close()1
2
3
4
5file_object = open("t1.txt", mode='wt', encoding='utf-8')
file_object.write("武沛齐")
file_object.close()写图片等文件
1
2
3
4
5
6
7f1 = open('a1.png',mode='rb')
content = f1.read()
f1.close()
f2 = open('a2.png',mode='wb')
f2.write(content)
f2.close()
基础案例：
1 | ## 案例1：用户注册 |
小高级案例：（超前）
利用Python想某个网址发送请求并获取结果（利用第三方的模块）
下载第三方模块
使用第三方模块
2
3
4
res = requests.get(url="网址")
print(res)
1 | ## 案例1：去网上下载一点文本，文本信息写入文件。 |
注意事项：
- 路径
- 绝对路径
- 相对路径
- 文件不存在时，w模式会新建然后再写入内容；文件存在时，w模式会清空文件再写入内容。
1.3 文件打开模式
上文我们基于文件操作基本实现了读、写的功能，其中涉及的文件操作模式：rt、rb、wt、wb，其实在文件操作中还有其他的很多模式。
1 | ========= =============================================================== |
关于文件的打开模式常见应用有：
只读：
r、rt、rb（用）- 存在，读
- 不存在，报错
只写：
w、wt、wb（用）- 存在，清空再写
- 不存在，创建再写
只写：
x、xt、xb- 存在，报错
- 不存在，创建再写。
只写：
a、at、ab【尾部追加】（用）- 存在，尾部追加。
- 不存在，创建再写。
读写
r+、rt+、rb+，默认光标位置：起始位置
1
2
3
4
5
6
7
8
9
10file_object = open('info.txt', mode='rt+')
## 读取内容
data = file_object.read()
print(data)
## 写入内容
file_object.write("你好呀")
file_object.close()1
2
3
4
5
6
7
8
9
10file_object = open('info.txt', mode='rt+')
## 写入内容
file_object.write("alex")
## 读取内容
data = file_object.read()
print(data) ## -123
file_object.close()w+、wt+、wb+，默认光标位置：起始位置（清空文件）
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17file_object = open('info.txt', mode='wt+')
## 读取内容
data = file_object.read()
print(data)
## 写入内容
file_object.write("你好呀")
## 将光标位置重置起始
file_object.seek(0)
## 读取内容
data = file_object.read()
print(data)
file_object.close()x+、xt+、xb+，默认光标位置：起始位置（新文件）
a+、at+、ab+，默认光标位置：末尾
1
2
3
4
5
6
7
8
9
10
11
12
13file_object = open('info.txt', mode='at+')
## 写入内容
file_object.write("武沛齐")
## 将光标位置重置起始
file_object.seek(0)
## 读取内容
data = file_object.read()
print(data)
file_object.close()
多用户注册案例：
1 | while True: |
1 | file_object = open('files/account.txt', mode='a') |
1.4 常见功能
在上述对文件的操作中，我们只使用了write和read来对文件进行读写，其实在文件操作中还有很多其他的功能来辅助实现更好的读写文件的内容。
read，读
读所有【常用】
1
2
3f = open('info.txt', mode='r',encoding='utf-8')
data = f.read()
f.close()1
2
3f = open('info.txt', mode='rb')
data = f.read()
f.close()读n个字符（字节）【会用到】
1
2
3
4
5
6f = open('info.txt', mode='r', encoding='utf-8')
## 读1个字符
data = f.read(1)
f.close()
print(data) ## 武1
2
3
4
5
6
7
8f = open('info.txt', mode='r',encoding='utf-8')
## 读1个字符
chunk1 = f.read(1)
chunk2 = f.read(2)
print(chunk1,chunk2)
f.close()1
2
3
4
5
6
7f = open('info.txt', mode='rb')
## 读1个字节
data = f.read(3)
f.close()
print(data, type(data)) ## b'\xe6\xad\xa6' <class 'bytes'>1
2
3
4
5
6
7
8
9f = open('info.txt', mode='rb')
## 读1个字节
chunk1 = f.read(3)
chunk2 = f.read(3)
chunk3 = f.read(1)
print(chunk1,chunk2,chunk3)
f.close()
readline，读一行
1
2
3
4
5
6
7
8
9f = open('info.txt', mode='r', encoding='utf-8')
v1 = f.readline()
print(v1)
v2 = f.readline()
print(v2)
f.close()1
2
3
4
5
6
7
8
9f = open('info.txt', mode='r', encoding='utf-8')
v1 = f.readline()
print(v1)
f.close()
f = open('info.txt', mode='r', encoding='utf-8')
v2 = f.readline()
print(v2)
f.close()readlines，读所有行，每行作为列表的一个元素
1
2
3
4
5
6
7f = open('info.txt', mode='rb')
data_list = f.readlines()
f.close()
print(data_list)循环，读大文件（readline加强版）【常见】
1
2
3
4f = open('info.txt', mode='r', encoding='utf-8')
for line in f:
print(line.strip())
f.close()write，写
1
2
3f = open('info.txt', mode='a',encoding='utf-8')
f.write("武沛齐")
f.close()1
2
3f = open('info.txt', mode='ab')
f.write( "武沛齐".encode("utf-8") )
f.close()flush，刷到硬盘
1
2
3
4
5
6
7
8f = open('info.txt', mode='a',encoding='utf-8')
while True:
## 不是写到了硬盘，而是写在缓冲区，系统会将缓冲区的内容刷到硬盘。
f.write("武沛齐")
f.flush()
f.close()1
2
3
4
5
6
7
8
9
10
11
12file_object = open('files/account.txt', mode='a')
while True:
user = input("用户名：")
if user.upper() == "Q":
break
pwd = input("密码：")
data = "{}-{}\n".format(user, pwd)
file_object.write(data)
file_object.flush()
file_object.close()移动光标位置（字节）
1
2
3
4
5
6
7f = open('info.txt', mode='r+', encoding='utf-8')
## 移动到指定字节的位置
f.seek(3)
f.write("武沛齐")
f.close()注意：在a模式下，调用write在文件中写入内容时，永远只能将内容写入到尾部，不会写到光标的位置。
获取当前光标位置
1
2
3
4
5
6
7
8
9
10
11f = open('info.txt', mode='r', encoding='utf-8')
p1 = f.tell()
print(p1) ## 0
f.read(3) ## 读3个字符 3*3=9字节
p2 = f.tell()
print(p2) ## 9
f.close()1
2
3
4
5
6
7
8
9
10
11f = open('info.txt', mode='rb')
p1 = f.tell()
print(p1) ## 0
f.read(3) ## 读3个字节
p2 = f.tell()
print(p2) ## 3
f.close()
1.5 上下文管理
之前对文件进行操作时，每次都要打开和关闭文件，比较繁琐且容易忘记关闭文件。
以后再进行文件操作时，推荐大家使用with上下文管理，它可以自动实现关闭文件。
1 | with open("xxxx.txt", mode='rb') as file_object: |
在Python 2.7 后，with又支持同时对多个文件的上下文进行管理，即：
1 | with open("xxxx.txt", mode='rb') as f1, open("xxxx.txt", mode='rb') as f2: |
练习题
补充代码：实现下载视频并保存到本地
1
2
3
4
5
6
7
8
9
10
11import requests
res = requests.get(
url="https://f.video.weibocdn.com/000pTZJLgx07IQgaH7HW010412066BJV0E030.mp4?label=mp4_720p&template=1280x720.25.0&trans_finger=1f0da16358befad33323e3a1b7f95fc9&media_id=4583105541898354&tp=8x8A3El:YTkl0eM8&us=0&ori=1&bf=2&ot=h&ps=3lckmu&uid=3ZoTIp&ab=3915-g1,966-g1,3370-g1,3601-g0,3601-g0,3601-g0,1493-g0,1192-g0,1191-g0,1258-g0&Expires=1608204895&ssig=NdYpDIEXSS&KID=unistore,video",
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}
)
## 视频的文件内容
res.content日志分析，计算某用户
223.73.89.192访问次数。日志文件如下：access.log1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1749.89.167.91 - - [17/Dec/2020:03:43:50 +0800] "GET /wiki/detail/3/40 HTTP/1.1" 301 0 "-" "Mozilla/5.0(Linux;Android 5.1.1;OPPO A33 Build/LMY47V;wv) AppleWebKit/537.36(KHTML,link Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 LieBaoFast/4.51.3" "-"
49.89.167.91 - - [17/Dec/2020:03:44:11 +0800] "GET /wiki/detail/3/40/ HTTP/1.1" 200 8033 "-" "Mozilla/5.0(Linux;Android 5.1.1;OPPO A33 Build/LMY47V;wv) AppleWebKit/537.36(KHTML,link Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 LieBaoFast/4.51.3" "-"
203.208.60.66 - - [17/Dec/2020:03:47:58 +0800] "GET /media/uploads/2019/11/17/pic/s1.png HTTP/1.1" 200 710728 "-" "Googlebot-Image/1.0" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /wiki/detail/3/40/ HTTP/1.1" 200 8033 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/stark/plugins/font-awesome/css/font-awesome.css HTTP/1.1" 200 37414 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/stark/plugins/bootstrap/css/bootstrap.css HTTP/1.1" 200 146010 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/web/css/commons.css HTTP/1.1" 200 3674 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/mdeditor/editormd/css/editormd.preview.css HTTP/1.1" 200 60230 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/stark/js/jquery-3.3.1.min.js HTTP/1.1" 200 86927 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/stark/plugins/bootstrap/js/bootstrap.min.js HTTP/1.1" 200 37045 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:26 +0800] "GET /static/mdeditor/editormd/lib/marked.min.js HTTP/1.1" 200 19608 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:27 +0800] "GET /static/mdeditor/editormd/lib/prettify.min.js HTTP/1.1" 200 17973 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:27 +0800] "GET /static/mdeditor/editormd/fonts/fontawesome-webfont.woff2?v=4.3.0 HTTP/1.1" 200 56780 "https://pythonav.com/static/mdeditor/editormd/css/editormd.preview.css" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:27 +0800] "GET /static/mdeditor/editormd/editormd.js HTTP/1.1" 200 163262 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:28 +0800] "GET /static/mdeditor/mdeditor-preview-init.js HTTP/1.1" 200 261 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:29 +0800] "GET /static/stark/plugins/font-awesome/fonts/fontawesome-webfont.woff2?v=4.7.0 HTTP/1.1" 200 77160 "https://pythonav.com/static/stark/plugins/font-awesome/css/font-awesome.css" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"
223.73.89.192 - - [17/Dec/2020:03:48:29 +0800] "GET /media/uploads/2019/02/22/Gobook/_book/ssl2.png HTTP/1.1" 200 203535 "https://pythonav.com/wiki/detail/3/40/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60" "-"日志分析升级，计算所有用户的访问次数。
筛选出股票 当前价大于 20 的所有股票数据。
1
2
3
4
5
6
7
8
9
10
11股票代码,股票名称,当前价,涨跌额,涨跌幅,年初至今,成交量,成交额,换手率,市盈率(TTM),股息率,市值
SH601778,N晶科,6.29,+1.92,+43.94%,+43.94%,259.66万,1625.52万,0.44%,22.32,-,173.95亿
SH688566,吉贝尔,52.66,+6.96,+15.23%,+122.29%,1626.58万,8.09亿,42.29%,89.34,-,98.44亿
SH688268,华特气体,88.80,+11.72,+15.20%,+102.51%,622.60万,5.13亿,22.87%,150.47,-,106.56亿
SH600734,实达集团,2.60,+0.24,+10.17%,-61.71%,1340.27万,3391.14万,2.58%,亏损,0.00%,16.18亿
SH900957,凌云B股,0.36,+0.033,+10.09%,-35.25%,119.15万,42.10万,0.65%,44.65,0.00%,1.26亿
SZ000584,哈工智能,6.01,+0.55,+10.07%,-4.15%,2610.86万,1.53亿,4.36%,199.33,0.26%,36.86亿
SH600599,熊猫金控,6.78,+0.62,+10.06%,-35.55%,599.64万,3900.23万,3.61%,亏损,0.00%,11.25亿
SH600520,文一科技,8.21,+0.75,+10.05%,-24.05%,552.34万,4464.69万,3.49%,亏损,0.00%,13.01亿
SH603682,锦和商业,11.73,+1.07,+10.04%,+48.29%,2746.63万,3.15亿,29.06%,29.62,-,55.42亿
SZ300831,派瑞股份,12.27,+1.12,+10.04%,+208.29%,25.38万,311.41万,0.32%,60.59,-,39.26亿根据要求修改文件的内容，原文件内容如下：
ha.conf1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30global
log 127.0.0.1 local2
daemon
maxconn 256
log 127.0.0.1 local2 info
defaults
log global
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
option dontlognull
listen stats :8888
stats enable
stats uri /admin
stats auth admin:1234
frontend oldboy.org
bind 0.0.0.0:80
option httplog
option httpclose
option forwardfor
log global
acl www hdr_reg(host) -i www.luffycity.org
use_backend www.luffycity.com if www
backend www.luffycity.com
server 100.1.7.9 100.1.7.9 weight 20 maxconn 3000
...请将文件中的
luffycity修改为pythonav。
2.csv格式文件
逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。
对于这种格式的数据，我们需要利用open函数来读取文件并根据逗号分隔的特点来进行处理。
1 | 股票代码,股票名称,当前价,涨跌额,涨跌幅,年初至今 |
练习题案例：下载文档中的所有图片且以用户名为图片名称存储。
1 | ID,用户名,头像 |
1 | import os |
3.ini格式文件
ini文件是Initialization File的缩写，平时用于存储软件的的配置文件。例如：MySQL数据库的配置文件。
1 | [mysqld] |
这种格式是可以直接使用open来出来，考虑到自己处理比较麻烦，所以Python为我们提供了更为方便的方式。
1 | import configparser |
读取所有节点
1
2
3
4
5
6
7
8
9
10import configparser
config = configparser.ConfigParser()
config.read('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/my.conf', encoding='utf-8')
## config.read('my.conf', encoding='utf-8')
ret = config.sections()
print(ret)
>>输出
['mysqld', 'mysqld_safe', 'client']读取节点下的键值
1
2
3
4
5
6
7
8
9
10import configparser
config = configparser.ConfigParser()
config.read('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/my.conf', encoding='utf-8')
## config.read('my.conf', encoding='utf-8')
item_list = config.items("mysqld_safe")
print(item_list)
>>输出
[('log-error', '/var/log/mariadb/mariadb.log'), ('pid-file', '/var/run/mariadb/mariadb.pid')]读取节点下值（根据 节点+键 ）
1
2
3
4
5
6
7
8
9
10import configparser
config = configparser.ConfigParser()
config.read('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/my.conf', encoding='utf-8')
value = config.get('mysqld', 'log-bin')
print(value)
>>输出
py-mysql-bin检查、删除、添加节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28import configparser
config = configparser.ConfigParser()
config.read('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/my.conf', encoding='utf-8')
## config.read('my.conf', encoding='utf-8')
## 检查
has_sec = config.has_section('mysqld')
print(has_sec)
## 添加节点
config.add_section("SEC_1")
## 节点中设置键值
config.set('SEC_1', 'k10', "123")
config.set('SEC_1', 'name', "哈哈哈哈哈")
config.add_section("SEC_2")
config.set('SEC_2', 'k10', "123")
## 内容写入新文件
config.write(open('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/xxoo.conf', 'w'))
## 删除节点
config.remove_section("SEC_2")
## 删除节点中的键值
config.remove_option('SEC_1', 'k10')
config.write(open('/Users/wupeiqi/PycharmProjects/luffyCourse/day09/files/new.conf', 'w'))
4.XML格式文件
可扩展标记语言，是一种简单的数据存储语言，XML 被设计用来传输和存储数据。
- 存储，可用来存放配置文件，例如：java的配置文件。
- 传输，网络传输时以这种格式存在，例如：早期ajax传输的数据、soap协议等。
1 | <data> |
注意：在Python开发中用的相对来比较少，大家作为了解即可（后期课程在讲解微信支付、微信公众号消息处理 时会用到基于xml传输数据）。
例如：https://developers.weixin.qq.com/doc/offiaccount/Message_Management/Receiving_standard_messages.html
4.1 读取文件和内容
1 | from xml.etree import ElementTree as ET |
1 | from xml.etree import ElementTree as ET |
4.2 读取节点数据
1 | from xml.etree import ElementTree as ET |
1 | from xml.etree import ElementTree as ET |
1 | from xml.etree import ElementTree as ET |
1 | from xml.etree import ElementTree as ET |
4.3 修改和删除节点
1 | from xml.etree import ElementTree as ET |
4.4 构建文档
1 | <home> |
1 | from xml.etree import ElementTree as ET |
1 | <famliy> |
1 | from xml.etree import ElementTree as ET |
1 | <famliy> |
1 | from xml.etree import ElementTree as ET |
1 | <user><![CDATA[你好呀]]</user> |
1 | from xml.etree import ElementTree as ET |
案例：
1 | content = """<xml> |
5.Excel格式文件
Python内部未提供处理Excel文件的功能，想要在Python中操作Excel需要按照第三方的模块。
1 | pip install openpyxl |
此模块中集成了Python操作Excel的相关功能，接下来我们就需要去学习该模块提供的相关功能即可。
5.1 读Excel
读sheet
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42from openpyxl import load_workbook
wb = load_workbook("files/p1.xlsx")
## sheet相关操作
## 1.获取excel文件中的所有sheet名称
"""
print(wb.sheetnames) ## ['数据导出', '用户列表', 'Sheet1', 'Sheet2']
"""
## 2.选择sheet，基于sheet名称
"""
sheet = wb["数据导出"]
cell = sheet.cell(1, 2)
print(cell.value)
"""
## 3.选择sheet，基于索引位置
"""
sheet = wb.worksheets[0]
cell = sheet.cell(1,2)
print(cell.value)
"""
## 4.循环所有的sheet
"""
for name in wb.sheetnames:
sheet = wb[name]
cell = sheet.cell(1, 1)
print(cell.value)
"""
"""
for sheet in wb.worksheets:
cell = sheet.cell(1, 1)
print(cell.value)
"""
"""
for sheet in wb:
cell = sheet.cell(1, 1)
print(cell.value)
"""读sheet中单元格的数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41from openpyxl import load_workbook
wb = load_workbook("files/p1.xlsx")
sheet = wb.worksheets[0]
## 1.获取第N行第N列的单元格(位置是从1开始）
"""
cell = sheet.cell(1, 1)
print(cell.value)
print(cell.style)
print(cell.font)
print(cell.alignment)
"""
## 2.获取某个单元格
"""
c1 = sheet["A2"]
print(c1.value)
c2 = sheet['D4']
print(c2.value)
"""
## 3.第N行所有的单元格
"""
for cell in sheet[1]:
print(cell.value)
"""
## 4.所有行的数据（获取某一列数据）
"""
for row in sheet.rows:
print(row[0].value, row[1].value)
"""
## 5.获取所有列的数据
"""
for col in sheet.columns:
print(col[1].value)
"""读合并的单元格
1
2
3
4
5
6
7
8
9
10
11
12
13
14from openpyxl import load_workbook
wb = load_workbook("files/p1.xlsx")
sheet = wb.worksheets[2]
## 获取第N行第N列的单元格(位置是从1开始）
c1 = sheet.cell(1, 1)
print(c1) ## <Cell 'Sheet1'.A1>
print(c1.value) ## 用户信息
c2 = sheet.cell(1, 2)
print(c2) ## <MergedCell 'Sheet1'.B1>
print(c2.value) ## None1
2
3
4
5
6from openpyxl import load_workbook
wb = load_workbook('files/p1.xlsx')
sheet = wb.worksheets[2]
for row in sheet.rows:
print(row)1
2
3
4
5
6>>> 输出结果
(<Cell 'Sheet1'.A1>, <MergedCell 'Sheet1'.B1>, <Cell 'Sheet1'.C1>)
(<Cell 'Sheet1'.A2>, <Cell 'Sheet1'.B2>, <Cell 'Sheet1'.C2>)
(<Cell 'Sheet1'.A3>, <Cell 'Sheet1'.B3>, <Cell 'Sheet1'.C3>)
(<MergedCell 'Sheet1'.A4>, <Cell 'Sheet1'.B4>, <Cell 'Sheet1'.C4>)
(<Cell 'Sheet1'.A5>, <Cell 'Sheet1'.B5>, <Cell 'Sheet1'.C5>)
5.1 写Excel
在Excel中想要写文件，大致要分为在：
原Excel文件基础上写内容。
1
2
3
4
5
6
7
8
9
10
11from openpyxl import load_workbook
wb = load_workbook('files/p1.xlsx')
sheet = wb.worksheets[0]
## 找到单元格，并修改单元格的内容
cell = sheet.cell(1, 1)
cell.value = "新的开始"
## 将excel文件保存到p2.xlsx文件中
wb.save("files/p2.xlsx")新创建Excel文件写内容。
1
2
3
4
5
6
7
8
9
10
11
12
13from openpyxl import workbook
## 创建excel且默认会创建一个sheet（名称为Sheet）
wb = workbook.Workbook()
sheet = wb.worksheets[0] ## 或 sheet = wb["Sheet"]
## 找到单元格，并修改单元格的内容
cell = sheet.cell(1, 1)
cell.value = "新的开始"
## 将excel文件保存到p2.xlsx文件中
wb.save("files/p2.xlsx")
在了解了如何读取Excel和创建Excel之后，后续对于Excel中的sheet和cell操作基本上都相同。
1 | from openpyxl import workbook |
1 | from openpyxl import load_workbook |
6.压缩文件
基于Python内置的shutil模块可以实现对压缩文件的操作。
1 | import shutil |
7.路径相关
7.1 转义
windows路径使用的是\，linux路径使用的是/。
特别的，在windows系统中如果有这样的一个路径 D:\nxxx\txxx\x1，程序会报错。因为在路径中存在特殊符 \n（换行符）和\t（制表符），Python解释器无法自动区分。
所以，在windows中编写路径时，一般有两种方式：
- 加转义符，例如：
"D:\\nxxx\\txxx\\x1" - 路径前加r，例如：
r"D:\\nxxx\\txxx\\x1"
7.2 程序当前路径
项目中如果使用了相对路径，那么一定要注意当前所在的位置。
例如：在/Users/wupeiqi/PycharmProjects/CodeRepository/路径下编写 demo.py文件
1 | with open("a1.txt", mode='w', encoding='utf-8') as f: |
用以下两种方式去运行：
方式1，文件会创建在
/Users/wupeiqi/PycharmProjects/CodeRepository/目录下。1
2cd /Users/wupeiqi/PycharmProjects/CodeRepository/
python demo.py方式2，文件会创建在
/Users/wupeiqi目录下。1
2cd /Users/wupeiqi
python /Users/wupeiqi/PycharmProjects/CodeRepository/demo.py
1 | import os |
7.3 文件和路径相关
1 | import shutil |
总结
今天我们主要围绕着文件 相关的操作来展开进行讲解，让大家能够基于Python处理不同格式的文件。由于涉及的知识点比较多，所以今日的内容学起来会比较耗时，但都比较简单，只需要理解并编写好相关笔记以便后期开发时翻阅。
文件相对路径，在使用相对路径时可能会执行程序的目录不同，导致路径出问题。所以，如若使用相对路径请务必清楚当前运行程序所在目录。
文件绝对路径（推荐），不要将文件路径写死，而是基于 os 模块中的相关功能自动化获取绝对路径，以方便项目移动到其他文件或电脑上。
1
2
3import os
base_dir = os.path.dirname(os.path.abspath(__file__))
file_path = os.path.join(base_dir, 'files', 'info.txt')路径转义
- 手动写路径，需要自己在路径中添加 r 或 加入 \ 来进行处理。
- 基于os.path.join拼接，内部自动处理，不需要手动处理。
内置函数、内置模块、第三方模块的区别？
如何去下载安装第三方模块？
1
pip install 模块名称
- requests模块，可以用来发送网络请求。
- openpyxl模块，处理Excel格式的文件。
基本文件的读写、打开模式、上下文管理。
其他格式：csv、ini、xml、excel格式的处理（无序记忆，做好笔记即可）。
作业
- 基于csv格式实现 用户的注册 & 登录认证。详细需求如下：
- 用户注册时，新注册用户要写入文件csv文件中，输入Q或q则退出。
- 用户登录时，逐行读取csv文件中的用户信息并进行校验。
- 提示：文件路径须使用os模块构造的绝对路径的方式。
补充代码：实现去网上获取指定地区的天气信息，并写入到Excel中。
1
2
3
4
5
6
7
8
9
10
11
12import requests
while True:
city = input("请输入城市（Q/q退出）：")
if city.upper() == "Q":
break
url = "http://ws.webxml.com.cn//WebServices/WeatherWebService.asmx/getWeatherbyCityName?theCityName={}".format(city)
res = requests.get(url=url)
print（res.text）
## 1.提取XML格式中的数据
## 2.为每个城市创建一个sheet，并将获取的xml格式中的数据写入到excel中。读取ini文件内容，按照规则写入到Excel中。
ini文件内容如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
log-bin=py-mysql-bin
character-set-server=utf8
collation-server=utf8_general_ci
log-error=/var/log/mysqld.log
## Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
[client]
default-character-set=utf8读取ini格式的文件，并创建一个excel文件，且为每个节点创建一个sheet，然后将节点下的键值写入到excel中，按照如下格式。
- 首行，字体白色 & 单元格背景色蓝色。
- 内容均居中。
- 边框。
补充代码，实现如下功能。
1
2
3
4
5
6
7
8
9
10import requests
## 1.下载文件
file_url = 'https://files.cnblogs.com/files/wupeiqi/HtmlStore.zip'
res = requests.get(url=file_url)
print(res.content)
## 2.将下载的文件保存到当前执行脚本同级目录下 /files/package/ 目录下（且文件名为HtmlStore.zip）
## 3.在将下载下来的文件解压到 /files/html/ 目录下
