从零开始学Python
常用内建模块
Python 内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。
datetime
datetime是Python处理日期和时间的标准库。
获取当前日期和时间
1 | #!/usr/bin/env python3 |
运行结果:
1 | 2017-02-18 15:39:33.914556 |
注意到datetime
是模块,datetime
模块还包含一个datetime
类,通过from datetime import datetime
导入的才是datetime
这个类。
如果仅导入import datetime
,则必须引用全名datetime.datetime
。
datetime.now()
返回当前日期和时间,其类型是datetime
。
获取指定日期和时间
要指定某个日期和时间,我们直接用参数构造一个datetime
:
1 | dt=datetime(2015,1,23,12,34) |
datetime转换为timestamp
在计算机中,时间实际上是用数字表示的。我们把1970年1月1日 00:00:00 UTC+00:00时区的时刻称为epoch time,记为0(1970年以前的时间timestamp为负数),当前时间就是相对于epoch time的秒数,称为timestamp。
你可以认为:
1 | timestamp = 0 = 1970-1-1 00:00:00 UTC+0:00 |
对应的北京时间是:
1 | timestamp = 0 = 1970-1-1 08:00:00 UTC+8:00 |
可见timestamp的值与时区毫无关系,因为timestamp一旦确定,其UTC时间就确定了,转换到任意时区的时间也是完全确定的,这就是为什么计算机存储的当前时间是以timestamp表示的,因为全球各地的计算机在任意时刻的timestamp都是完全相同的(假定时间已校准)。
把一个datetime
类型转换为timestamp
只需要简单调用timestamp()
方法:
1 | tm=dt.timestamp() |
注意Python的timestamp是一个浮点数。如果有小数位,小数位表示毫秒数。
某些编程语言(如Java和JavaScript)的timestamp使用整数表示毫秒数,这种情况下只需要把timestamp除以1000就得到Python的浮点表示方法。
timestamp转换为datetime
要把timestamp
转换为datetime
,使用datetime
提供的fromtimestamp()
方法:
1 | dt1=datetime.fromtimestamp(tm) |
注意到timestamp是一个浮点数,它没有时区的概念,而datetime是有时区的。上述转换是在timestamp和本地时间做转换。
本地时间是指当前操作系统设定的时区。例如北京时区是东8区,则本地时间:
1 | 2015-04-19 12:20:00 |
实际上就是UTC+8:00时区的时间:
1 | 2015-04-19 12:20:00 UTC+8:00 |
而此刻的格林威治标准时间与北京时间差了8小时,也就是UTC+0:00时区的时间应该是:
1 | 2015-04-19 04:20:00 UTC+0:00 |
timestamp也可以直接被转换到UTC标准时区的时间:
1 | stand=datetime.utcfromtimestamp(tm) |
str转换为datetime
很多时候,用户输入的日期和时间是字符串,要处理日期和时间,首先必须把str
转换为datetime
。转换方法是通过datetime.strptime()
实现,需要一个日期和时间的格式化字符串:
1 | >>> from datetime import datetime |
字符串'%Y-%m-%d %H:%M:%S'
规定了日期和时间部分的格式。详细的说明请参考Python文档。
datetime转换为str
如果已经有了datetime对象,要把它格式化为字符串显示给用户,就需要转换为str,转换方法是通过strftime()实现的,同样需要一个日期和时间的格式化字符串:
1 | >>> from datetime import datetime |
datetime加减
对日期和时间进行加减实际上就是把datetime
往后或往前计算,得到新的datetime
。加减可以直接用+和-运算符,不过需要导入timedelta这个类:
1 | >>> from datetime import datetime, timedelta |
可见,使用timedelta
你可以很容易地算出前几天和后几天的时刻。
本地时间转换为UTC时间
本地时间是指系统设定时区的时间,例如北京时间是UTC+8:00时区的时间,而UTC时间指UTC+0:00时区的时间。
一个datetime
类型有一个时区属性tzinfo
,但是默认为None
,所以无法区分这个datetime
到底是哪个时区,除非强行给datetime
设置一个时区:
1 | >>> from datetime import datetime, timedelta, timezone |
如果系统时区恰好是UTC+8:00,那么上述代码就是正确的,否则,不能强制设置为UTC+8:00时区。
时区转换
我们可以先通过utcnow()
拿到当前的UTC时间,再转换为任意时区的时间:
1 | # 拿到UTC时间,并强制设置时区为UTC+0:00: |
时区转换的关键在于,拿到一个datetime
时,要获知其正确的时区,然后强制设置时区,作为基准时间。
利用带时区的datetime
,通过astimezone()
方法,可以转换到任意时区。
注:不是必须从UTC+0:00时区转换到其他时区,任何带时区的datetime
都可以正确转换,例如上述bj_dt
到tokyo_dt
的转换。
datetime表示的时间需要时区信息才能确定一个特定的时间,否则只能视为本地时间。
如果要存储datetime,最佳方法是将其转换为timestamp再存储,因为timestamp的值与时区完全无关。
collections
collections是Python内建的一个集合模块,提供了许多有用的集合类。
namedtuple
我们知道tuple
可以表示不变集合,例如,一个点的二维坐标就可以表示成:
1 | >>> p = (1, 2) |
但是,看到(1, 2),很难看出这个tuple是用来表示一个坐标的。
定义一个class又小题大做了,这时,namedtuple
就派上了用场:
1 | >>> from collections import namedtuple |
namedtuple
是一个函数,它用来创建一个自定义的tuple
对象,并且规定了tuple
元素的个数,并可以用属性而不是索引来引用tuple
的某个元素。
这样一来,我们用namedtuple
可以很方便地定义一种数据类型,它具备tuple
的不变性,又可以根据属性来引用,使用十分方便。
可以验证创建的Point
对象是tuple
的一种子类:
1 | print(isinstance(p,Point)) |
类似的,如果要用坐标和半径表示一个圆,也可以用namedtuple
定义:
1 | Circle=namedtuple('Circle',['x','y','r']) |
deque
使用list
存储数据时,按索引访问元素很快,但是插入和删除元素就很慢了,因为list
是线性存储,数据量大的时候,插入和删除效率很低。
deque
是为了高效实现插入和删除操作的双向列表,适合用于队列和栈:
1 | #!/usr/bin/env python3 |
deque除了实现list
的append()
和pop()
外,还支持appendleft()
和popleft()
,这样就可以非常高效地往头部添加或删除元素。
defaultdict
使用dict
时,如果引用的Key
不存在,就会抛出KeyError
。如果希望key
不存在时,返回一个默认值,就可以用defaultdict
:
1 | #!/usr/bin/env python3 |
注意默认值是调用函数返回的,而函数在创建defaultdict
对象时传入。
除了在Key
不存在时返回默认值,defaultdict
的其他行为跟dict
是完全一样的。
OrderedDict
使用dict
时,Key
是无序的。在对dict
做迭代时,我们无法确定Key
的顺序。
如果要保持Key
的顺序,可以用OrderedDict
:
1 | #!/usr/bin/env python3 |
注意,OrderedDict
的Key
会按照插入的顺序排列,不是Key
本身排序:
1 | >>> od = OrderedDict() |
OrderedDict
可以实现一个FIFO(
先进先出)的dict
,当容量超出限制时,先删除最早添加的Key
:
1 | from collections import OrderedDict |
Counter
Counter
是一个简单的计数器,例如,统计字符出现的个数:
1 | #!/usr/bin/env python3 |
结果:
1 | Counter({'g': 2, 'm': 2, 'r': 2, 'n': 1, 'o': 1, 'a': 1, 'i': 1, 'p': 1}) |
Counter
实际上也是dict
的一个子类,上面的结果可以看出,字符'g'
、'm'
、'r'
各出现了两次,其他字符各出现了一次。
base64
Base64是一种用64个字符来表示任意二进制数据的方法。
用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,所以,如果要让记事本这样的文本处理软件能处理二进制数据,就需要一个二进制到字符串的转换方法。Base64是一种最常见的二进制编码方法。
Base64的原理很简单,首先,准备一个包含64个字符的数组:
1 | ['A', 'B', 'C', ... 'a', 'b', 'c', ... '0', '1', ... '+', '/'] |
然后,对二进制数据进行处理,每3个字节一组,一共是3x8=24bit,划为4组,每组正好6个bit:
这样我们得到4个数字作为索引,然后查表,获得相应的4个字符,就是编码后的字符串。
所以,Base64编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后的文本数据可以在邮件正文、网页等直接显示。
如果要编码的二进制数据不是3的倍数,最后会剩下1个或2个字节怎么办?Base64用\x00字节在末尾补足后,再在编码的末尾加上1个或2个=号,表示补了多少字节,解码的时候,会自动去掉。
Python内置的base64可以直接进行base64的编解码:
1 | #!/usr/bin/env python3 |
由于标准的Base64编码后可能出现字符+
和/
,在URL中就不能直接作为参数,所以又有一种”url safe”的base64编码,其实就是把字符+
和/
分别变成-
和_
:
1 | >>> base64.b64encode(b'i\xb7\x1d\xfb\xef\xff') |
还可以自己定义64个字符的排列顺序,这样就可以自定义Base64编码,不过,通常情况下完全没有必要。
Base64是一种通过查表的编码方法,不能用于加密,即使使用自定义的编码表也不行。
Base64适用于小段内容的编码,比如数字证书签名、Cookie的内容等。
由于=字符也可能出现在Base64编码中,但=用在URL、Cookie里面会造成歧义,所以,很多Base64编码后会把=去掉:
1 | # 标准Base64: |
去掉=
后怎么解码呢?因为Base64是把3个字节变为4个字节,所以,Base64编码的长度永远是4的倍数,因此,需要加上=
把Base64字符串的长度变为4的倍数,就可以正常解码了。
Base64是一种任意二进制到文本字符串的编码方法,常用于在URL、Cookie、网页中传输少量二进制数据。
struct
准确地讲,Python没有专门处理字节的数据类型。但由于b'str'
可以表示字节,所以,字节数组=二进制str。而在C语言中,我们可以很方便地用struct
、union
来处理字节,以及字节和int,float的转换。
在Python中,比方说要把一个32位无符号整数变成字节,也就是4个长度的bytes,你得配合位运算符这么写:
1 | >>> n = 10240099 |