光の技术屋

Medium Python终于来到了最终话。经历了前四话的撰写，笔者决定以第五话作为收尾，故这段时间一直在思考python里还有什么内容是我们常见但值得推敲且有应用意义的点。绞尽脑汁，最终得到了今天这个主题：with关键字。

with关键字的含义，是笔者接触python以来希望彻底搞懂的问题之一，也是一定会困惑大量玩python的同学的问题之一。相信每一个玩过python的同学都接触过with语法，比如with open(xxx) as f的文件操作，或者是with lock这样的加解锁操作，这些东西每个python教程里都有。但是with语法具体表示什么，具体能够翻译成怎样的简单语法，基本没啥人能够说的清楚，说的科学。即便在网上有许多文章在剖析这一点，提到了许多诸如“上下文管理（context manager）”、“异常处理”、“__enter__、__exit__”之类的词汇，但是就正因为缺少些硬核的东西，比如源码分析，导致许多个文章的内容都很水，看了也不能完完全全的明白，实际写代码的时候也觉得难以彻底掌握。

因此，为了把这件事情说明白，本文决定继续源码分析的套路，让大伙儿彻底理解with关键字是怎么一回事。老样子，一切的吹水都没有源码分析来的实在。看完这篇文章，其它关于with的文章都可以统统无视了。

with代码测试

首先我们上一段测试代码：

前言

提到编程不得不提到面向对象，一个说烂了的话题，几十年来一直都有人在争论面向对象的好坏。从宏观角度来说，一个庞大的程序本质是对业务中实体集合以及其中的关系的模拟，虽然解决实体的关系问题，用面向过程、组合等方式去体现比较方便，但要解决实体概念的抽象，就需要面向对象的编程基础。因此，面向对象在编程中是非常重要的一部分思想，不能随随便便被否定或者忽略。

​
面向对象的灵魂在于对类（class）概念的剖析，而python中也有对类的支持，虽然不像其它静态语言有比较强的约束，但如果想将代码组织成面向对象式的话也是完全满足的。在平常python的交流以及面试的过程中，也会涉及到许多关于类的问题，比如最常见的就是阐述类与实例的关系。要理解类与实例的关系，从类属性和实例属性切入是为最直观的。因此，今天这篇文章就来讲讲python里类属性和实例属性的二三事。
​

在类和实例中访问属性

首先上一段测试代码：

python的多线程，这是个老生常谈的话题了，网上资料也一大把。python默认的threading模块对多线程提供了支持，但实际多个threading.Thread实例无法并行运行（不是无法并发哦！）。
​
一句话概括答案：python的线程实质是操作系统原生的线程，而每个线程要执行python代码的话，需要获得对应代码解释器的锁GIL。一般我们运行python程序都只有一个解释器，这样不同线程需要获得同一个锁才能执行各自的代码，互斥了，于是代码就不能同时运行了。
​
好的，接下来我们细细讲解这句话背后的故事：

多线程并行测试

首先我们通过一些代码来测试多线程是否真的并行：

在python3里面，我们经常会用if k in d.keys()来判断某个key是不是在某个dict里面，或者是用a_dict.keys() - b_dict.keys()来获取两个字典之间keys的差集。那么这里就有一个问题，dict的keys()返回了什么数据类型呢？

list？set？两者都是错误答案。Don’t say so much，打印一下type，发现是这么个数据类型：<class 'dict_keys'>

dict_keys是什么东西？

在python dict数据结构定义中（dictobject.c），可以看到dict_keys的定义

在用源码编译redis的过程中，可能会报jemalloc出错，提示No such file or directory的问题，导致构建不能继续。一种常见的，在网上流传的方法是调整MALLOC参数为libc，但这并不是唯一解，不能一概而论。

以笔者的例子，笔者采用windows装CLion并用Remote Development连接linux虚拟机的方式来编译redis源码，版本为6.2.6，在构建的过程中也报了jemalloc出No such file or directory的问题。在笔者的场景下，仔细查看日志，会出现许多Permission Denied的字样，这说明有许多脚本没有执行权限。经过一番研究，执行下面俩操作之后，distclean一下，就能成功再次编译redis。

• 在src目录下，chmod +x ./mkreleasehdr.sh，增加这个脚本的执行权限
• 在deps目录下，chmod -R 777 jemalloc，把jemalloc目录下所有文件权限都提上来

暂时研究到的是这些，如果真是因为权限问题，且还有漏网之鱼的话，极端一点可以把整个redis源码目录权限都提上来。反正都可以试试看。

前言

python面试有一道很基础的问题：list（列表）和tuple（元组）有什么不同？基本上只要背过题库的同学都知道，list（里面的元素）是可变的，tuple（里面的元素）是不可变的。

我们尝试在python解释器中改变tuple的元素（赋另一个值），会有以下的表现：

1
2
3
4
5
6
7
8
9
10
11
12

def tuple_check():
    tp = ('123', 123)
    tp[1] = 13
    
"""
Traceback (most recent call last):
  File "H:/Projects/Python/playground/main.py", line 20, in <module>
    tuple_check()
  File "H:/Projects/Python/playground/main.py", line 10, in tuple_check
    tp[2] = 13
TypeError: 'tuple' object does not support item assignment
"""

可以看到赋值操作报错，tuple不支持再次赋值，体现了其“不可变”的特性。

但是，不支持赋值/不可变的原因，到底是什么呢？不是说不支持就不支持吧！难道也没有支持的可能？

这个问题要给出清晰的答案可并不容易，如果你直接检索网上资料的话，会发现很多文章都在说重复的话，没有什么深入的挖掘，导致这个问题无从解释。于是，今天这篇文章，就给大家把这个问题讲的干脆一点。

以及，看完这篇文章之后，网上那些车轱辘话大家也就没有必要再看了。

python作为最流行的语言之一，我们对python的认知到底有多少呢？大胆猜测，95%的同学对python的了解都不超过5%吧！不用说python的c源码了，就算是python每个标准库的.py源码，都有很少人去关心。结论就是，我们对python本身的理解是远远不够的，比想象中还不够！当然，这也可能是python的语言特性导致的吧，在设计方面就不需要我们去多想。

python的岗位众多，网上的教材跟面试题也很多，然而很多都是八股文，浅尝辄止，鲜有深度的挖掘，让人知其然而不知其所以然，处处透露着对技术的不敬！想想看，游戏程序员学lua，一些C Library的实现、Lua底层机理都需要熟悉，python比lua应用会更加广泛，为什么就不可以去熟悉类似的东西呢？python的应用场景那么多，不去深入了解这门语言的实现，怎么能够更好掌控这门语言？怎么可能做出更加优秀的产品？

因此笔者决定，从一些所谓的python面试题出发，通过源码分析的方法，挖掘其思路与实现，让更多人对python有更加深入的了解。这个系列，会把一些本该属于python教程里的东西给展现出来，取名就叫做Medium Python——因为笔者刚出道（谈恋爱）时，已经写过Easy Python，里面罗列了些python的简单知识。至于未来有没有Hard Python，到时候再说吧！

Contents

• 【Medium Python】第一话：为什么list“可变”，而tuple“不可变”？
• 【Medium Python】第二话：dict的keys()返回了什么数据类型？
• 【Medium Python】第三话：python多线程为什么不能并行？
• 【Medium Python】第四话：类属性和实例属性是怎样的关系？
• 【Medium Python】最终话：如何彻底理解with关键字的用法？

学过python的我们都知道在python的类实例instance的__init__函数里，可以初始化这个instance的属性。属性的命名有许多种，比如有一个例子：

1
2
3
4
5

class Student:
    def __init__(self, name, gender, age):
        self.name = name
        self._gender = gender
        self.__age = age

这三种属性名分别是：不带下划线、带一个下划线、带两个下划线

假设有一个类Student的实例student，我们通过访问student.name、student._gender，是能够获得对应属性值的，但访问student.__age却报了如下错误：

近期笔者在研究python内部部分模块的实现机理，研究着研究着就开始硬刚C源码了。想着先前工作或是日常也没有体验过用C++编写python库，于是就刚好学习了一下。

用C或者C++编写python的扩展库，建议用Visual Studio宇宙第一IDE，一来能够同时支持python跟C，二来调试功能非常强大。入门上手的话，可以参考下面的文档：

• 官网文档：扩展和嵌入 Python 解释器
• VS文档：Create a C++ extension for Python

编写的库叫做cplayground，只包含一个hack函数tuple_setitem——强行设置tuple的元素（python默认是不支持的）。我们可以来看这样的python扩展用C++该如何实现：

《测试架构师修炼之道》一书，笔者入行一年多的时候拜读过。虽然这本书主要偏向业务测试、质量管理的方向，而并非技术测试、测试开发的方向，但只要是测试行业从业者，笔者认为都值得一看。

从笔者本人角度，对于测试人员的职业发展，是极端推崇技术方向的。但工作最终总会落实到人，近年来测试被划分为偏向技术的岗位，那么技术本身就一定要搞起来，这样才能使得这类职业能够在工作框架体系里处于不屈之地。

但即便如此，测试本身也有很多技术/管理方法论的积淀，有很多old school的东西是值得尊重的。不论技术做成什么样，从测试工作的最终目标而言，都需要贴合传统测试遗留下来的的概念。《测试架构师修炼之道》一书，对传统测试，尤其质量管理方向相关的知识点、工作目标、工作方法都概括的非常明确，是测试行业不可多得的智慧积淀（嗯，测试行业确实缺乏沉淀！）。

技术方向的测试同学阅读这本书，能够更好地把握技术研发的方向；业务方向的测试同学阅读这本书，能够更全面地规划自己的发展。

在阅读的过程中，笔者也做了相关的读书笔记，提炼了其中的精要。本文也将把笔者的读书笔记全部分享出来：