在2022年,阿里出品了一本《阿里测试之道》,讲述在阿里电商、物流、金融、大数据等业务场景下,测试活动业务层面是如何开展,以及技术层面是如何实现的。笔者有幸拜读此书,从其中也有所收获。本次以其中涉及电商的测试场景为例,记录一下“大促质量保障”一章的读书笔记。这一章主要讲述了在大促场景下,全链路压测是如何实施的,以及通过什么方式保证最终大促时的生产环境稳定性。
风险与挑战
全链路压测目标:尽可能真实模拟流量洪峰,进行高可用验证
用例场景需要考虑两个方面:
在Golang
的各种用法当中,context
可谓是最能够体现Golang
语言特性的模块之一。context
的本意为情境、上下文
,而在Golang
程序当中,则可以被用于描述一次调用
、会话
或者任务
的状态信息。关于context
网上有很多语法以及源码分析的文档,但是里面很多却不能从实战场景体现context
的作用,导致这个概念难以理解。因此这一回,经由踩坑context
后,笔者将结合自己的理解,给大家讲述context
在Golang
怎么用来最为方便,怎么理解最为实用。
首先来了解一下什么是context
。我们先走源码:
1 | type Context interface { |
在源码定义中可以看到,context
模块给开发者定义了一个接口约定Context
。在先前关于接口的文章中有提到,接口本身定义的是一个实体可以做的行为,那么我们初步理解context
的时候,就可以通过Context
的定义,知道一个Context
可以干什么。
假设一个Context
实例ctx
,关联到了一次会话
,作为当次会话
的情境
。根据代码定义,Context
可以做以下几种行为:
在很久以前的Easy Python系列中,介绍了通过爬虫手段爬取豆瓣电影信息的一种技术套路。今天故技重施,为了迎合先前做SQL语句分析的需要,决定爬取w3schools网站上面所有SQL案例,用作测试用例。
本文就来详细讲述,爬取w3schools网站的实现方式,以及里面需要注意的一些点。代码统一放在这里。
在Golang
的实战中,总会遇到一些场景,比如抓包分析sql
指纹,或者是输入sql
时检查sql
的风险,这类操作都需要解析sql
的工具才能够生效。今天,就来介绍一些Golang
当中解析sql
的工具包和使用方法。
本文介绍的工具是vitess-sqlparser,主要结合了两个sql
解析工具:
其中,xwb1989/sqlparser
项目支持的功能有限,尤其对于DDL
没有很好的支持,而tidbparser
则功能比较全面。下面以tidbparser
为例,讲述一下解析以及分析sql
里DDL
语句的一种方式。
代码相关写法可以查看这篇文章。首先,我们先自定义一个要验证的DDL
语句:
和许多面向对象的编程语言一样,Golang
也存在interface
接口这样的概念。interface
相当于是一个中间层,下游只需要关心interface
实现了什么行为,利用这些行为做些业务级别事情,而上游则负责实现interface
,把这些行为具象化。本文就来通过一个简单的缓存cache
模块的实现,来示范一下Golang
的interface
该怎么用。
首先,从业务service
角度而言,一个cache模块可能需要以下几种方法:
那么这些个方法,就可以用一类叫Cache
的interface
来表示:
很多同学在自己机器上玩开发的时候,都会用到VMWare
、VirtualBox
之类的虚拟OS容器装一个带GUI
的Linux OS
,然后在里面另外安装开发工具做开发。这里面遇到的最经典问题,就是比如我在虚拟机里面起了个MySQL
、Redis
之类的服务,如果DB的客户端/GUI工具是放在主机里面,不在虚拟机里,那怎么连进去?这个问题,本文提供一种解决方案。
本文采取的虚拟机环境如下:
首先需要了解到,VMWare
场景下,我们通常用NAT
模式新开一个网段来管理虚拟机的网络配置,而虚拟机内部,假设使用IPV4
,会默认采取DHCP
机制,自动设置一个IP
跟相应的网络配置。相关资料可以看这几篇文档:
而为了让我们主机能连到虚拟机内部,实际上是满足下面两个条件之一即可:
在应用日常开发的过程中,不论是在测试、开发联调,还是实际构建发布的时候,我们都需要一定的指标去衡量技术产物的质量,从而判断技术产物是否符合质量标准,是否能够继续发布投产,如果不符合投产标准则拦截发布。从发布过程的角度,由于一般发布过程会收口到特定的CI流水线上,因此在做这类能力的时候,通常是采用开发一个特殊的质量红线原子的方案,集成到CI流水线当中,实现发布准入准出的原子能力。
准入准出质量红线能力的开发者,通常是DevOps中台,中台提供原子能力以及配置化的能力,用户可以根据自己的业务去配置相应的指标产出与拦截规则,也可以直接套用特定的模板来快速实现准入准出的效果。本文就来讨论,这类能力要开发出来,在技术实现上,需要做怎样的考虑跟设计。
首先,针对真实业务,要用到准入准出质量红线的话,可能会考虑以下场景:
因此,从技术实现角度上,这里可以拆解成几个维度:
Golang
的反射功能,在很多场景都会用到,最基础的莫过于rpc
、orm
跟json
的编解码,更复杂的可能会到做另外一门语言的虚拟机。通过反射模块,我们可以在编程语言的runtime
运行时期间去访问内部产生对象的信息。了解反射模块的实现,对我们了解Golang
对象机制本身,也是莫大的帮助。
今天,恰逢阳康+新年,就决定来探究一下Golang
的反射模块——reflect
。
从最基础的开始,reflect
模块,以获取整数对象的类型信息为例,我们可以这么用:
在以前写过的一篇关于游戏策划配置检查工具设计的文章里,笔者讲述了一种表格检查工具的分层设计方法,简而言之也就是两部分:
repo
,通过自定义脚本解析repo
中文件,提供实际的配置数据excel-diff
等等其中,配置数据源服务,在许久以前写过一个样例的版本repomaster,
实际也就是一个管理git-repo
的小服务,在这篇博客里有详细阐述实现内容。
而今天的主题则是配置数据处理服务方面的内容,笔者采纳通过配置化方式声明数据处理过程的设计,编写了一个数据聚合工具:daggre,全称为DAta-AGGREgator
,专门用于处理数据的联表视图、过滤检查相关的需求。
以游戏业务测试为例,daggre
的使用场景,我们可以看两个例子:
《从零单排Golang》系列,又重新开张了。后续会不定期更新自己学习Golang
的笔记跟心得。
这次的话,就介绍一款名为奎爷kratos
的微服务框架,以及讲述一下基础的使用机理。
kratos
是B站开源的微服务框架,不仅提供了grpc
、http
协议支持,而且有较为完善的层级架构、微服务中间件以及第三方组件的编写约定,可以说是非常方便上手跟扩展。
要上手kratos
,我们可以从两个地方入手:
通过kratos
的quickstart文档,我们可以创建一个名为kratostest
的项目。项目的目录结构遵循kratos-layout,具体如下: