一日一技：警告但不禁止，遗留代码的优化策略
在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。短时间内，我们没有办法直接把字典改成Dataclass。那么我们能做的，就是尽量避免后续的维护者往里面加入新的Key。我以前遇到过一个项目，它有一个字典，刚刚开始初始化的时候，只有5个Key。这个字典作为参数被传入了很多个函数，每个函数都会往它里面加很多个Key。到最后，这个字典里面已经有40多个Key了。对历史遗留代码的修改，必须要谨小慎微，..
更多一日一技：如何安全运行别人上传的Python代码？
写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。12import osos.system('rm -rf ~/*')有人想的比较简单，直接判断用户的代码里面有没有os.system、exec、subprocess……这些危险关键词不就可以了吗？这种想法乍看起来没有问题，但细想下，就会发现非常天真。如果用户的代码像下面这样写，你又要如何应对？123456789import requestscode = requests.get('https://www.kingname.in..
更多
一日一技：爬虫如何解析JavaScript Object？
我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON，但又有差异，如下图所示：这种格式，我们叫做JavaScript Object。长得很像Python的字典，又很像是JSON。但是这个格式在Python里面，无论直接当字典解析，还是当JSON解析，都会报错，如下图所示：遇到这种情况，有同学准备使用正则表达式来解析，又有同学直接放弃。但实际上，这种数据结构，使用Yaml是可以直接解析成Python的字典。我们首先来安装一下Yaml：1pip install pyyaml然后直接像解析JSON一样解析：12345678910import yamldata = '''{ name: '青南', salary: 99..
更多
一日一技：HTML里面提取的JSON怎么解析不了？
我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过<script>标签放到页面源代码中。如下图所示：有时候请求URL拿到HTML的过程比较麻烦，有些同学习惯先把HTML复制到代码里面，先把解析的逻辑写好，然后再去开发请求HTML的代码。这个思路本身是没有什么问题的，于是他们就写了如下的代码：代码中的html_data = '''里面就是原样复制的网页HTML，没有做任何修改，因为太长了，我这里做了折叠。展开以后如下图所示：但当运行这段代码的时候，发现代码报错了，如下图所示：看这个报错信息，难道说是JSON本身有问题？于是，你到网页上，把这个JSON复制下来：使用JSONHero这种验证网站，进行验证，结果发现一切正常：这就见鬼了，为什么正则表达式提取的JSON就不对..
更多
一日一技：Requests被网站识别怎么办？
现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。我之前写过一篇文章：Python如何突破JA3，但方法非常复杂，很多初学者表示上手有难度。那么今天我来一个更简单的方法，只需要修改两行代码。并且不仅能过JA3，还能过Akamai。先来看一段代码：123456789101112131415161718192021import requests headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/s..
更多
python解析mat文件
Foreword python解析mat文件，mat是matlab的数据集文件 mat文件解析 http://www.mathworks.com/help/pdf_doc/matlab/matfile_format.pdf matlab的官方格式说明，但是这个文档很久没更新了，而且里面图片糊的要死 这里只针对mat v5的格式，目前最新的v7格式，发生的变化比较大，而且其本身也不能向下兼容 mat结构 文件头 固定128字节 数据元素块 - tag，根据tag决定元素块类型，大小 - data,具体内容 - 填充，保证数据对齐用的 Header 前128字节中会有一些mat的文件格式信息，比如是什么版本的mat文件和生成的平台。 这里面比较关键的就..
更多
一日一技：JSON如何快速转成对象？
我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样：1result = info['data'][0]['entities']['annotations'][0]['end'] - info['data'][0]['entities']['annotations'][0]['start']光是看到这些方括号和单引号，就够让人头晕了。但如果改成下面这样，看起来就清爽多了：1result = info.data[0].entities.annotations[0].end -..
更多
一日一技：从Pandas DataFrame两个小技巧
今天我从网上下载了一批数据。这些数据是Excel格式，我需要把他们转移到MySQL中。这是一个非常简单的需求。正常情况下，我们只需要5行代码就能解决问题：1234567import pandas as pdfrom sqlalchemy import create_engineengine = create_engine('数据库链接URI', echo=False)df = pd.read_excel('Excel文件路径')df.to_sql(name='表名', con=engine)但我发现，这个下载的文件有两个工作簿(Sheet)，第一个Sheet叫做Overall，第二个Sheet叫做Result。我们需要的数据在Result这个工作簿中。那么，在使用Pandas读取时，需要这样写代码：1df..
更多
一日一技：如何同时使用多个GPT的API Key？
相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。OpenAI官方文档中给出了一个示例，如下图所示：如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？有些同学可能知道，微软的Azure也提供GPT接口，在Python中也需要通过openai库来调用，它的调用示例为：当你全局设置了openai.api_type = 'azure'以后，你怎么同时使用OpenAI的GPT接口？这两个文档中给出的示例写法，都是全局写法，一但设定以后，在整个运行时中，所有调用GPT接口的地方，都会使用这里设置的参数：123import openaiopenai.xx = yy有些同学不知道怎么在Python SDK中同时使..
更多
一日一技：从PDF完美提取表格
在之前很长一段时间，从PDF文件中提取表格都是一个老大难的问题。无论你使用的是PyPDF2还是其他什么第三方库，提取出来的表格都会变成纯文本，难以二次利用。但现在好消息来了，专业处理PDF的第三方库PyMuPDF升级到了1.23.0，已经支持完美提取PDF中的表格了。还可以把表格转换为Pandas的DataFrame供你分析。PyMuPDF的使用非常简单，首先我们来安装：1pip install pymupdf pandas openpyxl其中安装pandas是为了能让它转成DataFrame，安装openpyxl是为了能把结果导出为Excel。我们来看一个测试的PDF文件，如下图所示：其中表格在第5页，那么我们编写如下代码，读取第五页的表格：1234567import fitzdoc = fitz.o..
更多