记一次排查:接口返回值写入excel后,从单元格copy出来的数据会带有多重引号的问题

博客 分享
0 266
张三
张三 2023-05-18 16:55:10
悬赏:0 积分 收藏

记一次排查:接口返回值写入excel后,从单元格copy出来的数据会带有多重引号的问题

在项目里刚好有3个服务,同一个网关内层的3个服务,两个php的,一个golang的,为了提高负载以及进行分流,部分客户的接口调用会被网关自动分配到go服务。

恰好为了测试,我写了一个全量用户的生产、测试环境调用接口返回结果进行对比的脚本,于是发现了题中的问题:两个php服务里的接口返回值写入xlsx后,直接copy出来是正常的json串,golang的接口返回值copy出来变成双重引号如图

 

排查过程:

1、先通过python的requests请求接口直接打印出返回值,看看是否是两个双引号,结果发现php跟go服务都是正常的json串。

 

2、继续排查,猜想问题会不会出现编码传输格式上,于是对比php跟go接口响应标头。

  php服务响应头如下:

  

  go服务应头如下

  

  go跟php响应头的差别只在于两点:php多了TimeStamp,Content-Type里面多了charset=utf-8。

  首先排除TimeStamp,从名称上就可以看出来不会对返回值格式或内容有任何影响;

  然后尝试用flask编写两个接口,Content-Type里面分别为application/json、application/json; charset=utf-8,写入excel后发现并没有任何不同。

 

3、响应头也没问题,继续猜想会不会是go服务代码缺陷,接口在return response之前并没有序列化,而是直接返回了object对象

  我们先了解一个概念:序列化与反序列化

  序列化是把程序对象转换为字节序列的过程,反序列化就是把字节序列恢复为程序对象的过程。

  因为不同的客户端、服务端可能使用的语言不同,为了兼容都是用序列化之后的数据进行传输,比如前端js将页面参数序列化之后传递给后端java服务。

  开始实验,本地flask直接返回字典{"username": username, "password": password},写入excel的居然真的出现了两个双引号。

  

 

4、于是让开发排查代码里是不是没有作序列化,但是出人意料的是,go代码里是做了序列化才返回的。

  所以上面的猜想都不成立,研究一度陷入僵局,直到...

 

5、偶然注意到copy出来的返回值尾巴上有个莫名其妙的换行。

  

  根据以前经常写json数据入csv、xlsx文件的经验,就算是格式化后加了多个引号的json数据(例如pandas的to_csv方法里的quoting参数即可控制是否加引号),也不可能加换行符。

  所以猜想会不会是返回值多了个隐形的换行符,然后在pacharm的cmd里调一下接口看看,果然go服务返回体尾巴上换行了,而php则不会

  

 

6、于是在写入excel之前把返回值rstrip()一下做最后的确认,结果从excel复制出来的数据真的没有多重引号了

 

至此,揪出来这个go服务的bug!

 

posted @ 2023-05-18 15:52  测不准  阅读(2)  评论(0编辑  收藏  举报
回帖
    张三

    张三 (王者 段位)

    921 积分 (2)粉丝 (41)源码

     

    温馨提示

    亦奇源码

    最新会员