标准兼容测试常见问题
Q: Testin云测的标准兼容测试是可以无限制提交吗?
A: Testin云测目前安卓的标准兼容测试和脚本测试是免费开放的,根据账户权限的不同,终端数量和测试速度都有所不同。标准兼容测试每天开放一次100款手机进行测试。如果需要可以联系销售进行对接。
Q: 标准兼容测试中随机点击的间隔时间是多少?
A: 随机点击的间隔时间是1-3秒。
Q: 标准性兼容测试是怎么做到的?
A: Testin平台会上线手机以供测试,您只需将应用传到平台即可完成标准兼容测试,并获得详尽的测试报告。测试流程是通过在大量真机上运行Robotium和Monkey脚本,验证App在终端兼容、安装卸载、运行、功能、UI、安全软件兼容等维度下的兼容性,同时获取App在多个维度下的性能数据。
Q: 标准兼容测试流程是怎么样的?
A: 提测流程:选择套餐配置-> 上传待测包 -> 选择机型 ->提测成功。
Q: 标准性兼容测试的时长是多少?
A: 测试包含2分钟UI遍历,1分钟Monkey测试。您可以使用脚本测试,支持至长达120min自定义脚本执行时长。
Q: 标准兼容测试为何两次测试结果的数据不一样?
A: 为了帮助您发现更多的潜在BUG和问题,Testin的标准兼容测试采用智能随机测试的方式执行测试,相同的设备每次测试的路径也有可能不同,Testin的测试日志会记录每次执行的路径,并把真实的执行过程和结果反馈给您,不同的执行流程有可能会带来测试结果的不一样。
Q: 标准兼容测试可以指定流程么?
A: 标准兼容测试的执行流程是随机的;深度兼容测试会根据您指定的测试需求和流程进行测试并输出测试报告。
Q: 标准兼容测试的运行时间可以加长么?
A: 不能加长,但您可以通过购买深度兼容测试来进行长时间的测试。
Q: 标准兼容测试报告该从哪方面去分析,尤其是失败和崩溃的机型?
A: Testin报告会提供丰富的截图、详细Logcat日志以及多维性能数据供您参考解决问题。
Q: 为什么标准兼容测试中有很多未执行的?
A: 当App在标准兼容测试过程中执行超过了8小时,任务会自动终止。由于付费客户优先级较高,选择的机器会优先执行付费的任务,导致标准兼容测试的机器8小时内无法完成,任务被强制终止,会导致有的机器未执行。除此之外,如果在测试过程中因为手机电量不足被迫下线充电等原因也会出现未执行机器,而付费任务没有未执行的情况。
Q: 什么是monkey测试?
A: monkey测试是指对开发的应用程序进行稳定性测试。monkey测试只在Testin平台的标准兼容测试中,如果您点击选择执行Monkey测试,那么在3分钟内有1分钟可以执行monkey。但是由于执行monkey很容易把APP点击失效,问题很难定位。目前很少也有用户去执行,因为当APP发布后,很少有用户在实际运用过程中去快速乱点。
Q: 什么叫串行测试和并行测试?
A: 串行测试是一款一款设备的去执行,效率较慢;并行测试是多部设备同时在运行测试。
Q: 什么是堆栈信息?
A: 程序在运行出错的时候,会有堆栈信息输出在log中,包括当时系统和APP的运行信息,这些信息可以帮助分析是哪个地方出错。
Q: 很在意FPS的输出,但是Testin平台的报告中只能获取一部分手机中APP的FPS,怎么做?
A: Testin平台只能获取一部分手机中APP的FPS,是由于手机本身的封闭及技术受限,只能获取这部分手机的FPS。如果您有需要,可以选择按照Testin设置的格式输出在日志中,Testin可以全部通过技术手段拿出来,汇总在测试报告中,输出格式如下:
1.Logcat 日志样例,注意”,”与空格
11-20 09:50:50.507 I/fpstracer(1000): TestinLog-FPS>>>> Type fpstracer, Frames 26
01-28 15:05:23.153 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0
01-28 15:05:26.154 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0
01-28 15:05:29.207 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 50
01-28 15:05:32.262 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 88
01-28 15:05:35.278 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 98
01-28 15:05:38.348 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 94
01-28 15:05:41.396 I/TestinExternalLog(21489): TestinLog-FPS>>>> Type powervr, Frames 0
Q: 数据项说明?
A:
- TestinLog-FPS: 自定义tag
- Type: 获取方式
- Frames: fps值
Q: 线上测试报告中GC点代表什么意思?
A: GC点表示在某个时间执行了内存清理的动作,APP在运行的过程中觉得运行空间不够,就会自动去调用GC点,安卓系统会自动清除一些优先级比较低的测试内容来腾出运行空间。
Q: 标准兼容测试的次数,时间,终端款数?
A: 标准兼容每天可以测试一次100款安卓,测试时间为2-8小时。如果您有更高的需求可以联系销售人员进行对接。
Q: 标准性兼容测试对app有没有修改(签名)?
A: 为进行Robotium自动化测试,需要对Apk用本地Android sdk中的debug.keystore进行重签名。
Q: 兼容性测试可试用的Android设备和iOS设备分别是多少个?
A: 如果您没有明确的要求,Testin一般是测试150款(不是TOP150)终端给您看效果。如果有明确的要求,可与销售人员说明,Testin会尽量满足您的需求,iOS设备目前不支持试用,当然特殊情况也可以具体分析。
Q: H5能做标准兼容吗?
A: H5和native混合的APP可以通过标准兼容做基础遍历测试,对于只有H5的APP建议用深度兼容测试,Testin将为您定制测试流程。
Q: 标准兼容测试为何提供账号密码了还登陆不进去?
A: 标准兼容测试是属于随意点击进行的兼容性测试,因为每一款APP特性功能不同,所以不能保证100%的APP都能成功登入。
Q: 标准兼容测试为何两次测试结果的数据不一样?
A: 为了帮助开发者发现更多的潜在BUG和问题,Testin的标准兼容测试采用的是智能随机测试的方式进行执行,相同的设备每次测试的路径也有可能不同,Testin的测试日志会记录每次执行的路径,并把真实的执行过程和结果反馈给开发者,不同的执行流程有可能会带来测试结果的不一样。
Q: 标准兼容测试是人工测试么?
A: 标准兼容测试是全程真机自动化测试。
Q: 如何分享报告?
A: 点击测试报告右上角分享报告即可,分享报告可以通过邮件分享,输入需要分享人的邮箱即可;也可以通过链接分享,公开报告链接,所以人都可以点开这个链接访问报告。
Q: 测试出的问题能出具解决方案么?
A: Testin测试结果可以帮助您快速的定位到您的应用在不同手机出现的问题,建议开发工程师来查看LOG日志,可以根据错误定位和LOG日志来查找出现问题的原因。
Q: 付费方式是什么?是全款还是分期?
A: 根据购买的服务和方式不同,支持在线直接购买和线下客户经理处购买,在线购买需要付全款,线下购买根据合同的金额不同可以按照合同约定来进行付款。
Q: 是否支持APP拍照功能的兼容测试?
A: 支持使用拍照功能,但是由于设备在机柜上固定,不支持拍具体的内容。