第二十四章 魔高一尺 (第2/3页)
不知道。公测期用户全是小项目,数据漂亮得很,他肯定觉得自己牛逼坏了。
等真接了企业单,才会发现这事有多棘手。
韩路一关掉视界。精力掉了六十多点。
他靠在椅背上,看着CodeSafe首页那行“最完整的AI代码审查方案”。
苏念念推门进来带了一股外面的风。围巾还没摘,径直走到韩路一对面坐下,掏出电脑。两人约好了在Bug Café碰面。
“我注册了CodeSafe。”
“嗯。”
“搞个对比测试?”她打开一个GitHub仓库。“这个开源项目,Python后端服务,大概八万行。各跑一遍。”
两台电脑同时开始跑。
BugKiller的进度条先到底。CodeSafe慢了快一分钟。
结果出来了。苏念念把两个窗口并排放在一起。
BugKiller报了50个。CodeSafe报了36个。
韩路一又开视界扫了一遍,51个Bug。
他拿视界的结果当答案,逐条比对。BugKiller:50个里48个是真的,2个误报,漏了3个。CodeSafe:36个里32个是真的,4个误报,漏了19个。
看了二十分钟源码确认之后,他把误报数据告诉苏念念。
苏念念在本子上算。“误报率,我们百分之四,他们百分之十一。”
漏报率他没提,总不能跟苏念念解释自己为什么知道真实答案是51个。心里默算了一下,百分之六比百分之三十七。
八万行代码库上,CodeSafe的误报率明显上升了。
但数量还不是关键。
苏念念点开BugKiller第一条检测结果。Bug描述下面挂着一段影响评估:“上线后影响预测:高并发场景下触发概率约12%,预估月均影响用户1.2万,修复优先级:P0。”后面还有三行修复路径。
她点开CodeSafe的同一条。
“发现潜在空指针异常。建议检查。”
一句话。没了。
苏念念看完两边数据,安静了一会儿。
“检测能力我们碾压他们。”她抬头。“他们语言支持比我们多,企业那套集成也做得早,但这些都是时间问题。”
“对。而且他们的引擎在更大的代码库上会出问题。”韩路一说。“用户量上来之后自己会发现的。”
苏念念眯了一下眼睛。“你怎么知道?”
“看架构猜的。全量遍历加大模型推理,代码库规模一大,上下文窗口扛不住。误报就炸了。”
苏念念盯着他看了两秒。
没追问。
她合上本子翻到新一页,标题写了五个字,“公测方案v0.1”。
“竞品分析先过一遍。”苏念念边写边说。“CodeSafe团队十五人。融资额具体查不到,但按赵文渊的配置,保守估计是你全部积蓄的五十倍。”
(本章未完,请点击下一页继续阅读)