做芯片九死一生,但华为没有试错的机会
跟手机的常规业务部门比起来,华为的芯片业务一直蒙着一层神秘的面纱。他们很少站在聚光灯下,外界的关注对他们来说也并没有太多裨益。身处一个科技密集型行业,他们有更多实际难题要解决。
就像负责芯片战略的华为Fellow艾伟所讲,「艰苦奋斗看结果,不是说你加了班叫艰苦奋斗,得做出东西,有客户买了,才是艰苦奋斗。做出来客户不买帐,对不起,没看到你艰苦奋斗。」
而华为手机芯片麒麟的唯一一个客户就是华为终端,也就是手机业务。
今年9月,麒麟970发布,我们后续与华为芯片业务的高层和研发人员等有过多次交流,试着去还原旗舰芯片麒麟970“押注”AI的由来,以及芯片研发的历程。
华为做手机AI专用硬件的逻辑
作为手机专用AI硬件的先行者之一,华为麒麟970自然会被问到这样的问题:做第一个吃螃蟹的,背后的思考是什么?
我们把这个问题抛给了华为的芯片团队。
「AI芯片首先解决的是算力的问题。」这也是华为用专用芯片做图像识别的逻辑。
在这一点上,可以用我最近使用的GooglePixel2来做参考。它是目前相机评分榜首的怪兽。但在实际的使用中经常会出现回看照片正在处理中的情况。常规DSP、ISP算力不足的问题可见一斑。时延在人像模式下更明显,即便它已经使用专用的PixelVisualCore来做机器学习、深度映射等任务,性能捉襟见肘的情况依旧难以避免。
运算能力达到之后,还会有功耗的问题。而这恰恰是专用的NPU的优势所在。
「常用的AI应用比如Google翻译,传输的内容比较小,多是文字、语音之类,网络传输不会造成明显可感知的时延。但如果换做图像之类,实时的30帧图片传上去,网络处理完,再返回数据,即便时延能搞定,长期下去流量也吃不消。本地AI硬件解决的就是这个问题,可以做基本的识别。」
也就是华为常说的「端侧AI」。
那么麒麟970AI芯片在拍照上到底起了哪些作用?
历经三代芯片、四款旗舰手机的调教,从最初麒麟950华为第一次用上双ISP,P9相机第一次冠上徕卡的标识,到现在的Mate10,华为已然跻身手机拍照第一梯队。这其中,麒麟970芯片对于拍照的提升至关重要。这也是目前AI在华为Mate10系列手机上最主要的应用场景之一。
专业的影像评测机构已对Mate10的拍照能力给出了评定。
「相机跑分也是好事,算是对我们努力的认可。」
麒麟拍照团队的专家先是肯定了新评分标准的作用,但他同时也补充,「跑分最关注的是图像的效果,华为会从两个维度上评价拍照体验。一个是整个拍照过程中的响应速度要快,另一个是图像的效果,这两方面我们是一起努力在往前走。」
在宣传Mate10手机的拍照时,华为反复强调了麒麟970的13种场景识别能力。
对于场景识别,很早之前的数码相机也有,如今依然是数码相机的标配,运动、风光、微距、夜景等等均属此列。
「原来的场景识别说得通俗一点,是靠整个画面的色彩分配,通过一些阈值,蓝色大于多少初步判断是蓝天场景,再做针对蓝天的算法补偿,让蓝天的色彩更自然。但会有不少误判。」
麒麟拍照团队的专家先向我们解释了传统相机场景识别的基本工作原理。
「AI跟这些算法的区别在于,它更像人类一样去理解这个世界,用大量专业摄影师拍摄的样张数据来训练,在自然环境、人像、美食、宠物等多个方面,识别的准确率上会高非常多。还可以根据场景的周边元素,区分海的蓝和天的蓝。我们后面基于AI持续做扩展和精度的提升,识别出13种场景。而每一种后面都是一组优化好的拍照的参数,场景A对应参数A,场景B对应参数B。」
这段话中有一个关键词,是专业摄影师样张。我们都很羡慕那群扛着长枪短炮的老法师们拍摄的高清美图,他们一般不用自动模式,而是根据喜好调整参数,加上后期。用他们的图片数据训练AI提取场景识别的参数配置,自然会有相近的效果。
这正好解释了我们在之前的拍摄样张中的疑问,Mate10比iPhoneX在蓝天、夜景上有更好的氛围感,色彩诱人,而且在大动态范围的白天样张中更能体验自动识别算法对于蓝天色彩的还原,具体可以查看下面的样张。
▲iPhoneX样张
▲华为Mate10Pro样张,非鲜艳模式。
「做芯片,难的是对节奏的预判」
「授权IP做成芯片,要解决很多工程化的难题。需要把它做成芯片,将芯片放入手机,最后还要体现到应用中;现在能够体验到的AI原生应用,比如拍照、降噪这些都是华为自己做的,后面会有越来越多的第三方应用涌现,这些都需要有大量的研发投入。」对于一款SoC中的各个部分,是采用其他厂商的IP授权还是自研,麒麟拍照团队的专家表示。“一切要看是否在最合适的时机、给消费者带来最好的效果。”
跟热闹的手机行业比起来,它背后的芯片行业冷清得多。即便是华为高通的旗舰SoC,每年所能获得的集中曝光的机会也极其有限。
但芯片研发考验着一个企业战略和技术实力。「芯片从规划,到做成产品,到手机,消费者能用到,周期要两年多,接近三年。芯片的开发节奏就是一年规划,一年再去开发,很长的周期。」
华为当下旗舰芯片麒麟970,已经是两年多以前规划的。实际上,后面两代的芯片已经在路上了。
早前,艾伟告诉PingWest品玩,做手机芯片十年,最大的挑战来自于对节奏的预判。
「我们每一代,都会遇到工程技术上的挑战,等我们最终走过来的时候,发现当初还是把它想得太简单了。每一代都是这样,内部也蛰伏了几年。像我们的芯片从920、930、950、960、970,这五代的麒麟走过来,每一代都是面临非常大的挑战,甚至有时候都觉得是九死一生的感觉。」
华为芯片团队的研发人员对于这一点的体会更深刻:
「工艺的选择,核的选择,包括通信规格,每个点上都踩得很谨慎,要么就不踩,要踩的话就不允许踩空。像那些独立的商业手机芯片厂商可以有一系列芯片,但我们不行,我们真是要一个点踩错了,影响不是我们,影响的是背后整个华为手机。我们没有试错的机会。」
外界很难想象其中的艰辛。但一个直观的结果是,华为麒麟芯片的进步和提升有目共睹,性能、基带、图形图像、拍照的进步再明显不过了。
当我们再度问起华为会不会把手机芯片外售其他品牌时,艾伟的回答斩钉截铁:「不会,我们没有那么多资源。」根据PingWest品玩获得的消息,华为负责麒麟手机芯片研发的人员,大概是对手的五分之一左右,工作强度之大可以自行脑补了。
(应受访者要求,文中隐去了麒麟相机团队专家的名字。)