FPGA云服务器是一类提供了现场可编程门阵列(FPGA)的实例规格。由于FPGA硬件的可重配特性,您可以对已创建的FPGA硬件加速应用进行快速擦写和重配,使其达到低时延硬件与资源弹性的结合。
一、什么是FPGA云服务器?
FaaS平台介绍
传统FPGA开发硬件周期长,开发难度大,硬件加速算法的发布和部署保护要求也非常高。FPGA云服务器平台FaaS(FPGA as a Service)在云端提供统一硬件平台与中间件,可大大降低加速器的开发与部署成本。您无需了解底层硬件即可快速开发和部署自己的定制加速器,也可以直接使用加速器提供商提供的加速服务。
FaaS包括三个组件:
- 硬件基础设施:FPGA云服务器、硬件加速开发和部署平台(Intel、Xilinx)。
- 云上配套开发环境:厂商配套软件(Quartus、Vivado)、第三方EDA软件(仿真、模拟)。
- FPGA IP开发生态:图片转码、基因计算、数据加密、视频压缩、硬件仿真设计、深度学习(预测/训练)等。
阿里云基于FaaS平台推出了FPGA云服务器,在提供FPGA加速能力的同时,保留了与普通ECS实例一致的使用体验。您在创建ECS实例时,选择企业级异构计算规格即可。
功能特性
- 统一性兼容多种FPGA器件(Intel、Xilinx),支持Multi-boot的Shell烧写,更可靠,易移植开发。
- FPGA虚拟化自主研发的FPGA软硬件虚拟化方案,实现上云安全隔离要求。支持热升级功能,在不中断业务的前提下,对部分用户逻辑进行在线重配置,以实现新的功能。
- 联合仿真平台支持Intel和Xilinx器件,您无须更改原有设计即可进行软硬件联合仿真,降低输出FPGA高性价比算力的复杂度。
- 互联拓扑动态可配置支持1片、2片、4片FPGA互联拓扑,可动态配置拓扑,实现最高性价比。同卡FPGA之间使用高速互联通道,应用实现两片FPGA之间实时、大批量数据搬运时,不存在带宽瓶颈。
工具套件
FaaS平台提供HDK和SDK套件,搭建更加高效、统一的开发及部署平台。
- HDK采用Shell+Role的组合方式,保证Shell的最轻量化和稳定性,同时兼顾便捷性和灵活性。
- SDK包括两部分:
- HDK对应的主机端驱动(Drivers)与软件库(Libraries),和HDK的Shell、Role相对应,一起为您提供统一灵活的软件支持。
- FPGA管理工具faascmd套件,为您提供云上FPGA管理服务,包括BIT/DCP文件安全校验、FPGA镜像生成、下载及管理、FPGA加速卡状态查询反馈等功能。
产品计费
FPGA云服务器的计费相关功能和云服务器ECS一致,其中,计算资源(vCPU和内存)、镜像、块存储、公网带宽以及快照等资源涉及计费。
常见的计费方式如下所示:
- 包年包月:按一定时长购买资源,先付费后使用。
- 按量付费:按需开通和释放资源,先使用后付费。
- 抢占式实例:通过竞价模式抢占库存充足的计算资源,相对按量付费实例有一定的折扣,但是存在回收机制。
- 预留实例券:搭配按量付费实例使用的抵扣券,承诺使用指定配置的实例(包括实例规格、地域可用区等),以折扣价抵扣计算资源的账单。
- 节省计划:搭配按量付费实例使用的折扣权益计划,承诺使用稳定数量的资源(以元/小时为单位衡量),以折扣价抵扣计算资源、系统盘等资源的账单。
- 存储容量单位包:搭配按量付费存储产品使用的资源包,承诺使用指定容量的存储资源,以折扣价抵扣块存储、NAS、OSS等资源的账单。
二、FPGA云服务器产品优势
FPGA云服务器具有独特优越的加速性能和经济实惠的性价比,并且易于复用已有的FPGA设计。
1.分钟级交付
基于阿里云弹性计算框架,您可以几分钟内轻松创建FPGA实例,创建自定义的专用硬件加速器。
2.独特优越的加速性能
FPGA器件通过PCIe 3.0接口与上层应用程序通信。对应用中消耗大量的CPU计算,系统可以选择性的交给FPGA专用硬件进行加速计算。释放CPU资源用于支持更大的应用访问量和吞吐量。您可选高配FPGA特性,共同使用一个地址空间相互通信速度高达48 Gbit/s。
3.经济实惠的性价比
购买FPGA实例时,无需单独购买FPGA器件和板卡。FPGA实例支持按量付费,可随时释放,实现轻资产开发,降低项目研发期间的投入成本。
4.可复用已有的设计
如果您已经有现成的FPGA工程,可以利用阿里云提供的开发环境和硬件支持包(BSP)轻松地将已有工程导入云端,并在FPGA实例中使用。阿里云提供了Intel、Xilinx主流的开发软件工具链,FPGA实例中的FPGA器件也兼顾两家,方便您根据原设计的具体情况进行合理选择,无缝迁移。
三、FPGA云服务器应用场景
下面是FPGA云服务器的典型应用场景。
1.直播实时视频转码
阿里云异构GPU/FPGA服务器重点支持2019年双11猫晚直播的实时视频转码,以高画质、低带宽、高分辨率、实时的综合优势服务猫晚当天直播业务4K、2K、1080P等各个分辨率的转码。其中FPGA H.265高清编码、720P节省带宽21.6%,GPU云服务器支持高并发实时视频流5000路以上,并逐步上升到峰值6200路每分钟,且顺利度过洪峰。异构GPU云服务器还参与实时家居渲染图片生成等业务,首次提供了大量算力强劲的ebmgn6v裸金属实例,支持淘宝渲染方提升几十倍的渲染性能,第一次实现秒级实时渲染,完成总计超过5000张大型家居渲染图。异构FPGA图片转码业务则以3K+片的超大集群,为淘宝图片空间提供高达数百万QPS的处理能力,承担了双十一淘宝图片85%的流量,预计节省计算成本3亿。
2.人工智能
目前,GPU是人工智能技术方案的首选,原因在于两个方面:
GPU具有完善的生态和高并行度的计算力,能很好地帮助您实现方案和部署上线。
人工智能的发展仍处于早期阶段,各个行业正在从算法层面尝试寻找商业落地的可能性,是一个从0到1的过程。
可以预见在未来几年,人工智能落地应用越来越多,大规模商业部署渐渐成为可能。这时对于更低功耗、更低成本、更低处理延时、更多定制化等方面的需求将会逐渐凸显。在人工智能大规模商业部署(推理应用)中,f3实例将具备独特的性能优势和广阔的潜在空间。
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽,让多路大规模数据搬移和快速并行计算成为典型的计算模式,但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中,例如语音识别等,在Batch值较小的情况下,f3实例的处理延时仅为GPU的1/10。
深度神经网络计算的一个发展趋势是降低数据表示的精度,降低网络对于计算力的需求,以提高计算吞吐量。从双精度浮点到单精度浮点,再到定点处理,而定点运算是FPGA的传统优势。与GPU相比,FPGA内部配备了众多的定点处理单元,甚至可以将整个FPGA芯片的内部逻辑资源配置成定点处理单元,进而具备了超高的定点运算能力。
3.基因测序
基因测序是一种新型基因检测技术,能够从血液或唾液中分析测定基因全序列,预测罹患多种疾病的可能性。基因测序技术能锁定个人病变基因,提前预防和治疗,目前一个广为人知的用途是针对唐氏综合征的无创产前基因检测。随着基因测序技术的快速发展,基因数据的生成呈现指数级增长,应用也越来越广泛,对分析能力提出更高要求。
传统的计算系统通过采用多个高端CPU搭建HPC系统实现了缩短时间的目的,但导致成本增加,行业应用规模以及基因企业发展规模受限。目前中国内地基因企业面临基因计算成本偏高,但业务需求旺盛的行业困境,急需高性价比的算力资源。
以人类全基因组(WGS)分析为例,使用一台16 vCPU、64 GiB的CPU实例,完成单个WGS分析耗时近100小时,而f3实例可以在30分钟以内完成,极大地缩减了计算时间,降低了成本。
4.IC设计原型验证
在传统的数字IC设计流程中,使用FPGA搭建芯片原型验证平台测试功能是一个重要环节,验证过程需要大量的FPGA逻辑单元。而对于传统数字芯片设计公司,购买或者自研复杂的FPGA验证单板或平台,不仅耗时耗力,而且本不是公司主要业务方案。加之FPGA平台升级换代速度快过芯片设计周期,大型数字芯片设计中追求更大逻辑量FPGA板卡,需要不断研制最新FPGA板卡一直是个痛点。
f3实例选用单芯片逻辑单元达250万个的VU9P,支持双芯片600 Gbit/s互联以及多板卡间的100 Gbit/s互联。f3实例最多支持16个VU9P芯片,充分满足了数字芯片原型验证阶段对于大逻辑量的需求。同时选择f3实例还可以避免维护复杂FPGA板卡,缩减了验证平台的维护成本。
5.云端压缩的计算加速
云上用户在进行大数据存储、高速网络传输时,常常因为实例性能需要在效率和成本之间做出取舍。gzip是一种广泛用于互联网服务的压缩工具,但传统的CPU实现gzip效率低、耗时长、难以支撑较大流量。使用带有FPGA的计算实例进行gzip压缩,性能比仅用CPU的普通实例提升8~10倍,充分满足用户的数据压缩需求。
在后台服务日志压缩、网站静态资源文件压缩、批量计算任务压缩、分布式存储压缩等方面均可使用FPGA进行加速。
6.数据库加速
以大型互联网公司为例,每天处理的数据量级都在PB,每天更新的网页以亿计,每24小时更新的日志超过PB,因此需要大型的集群处理大规模的数据。在处理大规模数据时,数据仓库的性能直接影响数据本身的处理能力。
f3实例得益于FPGA细颗粒度的数据处理能力、高并发度的并行计算能力,能够大幅提升数据库产品的性能。
以数据库处理中的排序单元为例,在PostgreSQL的核心处理单元加速中,f3实例的性能比只使用CPU提升10倍以上。
以时序数据处理为例,时序数据广泛应用于物联网(IoT)设备监控系统、企业能源管理系统(EMS)、生产安全监控系统、电力检测系统等行业场景,f3实例单路数据吞吐性能是单核CPU的30倍以上。
四、FPGA云服务器基本概念
下面是使用FPGA云服务器过程中涉及的基本概念,方便您查询和了解相关概念。
1.FPGA云服务器概念
名词 | 说明 |
---|---|
FPGA | 现场可编程门阵列(Field Programmable Gate Array),具有硬件并行加速能力和可编程特性。 |
FaaS | FPGA即服务(FPGA as a Service),阿里云在云端提供的统一硬件平台与中间件,可大大降低加速器的开发与部署成本。 |
faasutil | 新一代命令行工具,用简单的命令完成配置环境、生成FPGA镜像、加载FPGA镜像等操作。 |
faascmd | FPGA云服务器提供的一个命令行工具,是基于Python SDK开发的脚本,提供云上FPGA管理服务。 |
FPGA镜像 | FPGA设备使用的镜像,用于安全开放加速能力,faascmd提供全套镜像管理流程。 |
OSS | 阿里云对象存储服务(Object Storage Service),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。使用FaaS服务时需要创建OSS Bucket存放相关文件。 |
2.ECS通用概念
概念 | 说明 |
---|---|
ECS实例 | 云上的虚拟计算服务器,内含vCPU、内存、操作系统、网络、磁盘等基础组件。 |
ECS实例规格 | 定义了ECS实例在计算性能、存储性能、网络性能等方面的基本属性,但需要同时配合镜像、块存储、网络等配置才能确定一台ECS实例的具体服务形态。 |
镜像 | 提供了运行实例所需的信息,包括操作系统、初始化应用数据等。 |
公共镜像 | 阿里云官方提供的基础镜像,均已获得正版授权,涵盖Windows Server系统镜像和主流的Linux系统镜像。 |
Alibaba Cloud Linux | 阿里云官方操作系统,为云上应用程序提供安全、稳定、高性能的定制化运行环境,并进行了针对性的深度优化,更加适合阿里云基础设施。 |
自定义镜像 | 您自行创建或导入的镜像,包含了初始系统环境、应用环境、软件配置等信息,可以节省重复配置的时间。 |
块存储 | 高性能、低时延的块设备,像物理硬盘一样分区格式化并创建文件系统后使用,满足大部分通用业务场景下的数据存储需求。 |
云盘 | 数据块级别的块存储产品,采用分布式三副本机制,为ECS实例提供99.9999999%的数据可靠性保证。 |
本地盘 | ECS实例所在物理机上的本地硬盘设备,存储I/O性能、海量存储的性价比极高,但数据可靠性取决于物理机的可靠性,存在单点故障风险。 |
快照 | 某一时间点云盘数据状态的备份文件,用于备份或者恢复整个云盘。 |
安全组 | 一种虚拟防火墙,您可以基于安全组控制实例的入流量和出流量。 |
SSH密钥对 | 一种安全便捷的登录认证方式,由公钥和私钥组成,仅支持Linux实例。 |
实例RAM角色 | ECS实例通过实例RAM角色获得该角色拥有的权限,可以基于临时安全令牌STS(Security Token Service)访问指定云服务的API和操作指定的云资源,安全性更高。 |
专有网络 | 您基于阿里云创建的自定义私有网络,不同专有网络之间通过隧道在逻辑上彻底隔离。您可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等。 |
弹性网卡 | 一种独立的虚拟网卡,可以绑定到ECS实例或从ECS实例解绑,实现业务的灵活扩展和迁移。 |
实例启动模板 | 包含了ECS实例的配置信息,使用实例启动模板创建ECS实例可以免去重复配置的操作。 |
部署集 | 部署集支持高可用策略,部署集内实例会严格分散在不同的物理服务器上,保证业务的高可用性和底层容灾能力。 |
专有宿主机 | 一台由单租户独享物理资源的云主机,具有满足严格的安全合规要求、允许自带许可证(BYOL)上云等优势。 |
弹性供应组 | 用于快速部署多可用区、多实例规格的ECS实例集群,通过多种供应策略组合使用抢占式实例和按量付费实例,满足对低成本和高稳定性的要求。 |
标签 | 由一对键值(Key-Value)组成。使用标签标识具有相同特征的资源后,例如所属组织或用途相同的资源,您可以基于标签方便地检索和管理资源。 |
资源组 | 供您从业务角度管理跨地域、跨产品的资源,并支持针对资源组的权限管理。 |
云助手 | 阿里云提供的自动化运维工具,无需登录即可完成在ECS实例上执行命令、向ECS实例发送文件等操作。 |
系统事件 | 影响ECS实例运行状态的计划底层运维事件或非预期维修事件,需要进行重启、停止或释放ECS实例等操作。系统事件会及时发送通知、应对措施和事件周期等信息,方便您提前完成备份数据等准备工作。 |
更多阿里云FPGA云服务器产品详情及相关活动请参考:
1.FPGA云服务器产品详情:https://www.aliyun.com/product/ecs/fpga
2.最新活动页面:https://www.aliyun.com/activity
3.免费试用中心:https://free.aliyun.com/
4.云小站(代金券发布平台):https://www.aliyun.com/minisite/goods