无人系统集群协同应用实验室建设方案-青岛德俊电子工程有限公司

总体方案设计

方案介绍无人系统集群协同应用实验室建议面积 100 ㎡-120 ㎡，可支撑 40 名学生的日常教学。建设内容主要分为三大模块，分别为软硬件仿真模块、室内动捕集群模块、配套课程资源。

无人系统集群协同应用实验室可支持学生从无人机集群仿真软件部署到单机控制实飞、多机群控制实飞、跟踪避障机动飞行、编队飞行、参数验证、轨迹验证等各类型实验。主要面向高职院校无人机应用、无人机测绘、飞行器数字化装配技术、飞行器数字化制造技术等专业，高职本科院校的无人机系统应用技术专业，本科院校的无人驾驶航空器系统工程、飞行器制造工程等专业、飞行器控制与信息工程专业。

方案设计

本实验室方案支持进行无人系统集群协同应用控制仿真开发相关的教学与科研，无人系统集群协同应用控制的设计仿真开发过程基于模型（MBD）的设计理念，以数学模型来模拟实际系统中的被控对象、执行机构等单元，在此基础上完成各模块核心算法功能的测试与验证。基于 PX4、MATLAB/Simulink 和 ROS 等软件系统以及相关智能硬件，可以开展无人系统集群软件在环仿真、硬件在环仿真，通过 MATLAB/Simulink 的自动代码生成技术，控制器能够被方便地自动下载到硬件中，用于 HIL 仿真和实际飞行测试，实现仿真到真机的无缝过渡（Sim2Real）。方案特点： 1、多场景应用。根据无人智能集群在各行业领域的应用，我们通过大模型为基点，融合集群协同侦察、追踪、应急精准投放、消防等实际场景，便于院校用教学手段验证行业问题。 2、丰富的教学流程。软件在环（初级验证）→硬件在环（进阶验证）→室内集群（高阶验证）→室外集群（行业验证），每阶段都有丰富的实验例程。 3、集群种类全。其中包含集中式和分布式，可根据用户教学及研究的方向才进行，我们在用户使用上进行全流程培训及服务。

主要产品介绍

本实验室包含：20 套集群仿真平台、5 套集群控制仿真单元；1 套室内动捕集群模块，室内动捕集群模块包含：无人机运动捕捉智能相机、图像解算软件、图像定位处理工作站、集群控制系统研发工作站、集群控制高速无线路由器、小型集群无人机、小型集群无人车、无人机集群控制接口软件 V1.0、集群控制开发平台、室内防护场地、遥控器、飞腾 Ultra Power 等设备；

集群仿真平台

集群仿真平台是一套智能无人系统自动化设计与开发工具链，工具链提供无人系统集群协同控制仿真开发从算法开发、到硬件在环仿真、再到真机部署实验的全流程自动化解决方案。包含了众多在进行无人系统集群协同控制仿真、算法验证等开发过程中所涉及到的软件，核心组件有 CopterSim、 QGroundControl、RflySim3D/RflySimUE5、Python38Env、Win10WSL 子系统、 SITL/HITLRun 一键运行脚本、MATLAB 自动代码生成工具箱、Simulink 集群控制接口、PX4 Firmware 源码、配套资料文件以及配套硬件系统。飞思集群仿真平台功能包含：无人载具系统统一框架建模、无人系统仿真场景功能开发、无人系统集群控制功能开发、无人协同控制决策算法设计、分布式网络通讯开发等。

（1）无人载具系统统一建模框架无人载具系统统一建模框架将整个无人载具系统分解为两个部分：机身系统与控制系统。机身系统与控制系统之间进行着传感器数据与控制信号。无人载具系统统一建模框架可提供机身系统高精度建模，并且可在实时仿真计算机中实现，支持连接控制系统软件或硬件，构成软件在环仿真或硬件在环仿真闭环。机身系统又可以细分为四个子系统：机体子系统、执行器子系统、三维环境子系统和传感器子系统。

• 机体子系统包含了机身、运行环境、力与力矩等内部子系统模块，是对机体在环境的运动、能耗和故障特性的整体描述；

• 执行器子系统包含了飞行器与外界环境的相互作用，它接收来之控制系统的控制信号，然后产生的力与力矩来驱动机身运动；

• 传感器子系统主要用于描述控制软件之外的所有电子硬件模型，主要包含传感器数据、通信协议、连接接口等特性；

• 三维环境子系统主要用于描述无人飞行的三维视景环境（包括树木、障碍物、公路等），用于为自主控制系统提供视觉数据的模拟。

图 3 无人载具系统统一建模框架

建模框架可以在 Simulink 等可视化建模与仿真软件中快速实现，在整个仿真模型搭建完毕后，可以利用自动代码生成的方法生成不同实时仿真计算机环境下的仿真软件，并且通过替代其中特定的子系统模块可以快速扩展得到不同类型的载具模型。

（2）无人系统仿真场景开发功能

集群仿真平台具备典型场景搭建设计模块，能够自定义场景类型，提供典型场景模块设计 SDK ，对场景内的环境、设施及行人进行自定义。支持通过 UDP/ROS 动态改变场景地图、改变飞机三维样式、动态创建障碍物（其他飞机、跟踪靶标、人物、标定板、桌椅等）、动态改变飞机视角（位置、方向、焦距等）、改变三维引擎输出图像分辨率等。集群仿真平台拥有基于 UE 引擎开发的核心三维显示软件，能够提供高逼真的虚拟现实显示效果，为用户呈现出非常接近真实场景的视觉体验。无论是无人飞行器在天空中的飞行、无人车在街道上的行驶，还是其他无人系统在各种环境中的运行，都能以高度逼真的视觉效果展示出来。支持多窗口观察与视角切换和任意多窗口切换观察，用户可以同时打开多个视角窗口，从不同的角度和位置观察无人系统的运行情况，方便对其进行全方位的监控和分析。并且可以通过快捷键或快捷指令实现视角焦点的切换，快速调整观察视角。支持直接使用 UE4 场景库中的海量三维场景，这些场景涵盖了各种不同的环境，如室内、街区、森林、山脉等，可以满足用户在不同场景下的仿真需求。支持自定义场景功能，用户也可以自行设计并导入三维场景，通过使用 3D Max 和 AutoCAD 等软件制作三维场景模型，并将其导入到 UE4 中，然后再导入到 Rflysim 平台。同时，还支持导入 OSGB+Cesium 倾斜摄影视景地图，为用户构建个性化的仿真场景提供了强大的支持。

图 4 高逼真三维场景示例

（3）无人系统集群控制开发功能集群仿真平台支持一键启动多机集群仿真功能，支持 MATLAB/Simulink、 Python 端集群仿真开发，支持多架软件在环、硬件在环及软、硬件相结合的虚实集群仿真，支持局域网内多台电脑的分布式集群仿真。随着飞机数量的增加，网络通信负载越来越大，为了在有限带宽下实现更多数量的无人机集群仿真，需要对通信进行优化，目前平台的数据协议主要有两种：MAVLink 数据和 UDP 压缩结构体，基于这两种数据协议，飞思集群仿真平台提出了 5 种压缩的数据协议，实现上百架的无人机集群仿真。

集群仿真平台可基于大规模集群分布式控制仿真系统平台，可实现大规模无人机集群仿真、分布式无人机集群控制研究、分布式无人机集群视觉感知算法验证、无人机飞行控制及通信算法验证等功能。系统框架如图所示。

（4）无人协同控制决策算法设计功能飞思集群仿真平台的无人协同控制决策算法设计模块，具有顶层集群规划指挥层、组网通讯节点层、集群决策层、底层控制层等大规模无人集群控制系统。

 支持集中式的无人集群控制策略，在指挥中心可以获取所有无人数据并统一进行轨迹规划与安全防护；

 支持分布式的无人集群控制策略，每个飞机可获取临近无人机的信息，并进行自主决策；

 支持集中式控制算法的软/硬件在环仿真验证；

 支持局域网内多台电脑上的多个软/硬件在环仿真系统组网，形成整体的集群仿真系统，并实现集中显示与控制；

 支持集群控制算法快速移植到真机飞行平台中，进行试飞测试；

（5）分布式网络通讯模块飞思集群仿真平台采用分布式组网架构，不同的仿真模型可以运行在同一台电脑或者不同的电脑上。打开多个模型仿真器并连接多个 Pixhawk/PX4 自驾仪硬件就可以形成多无人集群的仿真环境。由于单台电脑的性能是有限的，可以通过局域网内多台电脑间进行相互通信的形式进一步扩展整体飞机数量。

集群控制仿真单元

集群控制仿真单元主要应用于无人机等无人系统的多机集群仿真领域，可同时启动运行多个飞控，实现快速部署集群仿真硬件。仿真单元集成 10 套工业级自驾仪等硬件设备，作为集群仿真的主要载体，基于集群仿真平台构建了 Linux+ROS 与 PX4 联动的仿真环境，在仿真计算机上部署 RflySim 平台后，在 RflySim3D 中提供城市、山区等各类集群飞行环境，从而实现丰富的多机集群仿真，形成低成本、高效率、高可信的集群仿真解决方案，提供系统的的工具包及体系化的开发指导教程，内置网络继电器，具有云仿真能力。

无人系统室内动捕集群模块

无人系统室内动捕集群模块包含：无人机运动捕捉智能相机、图像解算软件、图像定位处理工作站、集群控制系统研发工作站、集群控制高速无线路由器、小型集群无人机、小型集群无人车、无人机集群控制接口软件 V1.0、集群控制基站、集群控制开发平台、室内防护场地、遥控器、飞腾 Ultra Power 等设备；

（1）无人机运动捕捉智能相机无人机运动捕捉智能相机用于给无人机提供定位数据，8 个镜头可以适配 6*6 米及以下的场地环境。支持红外光学追踪，无电、磁和声音干扰；可进行无线追踪，无数据线和电源线的牵绊；内置高能近红外 LED 闪光灯，波长为 850 nm，强度可供调整；满分辨率最大帧速 200 帧/秒；分辨率 130 万像素；相机镜头支持连续变焦功能，可以根据不同的使用场景选择不同的焦距而无须更换镜头。

（2）图像解算软件

图像解算软件可支持无人机定位精度达到 1mm，支持实时预览位置(X, Y, Z) 和姿态(Pitch, Yaw, Roll)，目标跟踪数量 15 个及以上；显示方式人性，操作窗口大小可灵活调节;支持多相机同时标定，缩短标定时间；标定数据可保存与加载，便于重复调用；刚体绑定灵活，组成刚体的光球数量可调，可选择使用模板或不使用模板创建刚体；显示界面模块化，显示区域与用户操作区域相互独立；可以在控制界面上指定 Yup 或 Zup 坐标系朝向；显示方式多样化，支持多显示模式、多视角窗口，多视图显示方式；

（3）集群控制系统研发及图像定位处理工作站

台式工作站采用联想品牌工作站，用于部署无人机开发系统。参数如下：CPU： i7-12700F、硬盘：512G-SSD、显卡：RTX3060 6G、内存：16GB 、显示器：23.6 英寸 1920×1080。

（4）小型集群无人机

集群无人机采用 FS-J150 型号产品，该产品一体开模成型，机身小巧布局紧凑，可以用于室内室外的集群控制，飞机自带前视单目及激光光流模块，且搭载 3566 机载计算板卡。轴距：140mm；尺寸（含桨）200*200*85mm；飞行时间：11 分钟；整机重量（含电池）300g；最大上升速度 2m/s；最大下降速度 2m/s；最大水平飞行速度 5 米/s；工作环境温度：-20°C 至 50°C；板卡性能：CPU：RK3566；内存：4GB，DDR4；存储：32GB；WIFI：集成 wifi6；平台包含：光流定点、激光定高、外置磁罗盘；支持光学定位系统导航定位开发，集中式/分布式集群编队算法开发，支持车机组合天地一体协同编队控制开发、ROS 二次开发、matlab二次开发；（主控软件）飞行控制：无人平台飞行控制软件 V1.0。

（5）扩展套装

主要用于产品的调试、维修等方面，包含 USB HUB、micro HDMI 线、HDMI 线、typeC USB 线、转接头、45 合一改锥套装、SD 卡读卡器、BB 响、工具袋；（6）小型集群无人车（标准版）小型集群无人车支持室外无人车集群及与无人机空地协同控制，尺寸：长 x 宽 x 高（mm）412x368x197mm,轴距：260mm,轮距：304mm,额定载重：5Kg,轮系：四轮轮毂电机,悬挂：垂直独立减震悬挂,最小离地间隙：70mm,驱动方式：四轮独立驱动,转向：差速转向,电池：24V 9Ah 锂电池组,动力配置：无刷轮毂电机，独立驱动,最大爬坡：12°,最大越坎：50mm,默认速度：1.5m/s,续航时间（空载）:4 小时。

（7）无人机集群控制接口软件 V1.0 无人机集群控制接口软件 V1.0 是无人平台机载控制软件，实时接收集群控制开发平台的控制数据发送给无人机/无人车，并实时获取无人机/无人车的状态信息发送给集群控制开发平台；

通过串口与无人机/无人车飞控通信，获取无人机/无人车状态数据，并使用 UDP 通信发送给控制指挥平台；

控制指令支持：位置控制指令、速度控制指令及加速度控制指令等控制方式；

状态信息包括：位置、速度、姿态、电池电量、控制状态等信息；

具有解锁、起飞、悬停、降落、速度控制、位置控制等多种飞行控制模式；

（8）集群控制开发平台集群控制开发平台基于 Matlab/Simulink 开发，实现了多无人机/无人车的集群协同控制；提供丰富的集群协同控制例程，供用户进行无人机/无人车集群协同编队控制算法开发与教学；可实时获取各无人机/无人车的的位置、姿态、速度等状态信息，通过协同编队控制程序，实时计算的位置控制、速度控制、模式控制等控制信息，发送给无人机/无人车，实现无人机/无人车集群协同编队控制；集群控制开发平台具有无人机/无人车集群解锁、起飞、悬停、降落、速度控制、位置控制等完善的飞行控制模式；具有基于虚拟结构法编队，实现任意轨迹、任意队形切换控制能力；具有由单机到多机、由简单到复杂的完整的控制例程 demo；

示例 demo 包括：  基础位置控制：从单机到多机的点到点飞行控制 demo；

 基于圆形函数曲线编队控制：从单机到多机的基于圆形函数曲线编队飞行控制 demo；

 基于“8”字函数曲线编队控制：从单机到多机的基于“8”字函数曲线编队飞行控制 demo；

 基于主从跟随的编队控制：无人机集群主从跟随飞行控制 demo；

 车机协同编队控制：无人机与无人车结合实现车机协同编队飞行控制 demo;

 基于多种函数曲线轨迹变换编队控制：从单机到多机的基于多函数曲线轨迹变换编队飞行控制 demo；

 基于虚拟结构法编队：队形切换控制的编队飞行控制 demo；

（9）其他设备本模块还包含了其他所必备的实验设备如：数据交换机、集群控制高速无线路由器、室内防护场地、遥控器、飞腾 Ultra Power 、无人机视觉标记点等。

实验设备辅材

实验室整体辅材可根据实验室实际环境进行选择，设备辅材包含、电池防爆箱、电池充电储存防爆柜、模型设计实验平台、六边形桌椅等。可给实验室整体情况进行选配。

课程资源

实验课程资源介绍

实验课程资源采用项目任务制的逻辑，依据企业内部真实项目开发流程研制，将飞控系统的整体设计及应用流程拆成若干个任务进行制作，每个任务模块中均含有视频资源、实验指导书、教学 PPT，用户可根据教学需求进行筛选适合的模块及实验进行使用，省去教师独自做课件、找资料的“烦恼”。实验课程按照软件在环→硬件在环→真机飞行测试的流程展开教学，其中包含 RflySim 仿真平台环境搭建、接口仿真数据收发实验、动捕实飞环境搭建、由简单到复杂的各种单机飞行控制实验和集群飞行控制实验等。