TW-ZWX24型 AI人工智能机器人小车
-基于视觉的移动抓取机器人平台
1.设备性能与参数
TW-ZWX24是一款基于ROS (Robot Operating System) 机器人操作系统开发的教育机器人,该机器人采用麦轮底盘,可以实现全向移动的机器人,使用拥有472GFLOPS算力的英伟达Jetson系列主板作为主控,搭载了激光雷达、深度相机、6自由度机械臂等高性能硬件配置,可实现SLAM建图、自主路径规划、自动导航、人体特征识别、movelt机械臂仿真控制等应用。
工程级的强大配置
适用于雷达建图、自主导航、自动驾驶、智能语音、目标检测、人脸识别等多个领域的科研算法验证需求,不仅兼容各类开源项目程序,而且硬件全面升级,性能更强。
设备尺寸 | 250*240*510mm |
AI核心 | 128 核 Maxwell GPU |
ROS系统配件 | 激光雷达 深度相机 六轴机械臂 九轴姿态传感器 电机测速码盘 USB摄像头 语音交互 |
显示屏 | 7寸高清显示屏 |
扬声器 | 5W立体声扬声器 |
底盘方案 | 520减速电机、麦克纳姆轮、摆式悬挂 |
电源方案 | 12.6V 9600mAh 2C锂电池组 |
安全防护 | 短路保护、过流保护、过充保护、过放保护 |
设备重量 | 4.2KG |
2.AI核心单元
AI超算,472 GFLOPS 算力!
功能强大的 AI 计算机,搭载128 核 Maxwell GPU, 4核心Cortex-A57 处理器,提供 472 GFLOPS,快速运行现代 AI 算法。广泛应用于深度学习、计算机视觉、GPU 计算、多媒体处理等领域。支持流行的 AI 框架算法,如 TensorFlow、PyTorch、Caffe / Caffe2、Keras、MXNet、YOLOv5、YOLOv11 等。
基于 开源ROS 机器人操作系统开发
ROS (Robot Operation System) 是适用于机器人的开源操作系统,包含一套机器人设计的软件库和工具。它提供了操作系统应有的服务,包括硬件抽象,底层设备控制,常用函数的实现,进程间消息的传递,以及包管理。ROS 可简化机器人设计,是世界上主流的机器人软件框架。
硬件优势
强大计算能力:平台搭载了NVIDIA 核心,具有128核Maxwell GPU,提供472 GFLOP的计算能力,专为密集计算任务优化,显著提升卷积、矩阵运算及多模型并行推理效率。能够高效支持AI模型的推理与实时任务处理,确保快速响应和高效处理。
高效处理架构:通过CPU和GPU协同工作,CPU负责轻量级计算与任务调度,GPU加速密集计算任务,如图像处理和神经网络推理,从而显著提升处理速度。
内存优化:4GB LPDDR4 内存(带宽 25.6 GB/s)支持多任务并发运行,通过 ZRAM 交换压缩技术 扩展可用内存容量,确保复杂任务流畅执行。
高扩展性:设备支持多种接口(USB 3.0、HDMI、M.2等),支持GPIO扩展,能够方便地与其他外部设备和传感器进行集成与扩展,增强了平台的灵活性和应用场景的多样性。
3.激光雷达构建地图
基于TOF技术的2D激光雷达,专为 ROS/ROS2 机器人开发设计,集高精度测距、360° 全向扫描和强环境适应性于一体。凭借其紧凑设计和卓越性能成为机器人导航、SLAM 建图的理想解决方案。支持 Gmapping、Hector、Karto、Cartographer等建图算法。
雷达功能:
l RRT自主探索建图:设置探索的区域,运用RRT算法实现自主探索建图、地图保存、返回原点。
l 路径规划与导航:支持DWA路径规划,单点与多点自主导航。
l 激光雷达避障/跟随:可以实现检测周围环境,自主避开前方障碍物或者实时跟随距离雷达最近目标进行运动。
核心特征:
l 高精度测距:采用 TOF 技术,扫描半径达30米,采样频率可达20000次/秒,角分辨率优异0.09°@5Hz/0.13°@7Hz/0.22°@12Hz,测量精度高:0.05m-5m误差≤±6cm,5m-20m误差≤±4cm,20m-30m误差≤±10cm,满足高精度建图需求。
l 360°全向扫描:实现无缝环境感知,适用于动态避障与复杂场景导航。
l 强抗光能力:支持 100,000 Lux 强光环境,室内外表现稳定。
l IP65 防护等级:防水防尘设计,确保在多样化环境下的可靠运行。
l 灵活调速:内置电机驱动器,支持扫描频率调节,适应不同应用场景。
4.视觉系统
TW-ZWX24搭载有高性能RGB-D深度相机,基于结构光技术,适用于机器人开发、3D视觉应用和人机交互。集成了 RGB 彩色相机、红外(IR)相机、红外投影仪和深度处理器。相机采用高分辨率设计(支持1080P),深度范围更广(0.6m-8m),长距离场景下性能更优秀。强大的 SDK 支持以及 ROS/ROS2 兼容性,使其成为机器人导航、SLAM(同步定位与建图)、3D 测绘、教育研究和商业应用的理想选择。
相机功能:
l 深度图像数据、点云图像:通过相应的节点能够获取相机的深度图、彩色图、点云图。
l ORBSLAM2+Octomap建图:ORB-SLAM2是一个支持单目、双目、RGB-D相机的开源SLAM框架,能够实时计算相机的位姿并同时对周围环境三维重建,在RGB-D模式下可以得到真实尺度信息。
l RTAB-Map三维视觉建图与导航:运用RTAB算法将视觉与雷达融合,实现了机器人三维视觉建图与导航避障,支持全局重定位,自主定位。
详细参数:
l 测距技术:
采用结构光(Structured Light)技术,通过红外投影仪投射编码图案,结合红外相机捕获反射信号,计算深度信息。
内置 Orbbec 定制 ASIC 芯片,优化深度计算效率,降低主机计算负担。
l 深度范围:
标准范围:0.6 米 至 8 米,适合中远距离应用(如机器人导航、室内测绘)。
最小深度:0.4 米(部分模式下,需调整参数)。
深度精度:±3 mm(0.6 m 处),随距离增加略有下降(约 ±1% 距离误差)。
l 视场角(FOV):
深度相机:水平 58.4°,垂直 45.5°,对角 67.9°。
RGB 相机:水平约 60°,垂直约 49.5°(略大于深度相机,利于对齐)。
视场覆盖范围适中,适合室内环境感知和中型机器人平台。
l 分辨率与帧率:
深度流:
640×480 (VGA) @ 30 FPS
320×240 (QVGA) @ 30 FPS(低分辨率高帧率模式)
RGB 彩色流:
1920×1080 (1080p) @ 15 FPS
1280×720 (720p) @ 30 FPS
640×480 @ 30 FPS
红外流:640×480 @ 30 FPS(与深度流一致)。
支持多分辨率切换,满足不同计算资源和应用需求。
l 数据同步:
硬件级 RGB 与深度流同步,确保点云生成和颜色深度对齐的精度。
提供时间戳对齐功能,便于多传感器融合。
l 环境适应性:
工作温度:0°C 至 40°C,存储温度:-20°C 至 60°C。
室内优化,红外投影对强光敏感(建议避免阳光直射或强红外干扰)。
对黑色(吸收红外)、透明或镜面物体(反射红外)的深度测量可能受限。
l SDK 支持:
Orbbec OpenNI SDK(支持手势识别、点云处理)。
Orbbec SDK(提供相机控制、数据流管理)。
ROS/ROS2 驱动(通过 ros_astra_camera 包支持深度、RGB、点云发布)。
其他工具:兼容 OpenCV、PCL(点云库)、Matlab。
l 高级功能:
手势识别:支持 21 个手部关键点检测,适用于体感交互。
点云生成:提供实时 3D 点云数据,支持 3D 重建。
相机校准:提供内参和外参校准工具,减少径向/切向畸变。
多相机支持:可通过 USB Hub 连接多台 Astra Pro Plus,实现多视角感知。
5. 底盘系统
TW-ZWX24采用高强度、轻量化的大尺寸铝合金底盘作为核心骨架,这不仅赋予了机器人坚固耐用的特性,也为搭载各类传感器、执行器和其他负载提供了充足的空间和可靠的支撑。底盘设计巧妙地集成了四个高性能麦克纳姆轮,结合先进的运动控制算法,使机器人能够实现全方位、无死角的灵活移动,包括前进、后退、横移、原地旋转以及任意曲线轨迹的行驶。这种独特的运动方式赋予了小车极强的机动性,使其能够在狭窄空间内自由穿梭,完成传统轮式机器人难以实现的复杂操作。
更值得一提的是,小车配备了创新的摆式悬挂底盘系统。这种设计允许每个车轮模组独立地上下浮动,从而确保在复杂、崎岖不平的路面上,四个麦克纳姆轮始终能够与地面保持良好的接触。这一特性显著提升了机器人的地形适应能力,使其能够平稳地越过小型障碍物、爬坡以及在倾斜表面上稳定行驶。通过保持四轮的持续接地,摆式悬挂系统还能有效防止车轮悬空打滑,保证电机编码器能够准确地测量车轮的转动,为机器人精准的定位、导航和运动控制提供可靠的数据基础。这种设计对于需要精确控制和稳定运动的机器人应用至关重要,例如自主导航、物料搬运和巡检等。
6. 机械臂
搭载高精度六轴机械臂,由6个高性能串行总线舵机组成,每个舵机都具备精确的角度控制和反馈机制,协同工作实现了机械臂整体的灵活运动和精准定位。机械臂的重复定位精度高达 ±0.5mm,这意味着它能够精确地回到之前到达过的位置,这对于需要重复执行抓取、放置等动作的应用至关重要。
该机械臂的工作空间被设计为以机械臂中心轴为中心,半径为 30cm 的圆形区域。在这个范围内,机械臂能够灵活地执行各种操作,例如精准地抓取放置物体。其有效负载能力达到 500g,使其能够搬运一定重量的物品,满足多种应用场景的需求。
为了方便用户学习和开发,提供了配套的 MoveIt仿真课程。MoveIt是一款强大的 ROS 运动规划框架,通过仿真环境,用户可以在实际操作机械臂之前,安全地进行运动规划、碰撞检测和路径优化等操作,极大地提高了开发效率和安全性。
此外,机械臂还支持与语音交互系统结合,实现更加智能化的操作。例如,通过语音指令,用户可以控制机器人完成物品的搬运、垃圾的智能分拣等任务。这种人机交互方式不仅提高了操作效率,也拓展了机器人的应用场景,使其能够更好地服务于人类。
详细参数:
l 舵机方案:15KG*5+6KG串行总线智能舵机
l 关节数量及类型:5自由度+夹持器
l 运动范围和工作空间:半径≤30cm
l 负载能力:500g(搬运重量),有效负载200g(机械臂伸直夹取)
l 重复定位精度:±0.5mm
l 回读功能:支持回读舵机位置、状态等信息
l 通信方式:UART串口
7. 语音交互
该语音交互模块采用高度集成的音频处理设备,专为机器人应用设计,旨在提供卓越的语音识别和人机交互能力。该模块的核心是其高灵敏度麦克风阵列,这一设计使其能够有效地捕捉来自远距离的语音信号,即使在嘈杂环境中也能准确接收用户的指令。
为了确保语音识别的准确性,该模块集成了先进的降噪和回音消除技术。降噪功能可以显著降低环境噪声的干扰,而回音消除则能有效抑制扬声器播放的声音对麦克风接收的干扰,从而提高语音信号的清晰度和信噪比。
该模块与平台实现了高度的兼容性,可以无缝集成到机器人的控制系统中,实现语音控制导航、语音命令执行等功能。
详细参数:
l 麦克风类型: 高灵敏度麦克风阵列,能够同时接收来自多个方向的声音,提高拾音的准确性。
l 拾音范围: 远距离语音采集,保证小车在一定范围内都能接收到用户的语音指令。
l 降噪性能: 支持先进的降噪算法,有效降低环境噪声,提高语音识别率。
l 回音消除: 支持回音消除技术,消除扬声器播放声音对麦克风的干扰。
l 兼容性: 兼容平台,提供相应的 ROS 驱动和接口。
l 工作电压: 5V,采用常见的电源电压,方便集成。
l 工作电流: 300mA,低功耗设计,延长小车续航时间。
l 灵敏度: -38dB/Pa,表示麦克风对声压变化的敏感程度。
l 信噪比: 65dB,表示麦克风输出信号中有效信号与噪声的比值,越高表示音质越好。
8. 姿态检测
采用九轴姿态传感器检测小车位姿,这是一款是一款高性能、微型化的运动检测模块,它集成了三轴加速度计、三轴陀螺仪和三轴磁力计,能够全面、精确地实时捕捉设备的姿态、方向和运动状态。这种多传感器融合的设计使其能够提供比单一传感器更全面、更可靠的运动信息,是许多需要精确姿态感知应用的理想选择。
主要功能与优势:
l 全面运动感知:通过加速度计测量设备在三个轴上的线性加速度,用于检测倾斜、振动和冲击;陀螺仪测量设备绕三个轴的角速度,用于检测旋转运动;磁力计测量地球磁场,用于确定设备的绝对方向(航向)。
l 可调量程:加速度计和陀螺仪都提供多种可调量程,允许用户根据具体的应用需求和运动强度选择合适的测量范围,从而优化测量精度。
l 高灵敏度与低噪声:传感器具有高灵敏度和低噪声特性,能够捕捉到微小的运动变化,确保测量结果的准确性和稳定性。
l 高采样频率:最高可达 200Hz 的采样频率,保证了传感器能够实时捕捉快速变化的运动,满足动态应用的需求。
l 低功耗设计:在低功耗模式下,功耗仅为约 0.5mA,有助于延长电池供电设备的续航时间。
l 高精度:静态姿态角精度达到 ±0.05°,动态姿态角精度达到 ±0.1°,满足高精度姿态测量需求。
9. 其他亮点
AI 小车不仅具备强大的硬件基础,更在软件和功能上进行了深度优化,展现出卓越的智能化水平。其突出的功能和亮点包括:
l MediaPipe 开发: 集成了 MediaPipe 框架,这是一个由 Google 开发的强大的多媒体处理管道。通过 MediaPipe,开发者可以轻松实现各种复杂的 AI 任务,例如:
o 人脸识别与分析:实时检测和识别人脸,并提取面部特征点,用于身份验证、表情分析等。
o 手势识别:识别用户的手势动作,实现自然的手势控制交互。
o 物体检测与跟踪:检测特定物体,并在视频流中持续跟踪其位置和姿态。
这些功能极大地拓展了机器人的应用场景,使其能够更好地理解和响应人类的行为。
l AI 交互升级: 在人机交互方面进行了全面升级,使其能够以更自然、更智能的方式与人类进行互动。
o 智能语音交互:集成高精度语音识别和合成技术,实现流畅的语音对话,支持语音控制导航、任务执行等。
o 视觉情感识别:分析人类的面部表情,判断其情绪状态,并做出相应的反馈,例如在检测到用户悲伤时播放舒缓的音乐。
l 视觉循迹自动驾驶:搭载先进的视觉导航算法,使产品能够在预先设定的道路或轨迹上自主行驶。
o 车道线检测:准确识别道路上的车道线,保持车辆在车道中央行驶。
o 路径规划:根据环境信息和目标位置,规划最优行驶路径。
这使得机器人能够在无需人工干预的情况下完成巡逻、配送等任务。
l KCF 目标追踪:采用 KCF (Kernelized Correlation Filter) 算法,实现对特定目标的精确、鲁棒的实时追踪。
o 动态目标追踪:即使目标发生形变、遮挡或光照变化,也能保持稳定的追踪。
o 多目标追踪:支持同时追踪多个目标,满足复杂的追踪需求。
这项技术在机器人安防、物流等领域具有广泛的应用价值。
l 多机编队互联控制:支持多台机器人之间的协同工作,实现编队行驶、协同搬运等复杂任务。
o 分布式控制:通过无线通信网络,实现机器人之间的信息共享和协同控制。
o 集群智能:形成机器人集群,共同完成大规模任务,提高工作效率。
l Rviz 仿真控制: 集成 Rviz 可视化工具,为开发者提供强大的机器人仿真和调试环境。
o 三维可视化:以三维方式显示机器人的状态、传感器数据和环境信息。
o 运动规划调试:可视化地调试机器人的运动规划算法,优化运动轨迹。
这极大地简化了开发流程,提高了开发效率。
10. 课程案例
设备配套的课程资源,旨在为用户提供一个全面而深入的机器人学习体验,从 ROS 基础知识到前沿的 AI 应用,构建起完整的知识体系和实践能力。这些课程资源不仅是简单的操作指南,更是系统化的学习路径,助力用户快速掌握机器人开发的核心技能,并具备解决实际问题的能力。
主要亮点和特点:
l ROS 基础知识体系:课程资源系统地讲解 ROS (Robot Operating System) 的核心概念和技术,包括:
o ROS 架构与通信机制:深入理解 ROS 的节点、话题、服务、参数服务器等基本组成部分,以及它们之间的交互方式。
o ROS 工具与命令:熟练掌握 ROS 常用工具,如 roscd、rospack、rosrun、rostopic、rosservice 等,提高开发效率。
o ROS 开发环境搭建:指导用户搭建 ROS 开发环境,配置工作空间,创建和编译 ROS 包。
l 机器人关键技术深度解析:课程资源重点讲解机器人领域的核心技术,并提供大量的实践案例,帮助用户深入理解和应用这些技术:
o SLAM 建图与自主导航:讲解如何使用激光雷达、深度相机等传感器获取环境信息,并利用 SLAM 算法构建高精度地图;深入探讨路径规划和导航算法,使机器人能够在未知环境中自主移动。
o 计算机视觉与物体识别:教授如何使用 OpenCV 等视觉库,以及深度学习模型,实现物体检测、识别、跟踪等功能,使机器人具备"视觉"能力。
o 机械臂运动规划与控制:从机械臂的运动学建模入手,讲解如何进行轨迹规划、碰撞检测、逆运动学求解,最终实现机械臂的精确控制和复杂操作。
o AI 深度学习应用:引入 MediaPipe 等先进的 AI 框架,探索其在机器人领域的应用,例如人脸识别、手势识别、情感识别等,使机器人具备更强的感知和交互能力。
l 仿真环境与实践: 课程资源强调理论与实践相结合,提供丰富的仿真环境和实践项目,例如:
o Rviz 仿真:学习使用 Rviz 进行机器人可视化,调试传感器数据,观察运动规划结果。
o MoveIt! 运动规划:掌握 MoveIt! 运动规划框架,在仿真环境中进行机械臂运动规划和控制。
o 真实机器人实验:结合实际的 ROSMASTER X3 Plus 机器人,完成各种机器人应用项目的开发和调试。
l 丰富的案例与项目实践:课程资源提供大量的机器人应用案例,例如:
o 智能语音交互:开发语音控制机器人导航、任务执行等功能。
o 视觉循迹与自动驾驶:实现机器人沿特定路径自主行驶。
o 多机器人协同:学习多机器人编队控制、协同搬运等。
这些案例帮助用户将所学知识应用到实际场景中,提升解决实际问题的能力。