快速上手

一、PS2手柄控制

手柄接收器连接：

手柄控制：

将手柄接收器连接到Dofbot-SE扩展板上，打开手柄开关，即可使用手柄控制机械臂的关节，以下是手柄各按键对应的机械臂关节。

二、APP控制

1.Dofbot-SE接线及启动大程序

将STM32核心板插到Dofbot-SE扩展板上，打开扩展板电源开关，如果STM32核心板上的LED灯每隔一秒闪烁，表示已成功加载出厂固件。如果没有相应的LED指示灯亮起，请尝试重新烧录STM32核心板固件。指示灯如下图所示。

成功解压后打开资料中的虚拟机。

成功界面。

通过如下设置将摄像头线与数据线两个设备接到虚拟机系统中

打开一个终端，运行以下命令行启动大程序，听到蜂鸣器嘀嘀嘀三声，则表示程序启动成功

另开一个终端窗口，输入以下指令查看虚拟机当前IP地址，后续在app连接步骤中可输入该IP进行连接。请注意，为了使应用程序连接成功，虚拟机和手机需要连接到相同的网络

2.手机app的连接与控制

2.1 首次打开【YahboomRobot】APP 时，需要选择对应的产品，在首页左边栏选择【套件】→【Dofbot】。

2.2 根据提示选择网络连接方式，选择有线连接，Dofbot-SE版本不支持无线连接方式。

2.3手机自动搜索设备，等待数秒后弹出一个对话框，直接点击刷新 连接即可，如果长时间没有弹出，可以点击搜索设备在试一次。

2.4 如果长时间没有搜索到设备，请检查机械臂的联网状态，也可以尝试使用IP连接。IP：输入机械臂的ip地址，“IPort”：6000，“Video”：6500.

2.5. 机械臂校准引导：在使用机械臂前，机械臂的中位非常重要，中位的偏差直接会影响到后面所有玩法的准确性。按下【归中】按键，判断机械臂是否处于垂直向上，左右归中，机械爪抓紧状态，如果正常，请点击【跳过】按键，如果不正常则点击【开始校准】。

2.6 点击【开始校准】后，会进入校准机械臂的状态，仔细检查机械臂是否直立，左右归中是否正常，机械爪要用手按压到抓紧状态，调节完成后点击【确认校准】，当所有数字的指示环由蓝色变成绿色则表示设置成功，点击【下一步】。

 

2.7. 颜色校准引导：请把红色积木块拿到摄像头视野方框的位置且识别框能完全覆盖该颜色块，拿开手，等待图像中实时显示该颜色的 HSV 值稳定后，显示OK，点击【颜色校准】完成对该颜色的校准，然后依次把绿色、蓝色、黄色积木块按照刚刚的方法校验一遍，最后点击【完成】结束整个引导。

 

机械臂app功能介绍

Dofbot 机械臂的 APP 主界面总共分为八个模块，每一个模块都对应不同的功能。

一、遥控

在主界面点击【遥控】图标，会出现以下界面。

左边是摄像头显示的画面，由上方显示一台机械臂并写有 1~6 号数字，代表机械臂的六个舵机，当显示为红色则表示选中的是当前 ID 号的舵机，然后可以拖动下方的滑动杆或者按左右两边的按钮来调节舵机的位置。

【获取角度】：每次点击后，APP 会读取当前舵机的角度，然后更新到上方的滑动杆中。

【归中】：机械臂竖直立起。

【急停】：第一次点击会让机械臂关闭扭矩，舵机不再接收控制命令，并且没有保持当前位置的功能，可以用手掰动所有舵机的位置。第二次点击会让机械臂打开扭矩，所有舵机保持当前的位置，并且可以接收控制命令。

二、动作组

在主界面点击【动作组】图标，会出现以下界面。

动作组共有两个玩法，第一个是左边的自定义动作组，第二个是右边的固定动作组，中间的动作组的预览画面、运行动作组和停止动作组，点击【运行】可以运行当前的动作组，点击【急停】机械臂会停止运行动作组。

【自定义工作组】：可以自己让机械臂学习执行动作组。点击【学习模式】，会弹出一个对话框，同时机械臂扩展板上的 RGB 灯呈现蓝色呼吸灯：

点击【记录第 X 次动作】按钮，机械臂会把当前的姿态记录为一个动作组，同时机械臂扩展板上的 RGB 灯呼吸灯会变颜色，表示已经记录完成本次动作，当记录了多组动作后想要退出则点击【完成学习】，同时扩展板上呼吸灯会熄灭。如果出现红色呼吸灯，则表示学习出错或者记录的动作组已经满了（最多存储 20组动作），请点击【完成学习】按钮退出。

【固定动作组】：点击不同数字按钮，从预览窗口知道对应动作组的功能，点击【运行】时，运行固定的机械臂动作组功能。

三、手势互动

在主界面点击【手势互动】图标，会出现以下界面。

手势互动包含两个玩法，第一个是手势识别动作，第二个是手势识别堆叠；选择对应功能后，点击【玩法开关】的滑块开始玩法，功能预览窗口会显示当前可识别的手势；再次点击【玩法开关】的滑块可以关闭功能。

【手势识别动作】：可识别多种手势并执行对应的动作。

【手势识别堆叠】：识别手势 1234，分别夹取黄色、红色、绿色、蓝色积木块并按照顺序堆叠起来。识别到拳头把所有积木块推倒，并重置识别数据。

四、颜色互动

在主界面点击【颜色互动】图标，会出现以下界面。

颜色互动总共包含三个玩法，第一个是你放我抓，第二个是颜色抓取，第三个是引蛇出洞；选择对应的功能后，点击玩法开发的滑块打开功能，再次点击关闭功能。

【你放我抓】：将方块放置到摄像头识别的区域内，机械臂会自动分辨出当前的颜色，并且抓取积木块放到对应颜色的区域内。

【颜色抓取】：将积木块放到摄像头，机械臂识别出积木块颜色后，把积木块从对应的颜色区域抓取到中间的区域。

【引蛇出洞】：选择下方的颜色后再打开玩法开关，把选择的颜色的积木块放到机械臂的摄像头前，机械臂会模仿蛇的动作，把‘蛇’引到最长时，张开爪子夹取积木块放下。当拿的积木块与选择的颜色不同或者无限靠近它时，‘蛇’会出现害怕得发抖的动作。颜色切换时，先关闭玩法开关才有效。

五、追踪玩法

在主界面点击【追踪玩法】图标，会出现以下界面。

追踪玩法总共包含三个玩法，第一个是颜色追踪，第二个是取色追踪，第三个是人脸追踪，点击【玩法开关】的滑块打开功能，再次点击关闭功能。

【颜色追踪】：选择颜色，打开玩法开关，然后把对应颜色的积木块放到摄像头前，移动积木块，机械臂会跟着积木块移动。

【取色追踪】：点击‘取色追踪’按钮后，摄像头界面会显示一个方框，把要追踪的颜色填充到方框中，待准确取色后，点击【玩法开关】的滑块，系统完全检测出来该颜色的轮廓，机械臂就会跟着移动。

【人脸追踪】：机械臂会检测当前摄像头画面是否有人脸，如果有则标记并跟随人脸移动。

六、垃圾分拣

在主界面点击【垃圾分拣】图标，会出现以下界面。

点击【玩法开关】的滑块，系统自动加载模型，待图像中红色提示【Model-Loading…】消失后，将贴有垃圾图片的方块正放在相机视野中。垃圾分拣功能能够识别出当前积木块上贴的垃圾的类型，摄像头采集到图片中的信息，在 APP 上显示垃圾的类型，持续识别 10 次后将垃圾按照垃圾类型分拣到地图中对应的垃圾位置。

七、开发者玩法（Beta）

在主界面点击【开发者玩法（Beta）】图标，会出现以下界面。

调节【上下左右】按钮移动机械臂，使的方框完全出现在视野中，滑动【标定阈值】的滑动条调节边框检测阈值，直到方框四边完全检测出来，如上图所示。点击【确定标定】即可，进入【分拣玩法】界面，如下图所示。

【颜色分拣】玩法：点击【1】、【2】、【3】、【4】方框可更换颜色（黑色即不选）。点击【颜色分拣】按钮，打开颜色识别通道，待识别正确后，点击【玩法开关】的滑块按照颜色选择的顺序进行分拣抓取。

【垃圾分拣】玩法：点击【垃圾分拣】按钮，加载模型，请耐心等待，图像中红色提示【Model-Loading…】消失后，将贴有垃圾图片的方块正放在相机视野中，系统自动识别，点击【玩法开关】的滑块分拣抓取。

八、机械臂设置

在主界面点击【机械臂设置】图标，会出现以下界面。

机械臂设置总共包含三个功能，第一个是舵机校准，第二个是颜色校准，第三个是恢复默认配置。

【舵机校准】：功能与配置引导里的一样。

【颜色校准】：颜色校准分两个功能，第一个是【入门级校准】，功能与引导

配置里的一样，第二个是【颜色专业校准】。

【颜色入门校准】说明：请查看 11.颜色校准引导。

【颜色专业校准】说明：先把四种颜色的积木块同时放到视野中，选择需要校准的颜色，然后可以滑动【显示切换】按钮查看黑白图，通过 HSV 滑块进行调节，直到检测不到干扰颜色，点击【颜色校准】完成对该颜色的校准，同样方式依次校准其他颜色。验证结果，随意更换积木块位置，在彩色图下能够准确无误的识别出积木块，点击【完成】结束整个指引。详细介绍请查看课程【AI 视觉课程】—》【颜色校准】。

【恢复默认配置】：清除 APP 的配置信息，需要重新引导配置机械臂才可以再次使用。