快速上手

一、配置和连接APP

1.请按照说明书正确安装机械臂设备,然后给设备通电。

2.打开电源开关,等待约1分钟时间,听到蜂鸣器“滴~~~”声后,表示系统初始化完成,此时机械臂会转动到初始姿态。

3.查看扩展板上的OLED灯,获取设备的IP地址。

img

4.手机打开WiFi设置,连接机械臂的热点信号【DOFBOT-Pro】,密码:12345678。

 

5.打开【YahboomRobot】APP,首次打开需要选择【ROS机器人】->【DOFBOT Pro】设备。

img

6.点击【IP连接】,然后输入设备的IP地址,其他保持不变,点击【连接】。

img

7.再次点击【连接】,如果连接成功会自动跳转到配置界面。

img

8.【舵机校准】:在使用机械臂前,机械臂的中位非常重要,中位的偏差直接会影响到后面所有玩法的准确性。

按下【归中】按键,判断机械臂是否处于垂直向上,左右归中,机械爪抓紧状态,如果正常,请点击【跳过】按键,如果不正常则点击【开始校准】。

img

9.点击【开始校准】后,会进入校准机械臂的状态,仔细检查机械臂是否直立,左右归中是否正常,机械爪要用手按压到抓紧状态,调节完成后点击【确认校准】,当所有数字的指示环由蓝色变成绿色则表示设置成功,点击【下一步】。

img

img

10.【颜色校准】:请把红色积木块拿到摄像头视野方框的位置且识别框能完全覆盖该颜色块,拿开手,等待图像中实时显示该颜色的HSV值稳定后,显示OK,点击【颜色校准】完成对该颜色的校准,然后依次把绿色、蓝色、黄色积木块按照刚刚的方法校验一遍,如果某个颜色不需要校准,可以点击【跳过】,最后点击【完成】。

img

 

二、手机APP控制

机械臂的APP主界面总共分为八个模块,每一个模块都对应不同的功能。

1、遥控

image-20240924182236409

在主界面点击【遥控】图标,会出现以下界面。

image-20240924184743669

左边是摄像头显示的画面,右边上方显示一台机械臂并写有1~6号数字,代表机械臂的六个舵机,当显示为红色则表示选中的是当前ID号的舵机,然后可以拖动下方的滑动杆或者按左右两边的按钮来调节舵机的位置。

【获取角度】:每次点击后,APP会读取当前舵机的角度,然后更新到上方的滑动杆中。

【归中】:机械臂竖直立起。

【急停】:点击该按钮后,机械臂关闭扭矩,舵机不再接收控制命令,并且没有保持当前位置的功能,可以用手掰动所有舵机的位置。再次点击会让机械臂打开扭矩,所有舵机保持当前的位置,并且可以接收控制命令。

2、动作组

image-20240924182309859

在主界面点击【动作组】图标,会出现以下界面。

image-20240924182741974

动作组共有两个玩法,第一个是左边的自定义动作组,第二个是右边的固定动作组,中间的动作组的预览画面、运行动作组和停止动作组,点击【运行】可以运行当前的动作组,点击【停止】,机械臂会停止运行动作组。

【自定义工作组】:可以让机械臂学习和执行动作组。点击【学习模式】,会弹出一个对话框,同时机械臂扩展板上的RGB灯呈现呼吸灯状态:

image-20240924182814790

点击【记录第X次动作】按钮,机械臂会把当前的姿态记录为一个动作组,同时机械臂扩展板上的RGB灯呼吸灯会变颜色,表示已经记录完成本次动作,当记录了多组动作后想要退出则点击【完成学习】,同时扩展板上呼吸灯会熄灭。在动作组界面点击【运行】按钮,即可运行刚刚机械臂学习到的动作组。

如果出现红色呼吸灯,则表示学习出错或者记录的动作组已经满了(最多存储20组动作),请点击【完成学习】按钮退出。

【固定动作组】:点击不同数字按钮,从预览窗口知道对应动作组的功能,点击【运行】时,运行固定的机械臂动作组功能。

3、手势互动

image-20240924182326866

在主界面点击【手势互动】图标,会出现以下界面。

image-20240924182850700

手势互动包含两个玩法,第一个是手势识别动作,第二个是手势识别堆叠;选择对应功能后,点击【玩法开关】右边的滑块开始玩法;功能预览窗口会显示指引功能操作;再次点击【玩法开关】的滑块可以关闭功能。

【手势识别动作】:可识别手势1~5并执行对应的动作。

【手势识别堆叠】:识别手势1234,分别夹取蓝色、绿色、红色、黄色积木块并按照顺序堆叠起来。识别到手势5把所有积木块推倒,并重置识别数据。

4、颜色互动

image-20240924182349748

在主界面点击【颜色互动】图标,会出现以下界面。

image-20240924182916441

颜色互动总共包含三个玩法,第一个是你放我抓,第二个是颜色抓取,第三个是引蛇出洞;选择对应的功能后,点击【玩法开关】右边的滑块打开功能,再次点击可关闭功能。

【你放我抓】:将方块放置到地图上的十字架上,机械臂会自动分辨出当前的颜色,并且抓取积木块放到对应颜色的区域内。

【颜色抓取】:将积木块放到摄像头前,机械臂识别出积木块颜色后,鸣笛一声,需要将积木块放到对应颜色的区域,机械臂会将积木块从对应的颜色区域抓取到十字架上。

【引蛇出洞】:选择下方的颜色后再打开玩法开关,把选择的颜色的积木块放到机械臂的摄像头前,机械臂会模仿蛇的动作,把‘蛇’引到最长时,张开爪子夹取积木块放下。当积木块无限靠近它时,‘蛇’会出现害怕得发抖的动作。颜色切换时,先关闭玩法开关才有效。

5、追踪玩法

image-20240924182408689

在主界面点击【追踪玩法】图标,会出现以下界面。

image-20240924182945993

追踪玩法总共包含三个玩法,第一个是颜色追踪,第二个是取色追踪,第三个是人脸追踪;点击【玩法开关】右边的滑块打开功能,再次点击可关闭功能。

【颜色追踪】:选择颜色,打开玩法开关,然后把对应颜色的积木块放到摄像头前,移动积木块,机械臂会跟着积木块移动。

【取色追踪】:点击【取色追踪】按钮后,摄像头界面会显示一个方框,把要追踪的颜色填充到方框中,待准确取色后,点击【玩法开关】右边的滑块,系统完全检测出来该颜色的轮廓,机械臂就会跟着移动。

【人脸追踪】:点击【人脸追踪】按钮,再点击【玩法开关】右边的滑块,机械臂会检测当前摄像头画面是否有人脸,如果有人脸,则标记并跟踪人脸移动。

6、垃圾分拣

image-20240924182543015

在主界面点击【垃圾分拣】图标,会出现以下界面。

image-20240924213705355

点击【玩法开关】右边的滑块,系统自动加载模型,待图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中。垃圾分拣功能能够识别出当前积木块上贴的垃圾的类型,摄像头采集到图片中的信息,在APP上显示垃圾的类型,持续识别10次后将垃圾按照垃圾类型分拣到地图中对应的垃圾位置。

7、开发者玩法(Beta)

image-20240924182557998

在主界面点击【开发者玩法(Beta)】图标,会出现以下界面。

image-20240924183042549

调节【上下左右】按钮移动机械臂,使的方框完全出现在视野中,滑动【标定阈值】的滑动条调节边框检测阈值,直到方框四边完全检测出来,如上图所示,点击【确认标定】即可进入功能界面。

【分拣玩法】界面,如下图所示。

image-20240924183114734

【颜色分拣】玩法:点击【1】、【2】、【3】、【4】方框可更换颜色(黑色即不选)。

点击【颜色分拣】按钮,打开颜色识别通道,待识别正确后,点击【玩法开关】右边的滑块按照颜色选择的顺序进行分拣抓取。

【垃圾分拣】玩法:点击【垃圾分拣】按钮,加载模型,请耐心等待,图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中,系统自动识别,点击【玩法开关】右边的滑块开始分拣积木块到对应的类别中。

 

8、机械臂设置

image-20240924182641776

在主界面点击【机械臂设置】图标,会出现以下界面。

image-20240924183225117

机械臂设置总共包含三个功能,第一个是舵机校准,第二个是颜色校准,第三个是恢复默认配置。

【舵机校准】:在使用机械臂前,机械臂的中位非常重要,中位的偏差直接会影响到后面所有玩法的准确性。

按下【归中】按键,判断机械臂是否处于垂直向上,左右归中,机械爪抓紧状态,如果正常,请点击【跳过】按键,如果不正常则点击【开始校准】。

image-20240924183515295

点击【开始校准】后,会进入校准机械臂的状态,仔细检查机械臂是否直立,左右归中是否正常,机械爪要用手按压到抓紧状态,调节完成后点击【确认校准】,当所有数字的指示环由蓝色变成绿色则表示设置成功,点击【返回】。

image-20240924183418929

 

【颜色校准】:颜色校准分两个功能,第一个是【入门级校准】,功能与引导配置里的一样,第二个是【颜色专业校准】。

image-20240924183803413

【颜色入门校准】说明:请把红色积木块拿到摄像头视野方框的位置且识别框能完全覆盖该颜色块,拿开手,等待图像中实时显示该颜色的HSV值稳定后,显示OK,点击【颜色校准】完成对该颜色的校准,然后依次把绿色、蓝色、黄色积木块按照刚刚的方法校验一遍,如果某个颜色不需要校准,可以点击【跳过】,最后点击【完成】。

image-20240924210202450

【颜色专业校准】说明:先把四种颜色的积木块同时放到视野中,选择需要校准的颜色,然后可以滑动【显示切换】按钮查看黑白图,通过HSV滑块进行调节,直到检测不到干扰颜色,点击【颜色校准】完成对该颜色的校准,同样方式依次校准其他颜色。

验证结果,随意更换积木块位置,在彩色图下能够准确无误的识别出积木块,点击【返回】即可。详细介绍请查看课程【视觉基础课程】->【颜色校准】。

image-20240924191356863

【恢复默认配置】:清除APP的配置信息,需要重新引导配置机械臂才可以再次使用。

image-20240924210929611