快速上手APP遥控1、下载YahBoomRobot2、硬件安装3、启动状态4、机械臂连接4.1、选择产品4.2、安装地图4.3、连接方式4.4、IP连接4.5、机械臂校准4.6、颜色校准5、机械臂控制5.1、功能界面5.2、遥控5.3、动作组5.4、手势互动5.5、颜色互动5.6、追踪玩法5.7、垃圾分拣5.8、开发者玩法5.9、机械臂设置
主要介绍如何快速使用Dofbot!
扫描下方二维码下载APP。
按照组装视频,检查Dofbot所有硬件连接是否正确。
打开扩展板的电源开关,等待主板系统和开机大程序启动,时间大约需要1分钟;系统启动后会有三声蜂鸣声表示机械臂已正常启动。
x如果等待几分钟还是没有蜂鸣器响声,可以连接Dofbot主板对应的热点,结合OLED显示的IP地址,VNC远程检查开机大程序运行状况!
其中热点模式下:
树莓派IP:192.168.1.11
密码:12345678
使用APP控制Dofbot前,我们需要确保Dofbot和手机在同一局域网(常见的是手机连接Dofbot热点或者两者连接同一WiFi)。
xxxxxxxxxx
部分手机对应无网络的热点会出现提示,连接Dofbot热点的手机,需要点击保持连接!
Dofbot长按拓展板K1按键进入配网模式的操作已经取消。
目前Dofbot出厂自带热点,所以不需要配置网络,直接选择有线连接方式!
xxxxxxxxxx
这里的有线连接并不需要连接网线,我们主要是通过配置IP进行连接!
根据自己的实际IP进行连接,热点模式默认192.168.1.11
在使用机械臂前,机械臂的中位非常重要,中位的偏差直接会影响到后面所有玩法的准确性。
按下【归中】按键,判断机械臂是否处于垂直向上,左右归中,机械爪抓紧状态,如果正常,请点击【跳过】按键,如果不正常则点击【开始校准】。
点击【开始校准】后,会进入校准机械臂的状态,仔细检查机械臂是否直立,左右归中是否正常,机械爪要用手按压到抓紧状态,调节完成后点击【确认校准】,当所有数字的指示环由蓝色变成绿色则表示设置成功,点击【下一步】。
把红色积木块拿到摄像头视野方框的位置且识别框能完全覆盖该颜色块,拿开手,等待图像中实时显示该颜色的HSV值稳定后,显示OK,点击【颜色校准】完成对该颜色的校准,然后依次把绿色、蓝色、黄色积木块按照刚刚的方法校验一遍,最后点击【完成】结束整个引导。
左边是摄像头显示的画面,右上方显示一台机械臂并写有1~6号数字,代表机械臂的六个舵机,当显示为红色则表示选中的是当前ID号的舵机,然后可以拖动下方的滑动杆或者按左右两边的按钮来调节舵机的位置。
【获取角度】:每次点击后,APP会读取当前舵机的角度,然后更新到上方的滑动杆中。
【归中】:机械臂竖直立起。
【急停】:第一次点击会让机械臂关闭扭矩,舵机不再接收控制命令,并且没有保持当前位置的功能,可以用手掰动所有舵机的位置。第二次点击会让机械臂打开扭矩,所有舵机保持当前的位置,并且可以接收控制命令。
动作组共有两个玩法,第一个是左边的自定义动作组,第二个是右边的固定动作组,中间的动作组的预览画面、运行动作组和停止动作组,点击【运行】可以运行当前的动作组,点击【急停】机械臂会停止运行动作组。
【固定动作组】:点击不同数字按钮,从预览窗口知道对应动作组的功能,点击【运行】时,运行固定的机械臂动作组功能。
【自定义工作组】:可以自己让机械臂学习执行动作组。点击【学习模式】,会弹出一个对话框,同时机械臂扩展板上的RGB灯呈现蓝色呼吸灯:
点击【记录第X次动作】按钮,机械臂会把当前的姿态记录为一个动作组,同时机械臂扩展板上的RGB灯呼吸灯会变颜色,表示已经记录完成本次动作,当记录了多组动作后想要退出则点击【完成学习】,同时扩展板上呼吸灯会熄灭。
如果出现红色呼吸灯,则表示学习出错或者记录的动作组已经满了(最多存储20组动作),请点击【完成学习】按钮退出。
xxxxxxxxxx
手势互动需要注册百度人体分析账号,注册教程可以参考【手势识别】教程,根据自己的APPID修改,用户收到产品是不会识别的!
手势互动包含两个玩法,第一个是手势识别动作,第二个是手势识别堆叠;选择对应功能后,点击【玩法开关】的滑块开始玩法,功能预览窗口会显示当前可识别的手势;再次点击【玩法开关】的滑块可以关闭功能。
【手势识别动作】:可识别多种手势并执行对应的动作。
【手势识别堆叠】:识别手势1234,分别夹取黄色、红色、绿色、蓝色积木块并按照顺序堆叠起来。识别到拳头把所有积木块推倒,并重置识别数据。
xxxxxxxxxx
由于我们校准颜色的场合:
摄像头朝向地图的,所以你放我抓的准确率会较高;
颜色抓取和引蛇出洞的准确率不高,在后面的单个功能案例,我们可以自行调整校准的场合,可提高识别准确率!
颜色互动总共包含三个玩法,第一个是你放我抓,第二个是颜色抓取,第三个是引蛇出洞;选择对应的功能后,点击玩法开发的滑块打开功能,再次点击关闭功能。
【你放我抓】:将方块放置到摄像头识别的区域内,机械臂会自动分辨出当前的颜色,并且抓取积木块放到对应颜色的区域内。
【颜色抓取】:将积木块放到摄像头,机械臂识别出积木块颜色后,把积木块从对应的颜色区域抓取到中间的区域。
【引蛇出洞】:选择下方的颜色后再打开玩法开关,把选择的颜色的积木块放到机械臂的摄像头前,机械臂会模仿蛇的动作,把‘蛇’引到最长时,张开爪子夹取积木块放下。当拿的积木块与选择的颜色不同或者无限靠近它时,‘蛇’会出现害怕得发抖的动作。颜色切换时,先关闭玩法开关才有效。
追踪玩法总共包含三个玩法,第一个是颜色追踪,第二个是取色追踪,第三个是人脸追踪,点击【玩法开关】的滑块打开功能,再次点击关闭功能。
【颜色追踪】:选择颜色,打开玩法开关,然后把对应颜色的积木块放到摄像头前,移动积木块,机械臂会跟着积木块移动。
【取色追踪】:点击‘取色追踪’按钮后,摄像头界面会显示一个方框,把要追踪的颜色填充到方框中,待准确取色后,点击【玩法开关】的滑块,系统完全检测出来该颜色的轮廓,机械臂就会跟着移动。
【人脸追踪】:机械臂会检测当前摄像头画面是否有人脸,如果有则标记并跟随人脸移动。
点击【玩法开关】的滑块,系统自动加载模型,待图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中。垃圾分拣功能能够识别出当前积木块上贴的垃圾的类型,摄像头采集到图片中的信息,在APP上显示垃圾的类型,持续识别10次后将垃圾按照垃圾类型分拣到地图中对应的垃圾位置。
调节【上下左右】按钮移动机械臂,使的方框完全出现在视野中,滑动【标定阈值】的滑动条调节边框检测阈值,直到方框四边完全检测出来,如上图所示。点击【确定标定】即可,进入【分拣玩法】界面,如下图所示。
【颜色分拣】玩法:点击【1】、【2】、【3】、【4】方框可更换颜色(黑色即不选)。
点击【颜色分拣】按钮,打开颜色识别通道,待识别正确后,点击【玩法开关】的滑块按照颜色选择的顺序进行分拣抓取。
【垃圾分拣】玩法:点击【垃圾分拣】按钮,加载模型,请耐心等待,图像中红色提示【Model-Loading…】消失后,将贴有垃圾图片的方块正放在相机视野中,系统自动识别,点击【玩法开关】的滑块分拣抓取。
机械臂设置总共包含三个功能,第一个是舵机校准,第二个是颜色校准,第三个是恢复默认配置。
【舵机校准】:参考【4.5、机械臂校准】
【颜色校准】:颜色校准分两个功能,第一个是【入门级校准】,功能与引导配置里的一样,第二个是【颜色专业校准】。
【颜色入门校准】:参考【4.6、颜色校准】。
【颜色专业校准】:先把四种颜色的积木块同时放到视野中,选择需要校准的颜色,然后可以滑动【显示切换】按钮查看黑白图,通过HSV滑块进行调节,直到检测不到干扰颜色,点击【颜色校准】完成对该颜色的校准,同样方式依次校准其他颜色。验证结果,随意更换积木块位置,在彩色图下能够准确无误的识别出积木块,点击【完成】结束整个指引。