【基于unreal engine 4蓝图】HOLOLENS 2 多QRCODE二维码识别blueprint实现

忙活了一段时间,终于实现了hololens2的多二维码识别。在此讲解一下,如何基于UE4或者UE5来实现hololens2的QRcode这种二维码识别。

有很多人写过UNITY平台的,但是很少有人研究基于unreal engine的,作为一名编程小白,UE4蓝图无疑是最好的解决方式。

基础环境:UE4.27

在学习此部分之前,建议学习UE4蓝图基础知识,以及hololens2基于UE开发的基础教程部分。

hololens2本身配置有一枚摄像头,也可以实现二维码的扫描功能,通过二维码扫描我们可以更好的实现三维模型的控制和定位,比如说我们想做一个仪器设备的数字孪生,需要将虚拟的机器和真实机器零件配合起来。那就需要在真实机器的某个关键定位点贴上二维码,在基于这个二维码的坐标系定位来生成一个零件ACTOR,和现实中的设备位置相匹配,这样就实现了虚实融合。

前段时间CCTV报道的中国空间站团队,也在使用hololens来实现虚实结合:https://baijiahao.baidu.com/s?id=1760208534684760332&wfr=spider&for=pc

大概就是这个效果。

以下是教程正文:

 

(更多…)

小白也能实现的hololens2传感器数据流式传输到电脑

该方法主要是来自github的jdibenes/hl2ss:HoloLens 2 Sensor Streaming。 (来自于github.com)

大佬写的方法已经非常明确了,非常欣赏这种把代码解释的明明白白的大兄弟,我就说几个跑通过程中的一些小点:

 

需要软件平台:unity(导入微软的MRTK)、visual studio、Python或其他编译器(用pycharm或者vscode都可以)

需要硬件平台:一台有无线网卡的电脑、wifi路由器、HoloLens 2(需要先手动开启开发人员模式、设备门户、研究模式)即可。

(更多…)

UE4 HOLOLENS2 mixed reality capture unreal无法实现摄像头捕捉只显示绿色泡泡的问题

hololens2开发中一个问题:

如果你按照微软官方的实例,每一步都正确执行,严格遵守HOLOLENS2教程中的 Unreal 进行混合现实捕获(mixed-reality-capture-unreal)这一章节,会和我一样百思不得其解,为什么我的平面上面只有一个丑陋的绿色泡泡图案而没有摄像头的捕捉画面。

(更多…)

UE4和UE5中get gaze date没有输出节点的问题

在UE教程中,get gaze date节点中可以得到5个输出节点:

Out Gaze Data Gaze Origin

Out Gaze Data Gaze Direction

Out Gaze Data Fixation Point

Out Gaze Data Confidence Value

Return Value

但是在4.27和UE5中,get gaze date节点只有out gaze date 眼部追踪器凝视数据结构一个输出。实际上这是一个复合数据,有两种办法得到这5个输出节点。

首先第一种方法是直接在out gaze date输出节点上右键,点击分割结构体引脚,就可以得到上述五个输出节点的样子

第二种方法是从out gaze date上引出一个break节点,得到一个中断EyeTrackerGazeData节点,就可以把结构化的数据输出分成上述四个节点。

顺便吐槽一下,中文的UE4把这个翻译成了中断……其实个人理解意思是打开打散数据结构……

(更多…)