基于语义地图的灾探无人机重定位方法

黎容熙; 唐家成; 胡天江

doi:10.13471/j.cnki.acta.snus.ZR20240348

您当前的位置：

首页 >

文章列表页 >

基于语义地图的灾探无人机重定位方法

更新时间：2025-01-23

- 基于语义地图的灾探无人机重定位方法
- A semantic map-based drones relocalization method for UAV in disaster exploration
- 中山大学学报(自然科学版)(中英文) 2025年页码：1-10
- 作者机构：
  
  1.中山大学航空航天学院，广东深圳 518107
  2.中山大学人工智能学院，广东珠海 519080
- 作者简介：
  
  黎容熙（2000年生），男；研究方向：视觉感知；E-mail：lirx67@mail2.sysu.edu.cn
  胡天江（1979年生），男；研究方向：群体智能，集群系统；E-mail：hutj3@mail.sysu.edu.cn
- 基金信息：
  
  广东省重点领域研发计划(2024B1111060004)
- DOI：10.13471/j.cnki.acta.snus.ZR20240348
  中图分类号： TP242
- 网络出版日期：2025-01-23，
  
  收稿日期：2024-12-11，
  
  录用日期：2024-12-23
- 稿件说明：
移动端阅览
黎容熙, 唐家成, 胡天江. 基于语义地图的灾探无人机重定位方法[J/OL]. 中山大学学报(自然科学版)(中英文), 2025,1-10.

LI RONGXI, TANG JIACHENG, HU TIANJIANG. A semantic map-based drones relocalization method for UAV in disaster exploration. [J/OL]. Acta scientiarum naturalium universitatis sunyatseni, 2025, 1-10.
黎容熙, 唐家成, 胡天江. 基于语义地图的灾探无人机重定位方法[J/OL]. 中山大学学报(自然科学版)(中英文), 2025,1-10. DOI： 10.13471/j.cnki.acta.snus.ZR20240348.

LI RONGXI, TANG JIACHENG, HU TIANJIANG. A semantic map-based drones relocalization method for UAV in disaster exploration. [J/OL]. Acta scientiarum naturalium universitatis sunyatseni, 2025, 1-10. DOI： 10.13471/j.cnki.acta.snus.ZR20240348.

摘要

针对灾难环境可能造成全局定位系统的失效及可见光图像的退化，以及传统的基于计算机视觉的重定位算法因图像特征点不足而成功率较不高的问题，提出了一种基于语义地图的无人机重定位方法。该方法依赖RGB-D图像来识别并构建受灾环境中的路标点，通过与先验地图间的路标点匹配，进而优化求解得到无人机的相对位姿。通过减少对目标识别网络潜在的广义物体识别能力的抑制，得到图像中的高级别特征点，有效解决了因特征点不足而难以重定位的问题。基于广义物体重建的路标点，提出了一种快速的路标点检索与匹配方法。实验结果表明，与基于目标识别网络的路标点构建方法相比，本方法能在未知环境中重建更丰富的路标点，并能有效地基于这些路标点进行重定位。在图像退化的灾难场景中，本方法展现出比目前被广泛使用的图像检索方法更高的召回率和鲁棒性。

Abstract

In response to the potential failure of global positioning systems in disaster environments and the degradation of visible light images， as well as the low success rate of traditional computer vision-based relocalization algorithms due to insufficient image feature points， a semantic map-based drone relocalization method for unmanned aerial vehicle（UAV） is proposed. This method relies on RGB-D images to identify and construct landmark points in the disaster-affected environment. These landmark points are then matched with prior maps to optimize and estimate the relative pose of the drone. By reducing the suppression of the potential general object recognition capability within object recognition networks， high-level feature points in the image are obtained， effectively addressing the problem of difficult relocalization due to insufficient feature points. Building on the generalized object-based reconstruction of landmark points， an efficient method for retrieving and matching these points is proposed. Experimental results demonstrate that the approach can reconstruct a richer set of landmarks in unknown environments and effectively utilize them for localization， compared to other object recognition-based landmark point construction methods. In disaster scenarios with image degradation， this method exhibits higher recall rates and robustness than widely used image retrieval methods.

关键词

城市火灾无人机重定位语义地图回环检测

Keywords

urban fireUAVrelocalizationsemantic maploop closure detection

references

丁静， 2024. 烟雾环境下运动目标双目视觉定位技术研究［J］. 测绘学报，53（3）：582.

李海顺，李兴东， 2024. 基于改进CycleGAN的林火图像烟雾滤除算法研究［J］. 消防科学与技术，43（11）：1596-1602.

刘宇轩，刘虎，田永亮，等，2020. 面向林火持续侦察的多无人机分布式控制方法［J］. 航空学报， 41（2）： 272-287.

潘礼规，尹佳琪，徐春光， 2023. 基于载波相位观测的无人机集群相对定位方法［J］. 中山大学学报（自然科学版中英文）， 62（3）： 125-136.

吴俊君，胡国生， 2013. 室内环境仿人机器人快速视觉定位算法［J］. 中山大学学报（自然科学版），52（4）：7-13.

谢红玉. 2024. 多源信息融合的移动机器人SLAM方法研究［D］. 北京：北京化工大学.

CHEN Q， WANG Y， YANG T， et al， 2021. YOLOLF：You only look one-level feature［J/OL］. https：//arxiv.org/pdf/2103.09460https://arxiv.org/pdf/2103.09460.

DETONE D， MALISIEWICZ T， RABINOVICH A， 2018. SuperPoint： Self-supervised interest point detection and description［C］//IEEE Conference on Computer Vision and Pattern Recognition Workshops.Salt Lake City， UT， USA.

DO T， MIKSIK O， DEGOL J， et al， 2022. Learning to detect scene landmarks for camera localization［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans， LA， USA.

DO T， SINHA S N， 2024. Improved scene landmark detection for camera localization［C］//2024 International Conference on 3D Vision. Davos， Switzerland.

DUAN K， BAI S， XIE L， et al， 2019. CenterNet： Keypoint triplets for object detection［C］//IEEE/CVF International Conference on Computer Vision. Seoul， Korea.

GALVEZ-LOPEZ D， TARDOS J D， 2011. Real-time loop detection with bags of binary words［C］//IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco， California， USA.

KENDALL A， GRIMES M， CIPOLLA R， 2015. PoseNet： A convolutional network for real-time 6-DOF camera relocalization［C］//IEEE International Conference on Computer Vision.Santiago， Chile.

LI J， KOREITEM K， MEGER D， et al， 2020. View-invariant loop closure with oriented semantic landmarks［C］//IEEE International Conference on Robotics and Automation. Paris， France.

LIN T Y， MAIRE M， BELONGIE S， et al， 2015. Microsoft COCO： Common objects in context［EB/OL］. arXiv.1405.0312.

LIU C， SHEN S， 2023. Towards view-invariant and accurate loop detection based on scene graph［C］//IEEE International Conference on Robotics and Automation. London，UK.

LIU J， LI X， LIU Y， et al， 2022. RGB-D inertial odometry for a resource-restricted robot in dynamic environments［J］. IEEE Robotics and Automation Letters， 7（4）： 9573-9580.

LIU Y，PETILLOT Y，LANE D，et al，2019. Global localization with object-level semantics and topology［C］//International Conference on Robotics and Automation. Montreal， Canada.

MAHATTANSIN N， SUKVICHAI K， BUNNUN P， et al，2022. Improving relocalization in visual SLAM by using object detection［C］//19th International Conference on Electrical Engineering/Electronics， Computer， Telecommunications and Information Technology. Prachuap Khiri Khan，Thailand.

MUR-ARTAL R， TARDOS J D， 2017. ORB-SLAM2： An open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 33（5）： 1255-1262.

QIAN Z， FU J， XIAO J， 2022. Towards accurate loop closure detection in semantic SLAM with 3D semantic covisibility graphs［J］. IEEE Rob Autom， 7（2）： 2455-2462.

REDMON J， FARHADI A， 2018. YOLOv3： An incremental improvement［J/OL］.arXiv.1804.2767.

SAKARIDIS C， DAI D， van GOOL L， 2018. Semantic foggy scene understanding with synthetic data［J］. J Computer Vision， 126（9）： 973-992.

SARLIN P E， DETONE D， MALISIEWICZ T， et al， 2020. SuperGlue： Learning feature matching with graph neural networks［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA.

SATTLER T， LEIBE B， KOBBELT L， 2011. Fast image-based localization using direct 2D-to-3D matching［C］//International Conference on Computer Vision. Colorado Springs， CO， USA.

ZINS M， SIMON G， BERGER M O， 2022. OA-SLAM： Leveraging objects for camera relocalization in visual SLAM［C］//International Symposium on Mixed and Augmented Reality. Daejeon， South Korea.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

灾难场景建筑三维重建的无人机航迹规划方法