A semantic map-based drones relocalization method for UAV in disaster exploration

LI Rongxi; TANG Jiacheng; HU Tianjiang

doi:10.13471/j.cnki.acta.snus.ZR20240348

您当前的位置：

首页 >

文章列表页 >

A semantic map-based drones relocalization method for UAV in disaster exploration

Research articles | 更新时间：2025-11-14

- A semantic map-based drones relocalization method for UAV in disaster exploration
- Acta Scientiarum Naturalium Universitatis Sunyatseni Vol. 64, Issue 3, Pages: 109-118(2025)
- 作者机构：
  
  1.中山大学航空航天学院，广东深圳 518107
  2.中山大学人工智能学院，广东珠海 519080
- 作者简介：
- 基金信息：
- DOI：10.13471/j.cnki.acta.snus.ZR20240348
  CLC： TP242
- Received：11 December 2024，
  
  Accepted：23 December 2024，
  
  Published Online：24 January 2025，
  
  Published：25 May 2025
- 稿件说明：
移动端阅览
黎容熙,唐家成,胡天江.基于语义地图的灾探无人机重定位方法[J].中山大学学报(自然科学版)(中英文),2025,64(03):109-118.

LI Rongxi,TANG Jiacheng,HU Tianjiang.A semantic map-based drones relocalization method for UAV in disaster exploration[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2025,64(03):109-118.
黎容熙,唐家成,胡天江.基于语义地图的灾探无人机重定位方法[J].中山大学学报(自然科学版)(中英文),2025,64(03):109-118. DOI： 10.13471/j.cnki.acta.snus.ZR20240348.

LI Rongxi,TANG Jiacheng,HU Tianjiang.A semantic map-based drones relocalization method for UAV in disaster exploration[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2025,64(03):109-118. DOI： 10.13471/j.cnki.acta.snus.ZR20240348.

摘要

针对灾难环境可能造成全局定位系统的失效及可见光图像的退化，以及传统的基于计算机视觉的重定位算法因图像特征点不足而成功率较不高的问题，提出了一种基于语义地图的无人机重定位方法。该方法依赖RGB-D图像来识别并构建受灾环境中的路标点，通过与先验地图间的路标点匹配，进而优化求解得到无人机的相对位姿。通过减少对目标识别网络潜在的广义物体识别能力的抑制，得到图像中的高级别特征点，有效解决了因特征点不足而难以重定位的问题。基于广义物体重建的路标点，提出了一种快速的路标点检索与匹配方法。实验结果表明，与基于目标识别网络的路标点构建方法相比，本方法能在未知环境中重建更丰富的路标点，并能有效地基于这些路标点进行重定位。在图像退化的灾难场景中，本方法展现出比目前被广泛使用的图像检索方法更高的召回率和鲁棒性。

Abstract

In response to the potential failure of global positioning systems in disaster environments and the degradation of visible light images， as well as the low success rate of traditional computer vision-based relocalization algorithms due to insufficient image feature points， a semantic map-based drone relocalization method for unmanned aerial vehicle（UAV） is proposed. This method relies on RGB-D images to identify and construct landmark points in the disaster-affected environment. These landmark points are then matched with prior maps to optimize and estimate the relative pose of the drone. By reducing the suppression of the potential general object recognition capability within object recognition networks， high-level feature points in the image are obtained， effectively addressing the problem of difficult relocalization due to insufficient feature points. Building on the generalized object-based reconstruction of landmark points， an efficient method for retrieving and matching these points is proposed. Experimental results demonstrate that the approach can reconstruct a richer set of landmarks in unknown environments and effectively utilize them for localization， compared to other object recognition-based landmark point construction methods. In disaster scenarios with image degradation， this method exhibits higher recall rates and robustness than widely used image retrieval methods.

关键词

Keywords

references

丁静， 2024 . 烟雾环境下运动目标双目视觉定位技术研究［J］. 测绘学报， 53 （ 3 ）： 582 .

李海顺，李兴东， 2024 . 基于改进CycleGAN的林火图像烟雾滤除算法研究［J］. 消防科学与技术， 43 （ 11 ）： 1596 - 1602 .

刘宇轩，刘虎，田永亮，等， 2020 . 面向林火持续侦察的多无人机分布式控制方法［J］. 航空学报， 41 （ 2 ）： 272 - 287 .

潘礼规，尹佳琪，徐春光， 2023 . 基于载波相位观测的无人机集群相对定位方法［J］. 中山大学学报（自然科学版中英文）， 62 （ 3 ）： 125 - 136 .

吴俊君，胡国生， 2013 . 室内环境仿人机器人快速视觉定位算法［J］. 中山大学学报（自然科学版）， 52 （ 4 ）： 7 - 13 .

谢红玉 . 2024 . 多源信息融合的移动机器人SLAM方法研究［D］. 北京：北京化工大学 .

CHEN Q ， WANG Y ， YANG T ， et al ， 2021 . YOLOLF：You only look one-level feature ［J/OL］. https：//arxiv.org/pdf/2103.09460 https://arxiv.org/pdf/2103.09460 .

DETONE D ， MALISIEWICZ T ， RABINOVICH A ， 2018 . SuperPoint： Self-supervised interest point detection and description ［C］// IEEE Conference on Computer Vision and Pattern Recognition Workshops . Salt Lake City， UT， USA .

DO T ， MIKSIK O ， DEGOL J ， et al ， 2022 . Learning to detect scene landmarks for camera localization ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， LA， USA .

DO T ， SINHA S N ， 2024 . Improved scene landmark detection for camera localization ［C］// 2024 International Conference on 3D Vision . Davos， Switzerland .

DUAN K ， BAI S ， XIE L ， et al ， 2019 . CenterNet： Keypoint triplets for object detection ［C］// IEEE/CVF International Conference on Computer Vision . Seoul， Korea .

GALVEZ-LOPEZ D ， TARDOS J D ， 2011 . Real-time loop detection with bags of binary words ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems . San Francisco， California， USA .

KENDALL A ， GRIMES M ， CIPOLLA R ， 2015 . PoseNet： A convolutional network for real-time 6-DOF camera relocalization ［C］// IEEE International Conference on Computer Vision . Santiago， Chile .

LI J ， KOREITEM K ， MEGER D ， et al ， 2020 . View-invariant loop closure with oriented semantic landmarks ［C］// IEEE International Conference on Robotics and Automation . Paris， France .

LIN T Y ， MAIRE M ， BELONGIE S ， et al ， 2015 . Microsoft COCO： Common objects in context ［EB/OL］. arXiv . 1405 . 0312 .

LIU C ， SHEN S ， 2023 . Towards view-invariant and accurate loop detection based on scene graph ［C］// IEEE International Conference on Robotics and Automation . London，UK .

LIU J ， LI X ， LIU Y ， et al ， 2022 . RGB-D inertial odometry for a resource-restricted robot in dynamic environments ［J］. IEEE Robotics and Automation Letters ， 7 （ 4 ）： 9573 - 9580 .

LIU Y ， PETILLOT Y ， LANE D ， et al ， 2019 . Global localization with object-level semantics and topology ［C］// International Conference on Robotics and Automation . Montreal， Canada .

MAHATTANSIN N ， SUKVICHAI K ， BUNNUN P ， et al ， 2022 . Improving relocalization in visual SLAM by using object detection ［C］// 19th International Conference on Electrical Engineering/Electronics ， Computer， Telecommunications and Information Technology. Prachuap Khiri Khan ， Thailand .

MUR-ARTAL R ， TARDOS J D ， 2017 . ORB-SLAM2： An open-source SLAM system for monocular， stereo， and RGB-D cameras ［J］. IEEE Transactions on Robotics ， 33 （ 5 ）： 1255 - 1262 .

QIAN Z ， FU J ， XIAO J ， 2022 . Towards accurate loop closure detection in semantic SLAM with 3D semantic covisibility graphs ［J］. IEEE Rob Autom ， 7 （ 2 ）： 2455 - 2462 .

REDMON J ， FARHADI A ， 2018 . YOLOv3： An incremental improvement ［J/OL］. arXiv . 1804 . 2767 .

SAKARIDIS C ， DAI D ， van GOOL L ， 2018 . Semantic foggy scene understanding with synthetic data ［J］. J Computer Vision ， 126 （ 9 ）： 973 - 992 .

SARLIN P E ， DETONE D ， MALISIEWICZ T ， et al ， 2020 . SuperGlue： Learning feature matching with graph neural networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， WA， USA .

SATTLER T ， LEIBE B ， KOBBELT L ， 2011 . Fast image-based localization using direct 2D-to-3D matching ［C］// International Conference on Computer Vision . Colorado Springs， CO， USA .

ZINS M ， SIMON G ， BERGER M O ， 2022 . OA-SLAM： Leveraging objects for camera relocalization in visual SLAM ［C］// International Symposium on Mixed and Augmented Reality . Daejeon， South Korea .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

UAV path planning for 3D reconstruction of buildings under disaster scenarios

Related Author

LI Rongxi

HU Tianjiang

CHEN Weiwen

TIAN Qiuyang

Related Institution

No data

Postal code：510275
Tel：020-84112585，84113223 Email：xuebaozr@mail.sysu.edu.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09064830号-19 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰