Jekyll2026-02-08T12:21:47+00:00https://magicshawn.github.io/feed.xmlSean’s Blog研究日常mgshawn光伏清洁机器人定位与建图2025-05-02T02:15:13+00:002025-05-02T02:15:13+00:00https://magicshawn.github.io/2025/05/02/graduation-projectGraduation Project

相关链接：

LIO-SAM source code repositories

LIDAR-DRIVER - HesaiLidar_General_ROS

Hesai Lidar 产品资料下载

content

一. 测试条件

  • ROS版本 : Noetic

  • 系统 : Ubuntu 20.04 Jetson AGX Orin
  • 激光雷达 : Hesai-Pandar-XT-16
  • IMU : WHEELTEC-N100
  • RTK : WHEELTEC-G70

二. 项目结构

1.文件夹结构

核心文件目录如下： 包含两个部分:

  • graduation_slam_benchmark : 激光雷达建图定位算法,包含多种算法测试以及实际部署的代码与功能包
  • Photovoltaic_robot_simulator : 机器人仿真代码与功能包
./Work_space
├── graduation_slam_benchmark
│   ├── build
│   ├── datasheet
│   ├── devel
│   ├── log
│   ├── logs
│   ├── scripts
│   └── src
├── Photovoltaic_robot_simulator
│   ├── assets
│   ├── build
│   ├── datasheets
│   ├── devel
│   ├── logs
│   ├── README.md
│   ├── scripts
│   └── src

三. 项目部署

1.仿真部分

核心文件目录如下：

./src
├── hardware_driver
│   └── livox_ros_driver
├── robot_simulator
│   ├── robot_control    # 机器人控制功能包
│   └── robot_description # 机器人描述文件
├── slam_algorithm
│   ├── ego-planner # ego-planner算法
│   ├── FAST_LIO
│   ├── FAST_LIO_LOCALIZATION # FAST_LIO_LOCALIZATION 重定位算法
│   └── FAST_LIO_SAM # FAST_LIO_SAM 定位建图算法
└── velodyne_simulator

运行指令

为方便实际运行常用的启动指令都写在对应ROS工作空间下的 /script 文件夹中

启动机器人人仿真

roslaunch robot_description gazebo.launch

启动机器人控制

此时机器人接受键盘控制

# move control
roslaunch robot_control velocity_controller.launch

开启键盘控制

键盘控制机器人移动

# start to control robot by Keyboard
rosrun teleop_twist_keyboard teleop_twist_keyboard.py

开启激光雷达建图

#算法运行
roslaunch fast_lio_sam mapping_solar_robot.launch
#开启可视化
rosrun rviz rviz -d $(rospack find fast_lio_sam)/rviz_cfg/loam_livox.rviz

系统节点树 system_node

实际效果演示 slam_result

重定位模块

开启重定位

#reference
roslaunch fast_lio_localization localization_velodyne.launch

slam_relocalization

2.实际部署部分

核心文件目录如下：

./src/
├── data_perception # 数据处理
│   ├── hesai_to_velodyne # 激光雷达预处理
│   ├── LiDAR_IMU_Init # IMU-LiDAR外参标定
│   └── odom_to_kitti # 里程计转kitti格式
├── hardware_driver # 传感器驱动
│   ├── fdilink_ahrs
│   ├── gnss
│   ├── HesaiLidar_General_ROS
│   ├── livox_ros_driver
│   └── usb_cam
└── localization # 定位建图算法
    ├── A-LOAM
    ├── FAST_LIO
    ├── FAST_LIO_SAM # 主要使用的算法
    ├── LeGO-LOAM
    └── LIO-SAM

实际部署部分启动指令如下：

为方便实际运行常用的启动指令都写在对应ROS工作空间下的 /script 文件夹中

一键启动脚本:

graduation_slam_benchmark 工作空间下的 /script 文件夹中

./script/start_slam_system.sh

GPS驱动

# 1. 启动 GPS 驱动节点
source devel/setup.bash && roslaunch wheeltec_gps_driver wheeltec_nmea_driver.launch

AHRS驱动

# 2. 启动 AHRS 驱动节点
source devel/setup.bash && sudo chmod 666 /dev/ttyUSB0 && roslaunch fdilink_ahrs ahrs_data.launch

启动 PTP 时间同步服务

# 3. 启动 PTP 时间同步服务（需要 sudo 权限）
sudo ptp4l -m -4 -i eth0 -S

激光雷达驱动

# 4. 启动 Hesai 激光雷达驱动
source devel/setup.bash && roslaunch hesai_lidar hesai_lidar.launch

FAST-LIO-SAM 算法

# 5. 启动 FAST-LIO-SAM 算法
source devel/setup.bash && roslaunch fast_lio_sam mapping_velodyne16_lio_sam_parking_dataset.launch

效果演示:

slam-fact

四. Some Reference

1.FAST-LIO-SAM仓库

2.重定位算法

3.RM仿真项目-pb_rm_simulation

4.卡耐基梅隆-自主探索开发环境

]]>mgshawnHesai-Pandar-XT-16/N100-MINI 运行LIO-SAM2024-10-28T02:15:13+00:002024-10-28T02:15:13+00:00https://magicshawn.github.io/2024/10/28/Hesai-Pandar-XT-16-N100-MINI-%E8%BF%90%E8%A1%8CLIO-SAMLIO-SAM 运行

相关链接：

LIO-SAM source code repositories

LIDAR-DRIVER - HesaiLidar_General_ROS

Hesai Lidar 产品资料下载

content

一. 测试条件

  • 系统 : Ubuntu 18.04 DJI-manifold2-C
  • 激光雷达 : Hesai-Pandar-XT-16
  • IMU : WHEELTEC-N100-mini

二. 安装

1.设备驱动安装

激光雷达驱动安装

    ...
    mkdir -p ~/catkin_ws/src
    cd catkin_ws/src
    git clone https://github.com/HesaiTechnology/HesaiLidar_General_ROS.git --recursive
    
    #back to the catkin_ws directory
    cd ../
    caktin_make
    ...

详细安装步骤见： LIDAR-DRIVER - HesaiLidar_General_ROS

bug编译排查

在编译 HesaiLidar_General_ROS package 过程中遇到了一些问题，具体如下：

    fatal error: hesai_lidar/PandarScan.h: No such file or directory #include "hesai_lidar/PandarScan.h"

参照 驱动仓库issue - PandarScan.h：没有此文件或目录

    cd ~/catkin_ws/src/HesaiLidar_General_ROS
    vi CMakeLists.txt
    #48行：添加依赖
    add_dependencies(PandarGeneral hesai_lidar_generate_messages_cpp)

IMU驱动安装

驱动下载: 惯导&GNSS/GPS模块资料

解压到工作空间 src/ 目录下

    ...
    cd catkin_ws/src
    unzip fdilink_ahrs_ROS1.zip
    ...

详细安装步骤见： 轮趣IMU-N100 ROS驱动安装

2.LIO-SAM安装

同样在 src/ 目录下克隆仓库

    ...
    cd catkin_ws/src
    git clone https://github.com/TixiaoShan/LIO-SAM.git
    ...

详细安装步骤见： LIO-SAM source code repositories

三. 系统运行

1. 配置修改

    cd catkin_ws
    catkin_make

2.传感器校准

IMU校准：

rosbag info /home/dji/Work_Space/FAST_LIO/tools/datasheet/N100-mimini-2h.bag 

path:        /home/dji/Work_Space/FAST_LIO/tools/datasheet/N100-mimini-2h.bag
version:     2.0
duration:    2hr 9:09s (7749s)
start:       Nov 18 2024 13:13:08.98 (1731906788.98)
end:         Nov 18 2024 15:22:18.18 (1731914538.18)
size:        279.4 MB
messages:    774928
compression: none [361/361 chunks]
types:       sensor_msgs/Imu [6a62c6daae103f4ff57a132d6f95cec2]
topics:      /imu   774928 msgs    : sensor_msgs/Imu

(1) 安装校准工具

仓库地址：校准工具包 imu_utils

    cd catkin_ws/src
    git clone https://github.com/gaowenliang/code_utils.git
    git clone https://github.com/gaowenliang/imu_utils.git
    cd ~/catkin_ws

    # 依次单独编译
    catkin_make -DCATKIN_WHITELIST_PACKAGES=code_utils
    catkin_make -DCATKIN_WHITELIST_PACKAGES=imu_tuils

编译bug修复：

    #openCV版本不匹配

    # edit for build bug fix 
    row 84/107: CV_LOAD_IMAGE_GRAYSCALE 改为 cv::IMREAD_GRAYSCALE
    row 94/117: CV_MINMAX 改为 NORM_MINMAX

    vim src/code_utils/src/mat_io_test.cpp
    row 33: CV_LOAD_IMAGE_UNCHANGED 改为 cv::IMREAD_UNCHANGED

    # 头文件缺失
    error: aggregate ‘std::ofstream out_t’ has incomplete type and cannot be defined
    std::ofstream out_t;

    vim src/imu_utils/src/imu_utils.cpp
    row22: #include<fstream>

    fatal error: backward.hpp: No such file or directory
    #include "backward.hpp"

    vim src/code_utils/src/sumpixel_test.cpp
    row2: #include "backward.hpp" 改为 #include "code_utils/backward.hpp"

详细参考: Pandar40P Lidar + H30 IMU 外参标定

2. 运行

    source devel/setup.bash
    roslaunch PandarGeneral pandargeneral.launch
    roslaunch lio_sam run.launch
]]>mgshawnUbuntu18.04 VINS-FUSION OpenCV4适配.2024-10-27T02:15:13+00:002024-10-27T02:15:13+00:00https://magicshawn.github.io/2024/10/27/Ubuntu18.04-VINS-FUSION-OpenCV4%E9%80%82%E9%85%8DVINS-FUSION 运行

相关链接：

卷帘快门（Rolling Shutter）与全局快门（Global Shutter）的区别

content

全局快门（Global Shutter, GS）和卷帘快门（Rolling Shutter, RS）是两种常见的CMOS传感器快门技术。它们的不同之处主要在于曝光方式，从而影响了成像效果及在实际应用中的适用性，特别是在SLAM（Simultaneous Localization and Mapping，即同时定位与建图）系统中有各自的优缺点。

一. 全局快门和卷帘快门的区别

曝光方式：

全局快门：

传感器的所有像素在同一时刻同时曝光。这样生成的图像不会因运动而产生形变。

卷帘快门：

像素按行或列逐行依次曝光，通常是从上到下逐行读取，因此不同时刻的像素曝光会存在时间差。这种逐行读取方式容易在相机或物体运动时产生变形。

图像失真：

全局快门：

即使在高速运动情况下也能捕捉无形变的图像。

卷帘快门：

在运动中易出现“果冻效应”，即直线物体可能会变成弯曲的形状。此外，也可能导致旋转和倾斜物体的变形（如倾斜的水平线）。

查看OpenCV版本

opencv_version -v

General configuration for OpenCV 4.4.0 =====================================
  Version control:               unknown

  Platform:
    Timestamp:                   2024-10-23T04:11:48Z
    Host:                        Linux 4.15.0-213-generic x86_64
    CMake:                       3.10.2
    CMake generator:             Unix Makefiles
    CMake build tool:            /usr/bin/make
    Configuration:               Release
...

错误一:

  • CV4版本差异,需要修改宏定义

    CV_LOAD_IMAGE_GRAYSCALE修改为cv::IMREAD_GRAYSCALE

/home/dji/VINS_ws/src/VINS-Fusion/vins_estimator/src/KITTIOdomTest.cpp: In function ‘int main(int, char**)’:
/home/dji/VINS_ws/src/VINS-Fusion/vins_estimator/src/KITTIOdomTest.cpp:95:39: error: ‘CV_LOAD_IMAGE_GRAYSCALE’ was not declared in this scope
    imLeft = cv::imread(leftImagePath, CV_LOAD_IMAGE_GRAYSCALE );
                                       ^~~~~~~~~~~~~~~~~~~~~~~
/home/dji/VINS_ws/src/VINS-Fusion/vins_estimator/src/KITTIGPSTest.cpp: In function ‘int main(int, char**)’:
/home/dji/VINS_ws/src/VINS-Fusion/vins_estimator/src/KITTIGPSTest.cpp:122:39: error: ‘CV_LOAD_IMAGE_GRAYSCALE’ was not declared in this scope
    imLeft = cv::imread(leftImagePath, CV_LOAD_IMAGE_GRAYSCALE );
                                       ^~~~~~~~~~~~~~~~~~~~~~~
  • 修改完后，编译成功,存在警告,警告表明系统中有两个不同版本的OpenCV库，它们之间存在冲突,这里不影响
#继续编译
catkin_make -j4
 
...
[100%] Linking CXX executable /home/dji/VINS_ws/devel/lib/vins/kitti_gps_test
/usr/bin/ld: warning: libopencv_core.so.4.4, needed by /home/dji/VINS_ws/devel/lib/libvins_lib.so, may conflict with libopencv_core.so.3.2
/usr/bin/ld: warning: libopencv_imgcodecs.so.3.2, needed by /opt/ros/melodic/lib/libcv_bridge.so, may conflict with libopencv_imgcodecs.so.4.4
[100%] Built target kitti_gps_test

更新工作空间源

source devel/setup.bash

修改输出目录– **config 目录下所有子模块的–** xxx_config.yaml

根据使用需求修改对应的文件夹下的xxx_config.yaml

cd catkin_ws/src/VINS-Fusion/config/[对应文件夹下的xxx_config.yaml]

#xxx_config.yaml
%YAML:1.0
imu: 0         
num_of_cam: 2  

imu_topic: "/imu0"
image0_topic: "/cam0/image_raw"
image1_topic: "/cam1/image_raw"
#修改输出目录
output_path: /home/dji/VINS_ws/src/VINS-Fusion/outputs
...
]]>mgshawn卷帘快门与全局快门.2024-10-23T02:15:13+00:002024-10-23T02:15:13+00:00https://magicshawn.github.io/2024/10/23/%E5%8D%B7%E5%B8%98%E5%BF%AB%E9%97%A8%E4%B8%8E%E5%85%A8%E5%B1%80%E5%BF%AB%E9%97%A8图像传感器快门差异

相关链接：

卷帘快门（Rolling Shutter）与全局快门（Global Shutter）的区别

content

全局快门（Global Shutter, GS）和卷帘快门（Rolling Shutter, RS）是两种常见的CMOS传感器快门技术。它们的不同之处主要在于曝光方式，从而影响了成像效果及在实际应用中的适用性，特别是在SLAM（Simultaneous Localization and Mapping，即同时定位与建图）系统中有各自的优缺点。

一. 全局快门和卷帘快门的区别

曝光方式：

全局快门：

传感器的所有像素在同一时刻同时曝光。这样生成的图像不会因运动而产生形变。

卷帘快门：

像素按行或列逐行依次曝光，通常是从上到下逐行读取，因此不同时刻的像素曝光会存在时间差。这种逐行读取方式容易在相机或物体运动时产生变形。

图像失真：

全局快门：

即使在高速运动情况下也能捕捉无形变的图像。

卷帘快门：

在运动中易出现“果冻效应”，即直线物体可能会变成弯曲的形状。此外，也可能导致旋转和倾斜物体的变形（如倾斜的水平线）。

二. 在 SLAM 中的优缺点

SLAM算法通常要求高精度的视觉和位置信息，以构建环境地图和实现精准定位。不同的快门技术会直接影响SLAM的效果。

全局快门相机在SLAM中的优缺点 优点： 图像稳定性：在拍摄动态场景时，GS相机能够提供无形变的图像，这对于视觉SLAM的特征提取、匹配和位姿估计非常有利。特征不会因为快门的延迟而错位或扭曲。 高运动精度：在高速运动或机器人应用中，全局快门的同步曝光可以确保捕捉的图像准确反映真实物体的位置，从而在运动中提高SLAM系统的鲁棒性。 缺点： 成本较高：由于全局快门CMOS传感器的设计和制造成本较高，GS相机的价格也普遍高于卷帘快门相机。 功耗更高：全局快门通常需要更高的功耗来驱动同步曝光，并且较难在低照度环境下提供较好的性能。 卷帘快门相机在SLAM中的优缺点 优点：

成本较低：卷帘快门的设计和制造相对简单，因此RS相机的成本更低，应用更加广泛。 功耗较低：相比全局快门，卷帘快门的功耗更低，适用于能耗敏感的场景（如无人机和小型移动机器人）。 缺点：

运动形变：在拍摄动态场景时，卷帘快门会因为逐行曝光而导致图像出现形变，这种“果冻效应”会导致特征点的误差和失配，影响SLAM的定位精度。 运动模糊：在高速运动场景中，卷帘快门更易出现模糊，使得特征点难以被准确提取和跟踪，进而降低SLAM的建图质量。 卷帘快门在SLAM中的应对措施 尽管RS相机在运动形变上有局限性，但一些算法可以在视觉SLAM中通过后处理来减少形变影响：

去卷帘失真：通过分析相机的运动模型，尝试对卷帘快门图像中的“果冻效应”进行校正，使图像更接近真实结构。 融合IMU数据：利用惯性测量单元（IMU）与RS相机进行数据融合，通过IMU提供的姿态信息补偿卷帘快门造成的图像偏移和形变。

三. 总结

全局快门相机适用于动态或高速运动场景的SLAM应用，能够提供高精度、无形变的图像，但成本和功耗较高。 卷帘快门相机适合静态或慢速移动场景的SLAM应用，在成本、功耗上具备优势，但在高速运动中会出现图像形变，影响SLAM的定位和建图精度。

]]>mgshawnUbuntu18.04升级-python3.102024-10-22T02:15:13+00:002024-10-22T02:15:13+00:00https://magicshawn.github.io/2024/10/22/Ubuntu18.04%E5%8D%87%E7%BA%A7-python3.10Python3.10安装

相关链接：

Python Source Releases

Python 3.10.15.tar.xz

content

一、更新

因为ubuntu 18.04的原生自带的python 是3.6，实际项目时要求版本需要更高，这就必须的得升级

sudo apt-get update
sudo apt-get upgrade

二、安装

1. 从源码安装

一般来说选择稍微稳定一点的版本，可以查看对应的支持列表：

官网下载源码包(寻找你需要的版本): Python Source Releases

或者直接命令行下载源码包：

wget https://www.python.org/ftp/python/3.10.0/Python-3.10.0.tgz

tar -zvxf Python-3.10.0.tgz 
cd Python-3.10.0/
./configure --enable-optimizations

make -j 6
sudo make install

安装完成后，输入python3.10，查看是否安装成功

python3.10 -V

如果安装成功，会显示python3.10的版本信息

2. 使用apt安装

这个就比较简单了，直接使用apt安装即可,但是很可能没反应，因为ubuntu 18.04的源里面没有python3.10的版本，所以建议从源码安装

sudo apt-get install python3.10

3. 卸载python3.10

卸载python3.10

sudo apt-get remove python3.10

卸载python3.10的依赖包

sudo apt-get autoremove

卸载python3.10的配置文件

sudo rm -rf /usr/local/lib/python3.10
sudo rm -rf /usr/local/bin/python3.10

而后，需要修改python3的命令，跟pip3 的命令,还有就是apt install安装的跟 解压包安装的python路径不一样， apt 是在 /usr/bin/python 而安装包是在 /usr/local/bin/python

查看本地的python

ls /usr/bin/python*

修改 usr/bin/python3

当然以防万一建议先去到对应的目录下查看一下

sudo rm /usr/bin/python3
sudo ln -s /usr/local/bin/python3 /usr/bin/python3

修改 usr/bin/pip3

sudo rm /usr/bin/pip3
sudo ln -s /usr/local/bin/pip3 /usr/bin/pip3

如果你还要改python权重，就使用下面的命令

注意：***update-alternatives: –install 需要 <链接> <名称> <路径> <优先级>*** 数字代表了优先级，数字越大优先级越高

这里只是给出方法,不建议使用，因为这样会导致系统默认的python3.6被覆盖掉，导致系统命令无法使用python3.6

sudo update-alternatives --install /usr/bin/python3 python3 /usr/local/bin/python3.10 2
sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.10 1

三、一些特殊情况

安装更新后使用过程中大概率会出现各种系统包无法导入的情况

这里给出一些常见的解决办法,当然方法是通用的不局限于 ufw 的问题,像 lsb_release.py 找不到的问题也可以使用类似的方法

~# ufw --help
Traceback (most recent call last):
  File "/usr/sbin/ufw", line 26, in <module>
    import ufw.frontend
ModuleNotFoundError: No module named 'ufw'

大概率系统中是有ufw的,确认一下,但是是python3.6的，所以需要确认一下

sudo apt-get install ufw

找一下ufw的路径

sudo find /usr/lib/ -name "ufw"

可能的输出如下:

/usr/lib/python3.6/site-packages/ufw
or
/usr/lib/python3/dist-packages/ufw

有了路径后,我们就可以把ufw添加到python3.10的路径下

#参数 -r 表示递归复制,这里ufw是个目录,所以需要加上-r
sudo cp -r /usr/lib/python3/dist-packages/ufw /usr/local/lib/python3.10/

到此就可以正常使用了

–

四、REFERENCES

]]>mgshawnubuntu18.04(20通用)安装REALSENSE D435深度相机驱动2024-10-21T02:15:13+00:002024-10-21T02:15:13+00:00https://magicshawn.github.io/2024/10/21/Intel-REALSENSE安装 REALSENSE D435 深度相机驱动

相关链接：

安装 REALSENSE D435 深度相机驱动

Intel RealSense 官方安装指南

content

一、更新

sudo apt-get update
sudo apt-get upgrade

二、安装SDK

一般来说选择稍微稳定一点的版本，可以查看对应的支持列表：

Intel® RealSense™ SDK支持列表

下载对应版本的SDK (2024-10-21)：

librealsense-2.55.1储存库-other version
librealsense-2.55.1.zip

解压下载的SDK：

unzip librealsense-2.55.1.zip
]]>mgshawnCAN协议2024-07-30T02:15:13+00:002024-07-30T02:15:13+00:00https://magicshawn.github.io/2024/07/30/can_protocolCAN协议

CAN_Logo

CAN（Controller Area Network）是一种串行通信协议，用于汽车和其他嵌入式系统中。CAN协议的特点是高可靠性、低延迟和易于扩展。CAN协议使用差分信号传输数据，通过差分信号的电平变化来表示数据位。

CAN协议的主要特点包括：

  1. 多主节点：CAN协议允许多个节点同时发送数据，每个节点都可以成为主节点，但只有一个节点可以发送数据，其他节点只能接收数据。

  2. 错误检测和纠正：CAN协议具有错误检测和纠正功能，可以自动检测和纠正数据传输中的错误。

  3. 高可靠性：CAN协议具有高可靠性，可以在恶劣的环境下稳定工作。

  4. 低延迟：CAN协议具有低延迟，可以快速传输数据。

一、CAN物理层

CAN协议属于异步通讯，区别于IIC、SPI等同步通讯协议，CAN没有时钟信号，CAN的物理层使用差分信号传输数据,。CAN协议使用两根差分信号线，一根为CAN_High，另一根为CAN_Low。CAN_High和CAN_Low之间的电压差表示数据位。CAN协议使用差分信号传输数据，差分信号可以减少电磁干扰，提高通信的可靠性。

]]>mgshawndemo2020-01-31T14:45:13+00:002020-01-31T14:45:13+00:00https://magicshawn.github.io/2020/01/31/test测试

这是我的第一篇博客，测试一下！

]]>mgshawn