選單

具身智能：零基础入门睿尔曼机械臂（六）——手眼标定代码库详解，从原理到实践

解析睿尔曼开源手眼标定库：眼在手上/眼在手外原理、项目结构，以及 collect_data、compute_in_hand/to_hand、config.yaml 与 Tsai 标定流程。

前言

手眼标定是机器人视觉领域的关键技术，它解决了机械臂与相机之间的坐标转换问题，为精准抓取、视觉伺服等应用奠定基础。上一篇博客中我们讲解了手眼标定的概念以及原理，本文将详细解析睿尔曼官方提供的完整的手眼标定代码库，包括其结构设计、核心功能及使用方法，帮助读者快速掌握手眼标定的实现流程。

在这里插入图片描述

项目概述

该代码库专注于实现两种常见的手眼标定模式：

  • 眼在手上（Eye-in-Hand）：相机固定在机械臂末端，随机械臂一起运动
  • 眼在手外（Eye-to-Hand）：相机固定在机械臂外部，位置保持不变

通过采集机械臂位姿和标定板图像，计算出相机与机械臂之间的坐标变换矩阵，最终实现目标从相机坐标系到机械臂基坐标系的转换。

项目结构

hand_eye_calibration/
├── README.md               # 项目说明文档
├── collect_data.py         # 数据采集程序
├── compute_in_hand.py      # 眼在手上标定计算
├── compute_to_hand.py      # 眼在手外标定计算
├── config.yaml             # 配置文件
├── requirements.txt        # 依赖包列表
├── save_poses.py           # 位姿数据处理工具
├── save_poses2.py          # 位姿数据处理工具
├── picture/                # 图片资源
└── libs/                   # 辅助工具库
    ├── auxiliary.py        # 辅助函数
    └── log_setting.py      # 日志配置

核心原理

手眼标定的本质是求解坐标变换矩阵，两种模式分别对应不同的数学模型，上一章已经详细讲过其中的数学原理，这边我们简单复习一下：

1. 眼在手上模式（Eye-in-Hand）

需要求解相机相对于机械臂末端的变换矩阵 H C A M E E H^{EE}_{CAM} HCAMEE​，核心方程为：

A 2 − 1 ⋅ A 1 ⋅ X

X ⋅ B 2 ⋅ B 1 − 1 A_2^{-1} \cdot A_1 \cdot X = X \cdot B_2 \cdot B_1^{-1} A2−1​⋅A1​⋅X=X⋅B2​⋅B1−1​
其中：

  • A A A 表示机械臂末端在基坐标系下的位姿变换
  • B B B 表示标定板在相机坐标系下的位姿变换
  • X X X 即为待求的相机与末端的变换矩阵

2. 眼在手外模式（Eye-to-Hand）

需要求解相机相对于机械臂基坐标系的变换矩阵 H C A M R O B H^{ROB}_{CAM} HCAMROB​，核心方程同样遵循 A X

X B AX=XB AX=XB 形式，只是矩阵定义不同。

核心代码解析

一、核心计算模块深度解析

1. 眼在手上标定（compute_in_hand.py）

该模块是眼在手上模式的核心计算单元，负责将采集到的图像和位姿数据转换为相机与机械臂末端的坐标变换关系。

1.1 初始化与配置加载
current_path = os.path.join(os.path.dirname(os.path.abspath(__file__)),"eye_hand_data")
images_path = os.path.join("eye_hand_data",find_latest_data_folder(current_path))
file_path = os.path.join(images_path,"poses.txt")

with open("config.yaml", 'r', encoding='utf-8') as file:
    data = yaml.safe_load(file)
XX = data.get("checkerboard_args").get("XX")  # 标定板长度方向角点数
YY = data.get("checkerboard_args").get("YY")  # 标定板宽度方向角点数
L = data.get("checkerboard_args").get("L")    # 角点间距（米）
  • 路径处理：通过find_latest_data_folder自动定位最新采集的数据文件夹，确保使用最新标定数据
  • 配置加载：从config.yaml读取标定板参数，支持不同规格标定板的灵活适配
1.2 标定板角点检测与相机外参计算
# 标定板3D坐标定义（世界坐标系）
objp = np.zeros((XX * YY, 3), np.float32)
objp[:, :2] = np.mgrid[0:XX, 0:YY].T.reshape(-1, 2)
objp = L * objp  # 转换为实际物理尺寸

# 角点检测
for i in range(1, len(images_num) + 1):
    img = cv2.imread(image_file)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (XX, YY), None)
    if ret:
        obj_points.append(objp)
        # 亚像素优化：提高角点检测精度到亚像素级别
        corners2 = cv2.cornerSubPix(gray, corners, (5, 5), (-1, -1), criteria)
        img_points.append(corners2)
  • 世界坐标系定义：将标定板视为世界坐标系，Z轴为0，X/Y轴由角点网格定义
  • 亚像素优化：通过cv2.cornerSubPix将角点坐标从像素级优化到亚像素级（精度达0.1像素以下），为后续标定提供更高精度的输入
1.3 相机标定与位姿转换
# 相机标定：获取标定板在相机坐标系下的位姿
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    obj_points, img_points, size, None, None)

# 机械臂位姿处理：将poses.txt转换为齐次变换矩阵
poses_main(file_path)
tool_pose = np.loadtxt("RobotToolPose.csv", delimiter=',')

# 提取旋转矩阵和平移向量
R_tool = []
t_tool = []
for i in range(int(N)):
    R_tool.append(tool_pose[0:3,4*i:4*i+3])  # 旋转矩阵部分
    t_tool.append(tool_pose[0:3,4*i+3])      # 平移向量部分
  • 相机外参计算：cv2.calibrateCamera返回的rvecs和tvecs分别是标定板在相机坐标系下的旋转向量和平移向量
  • 机械臂位姿转换：poses_main函数将机械臂末端的位姿（通常是X,Y,Z,_rx,ry,rz）转换为齐次变换矩阵，存储于RobotToolPose.csv
1.4 手眼标定核心计算
# 使用Tsai算法求解手眼变换
R, t = cv2.calibrateHandEye(R_tool, t_tool, rvecs, tvecs, cv2.CALIB_HAND_EYE_TSAI)
  • 参数解析：
    • R_tool/t_tool：机械臂末端在基坐标系下的旋转矩阵/平移向量序列
    • rvecs/tvecs：标定板在相机坐标系下的旋转向量/平移向量序列
    • cv2.CALIB_HAND_EYE_TSAI：采用Tsai-Lenz算法（计算速度快，精度高）
  • 输出：R为相机相对于机械臂末端的旋转矩阵，t为对应的平移向量

2. 眼在手外标定（compute_to_hand.py）

该模块与compute_in_hand.py结构高度相似，但存在关键差异：

2.1 核心差异点
# 机械臂位姿处理函数不同
from save_poses2 import poses2_main
...
poses2_main(file_path)  # 替代compute_in_hand.py中的poses_main
  • 位姿转换逻辑：poses2_main与poses_main的区别在于机械臂位姿的变换方向不同：
    • 眼在手上：需要机械臂末端相对于基坐标系的变换（ A A A矩阵）
    • 眼在手外：需要基坐标系相对于机械臂末端的变换（ A − 1 A^{-1} A−1矩阵）
2.2 标定目标差异
# 眼在手外模式下，calibrateHandEye输出的是相机相对于基坐标系的变换
R, t = cv2.calibrateHandEye(R_tool, t_tool, rvecs, tvecs, cv2.CALIB_HAND_EYE_TSAI)

  • 眼在手上： X

    H C A M E E X = H^{EE}_{CAM} X=HCAMEE​（相机→末端）

  • 眼在手外： X

    H C A M R O B X = H^{ROB}_{CAM} X=HCAMROB​（相机→基坐标系）

二、辅助模块解析

1. 数据采集模块（collect_data.py）

该模块实现图像与位姿的同步采集，确保每一组数据的时间一致性：

# 机械臂位姿获取
socket_command = '{"command": "get_current_arm_state"}'
state, pose = send_cmd(client, socket_command)

# 数据保存
with open(filename, 'a+') as f:
    pose_ = [str(i) for i in pose]
    new_line = f'{",".join(pose_)}\n'
    f.write(new_line)
cv2.imwrite(image_path, cv_img)
  • 同步机制：通过按键触发（‘s’键），确保同一时刻采集的图像和位姿被关联存储
  • 数据格式：
    • 位姿：poses.txt中每行存储一组机械臂位姿（X,Y,Z,rx,ry,rz）
    • 图像：按序号命名（1.jpg, 2.jpg…），与位姿文件行号一一对应

2. 配置文件（config.yaml）

checkerboard_args:
  XX: 9        # 长度方向角点数
  YY: 6        # 宽度方向角点数
  L: 0.02      # 角点间距（米）
  • 标定板参数：需根据实际使用的标定板修改，直接影响世界坐标系到图像坐标系的转换精度
  • 扩展性：可通过添加其他参数（如相机内参路径、日志级别等）增强配置灵活性

3. 日志模块（libs/log_setting.py）

class CommonLog(object):
    def __console(self, level, message):
        # 文件日志（按天轮转）
        fh = TimedRotatingFileHandler(
            self.logname, when='MIDNIGHT', interval=1, encoding='utf-8')
        # 控制台日志
        ch = logging.StreamHandler()
        
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)
        # 记录日志后移除处理器，避免重复输出
        self.logger.removeHandler(ch)
        self.logger.removeHandler(fh)
  • 双重输出：同时向控制台和文件输出日志，方便调试和记录
  • 日志轮转：按天分割日志文件，避免单文件过大，便于追溯历史标定过程

4. 位姿处理工具（save_poses.py / save_poses2.py）

虽然未提供完整代码，但根据上下文可推断其功能：

  • 功能：将机械臂位姿（欧拉角）转换为齐次变换矩阵
  • 核心公式： 
    # 欧拉角转旋转矩阵（以ZYX顺序为例）
R = Rz(rz) * Ry(ry) * Rx(rx)
# 构造齐次矩阵
H = [[R[0][0], R[0][1], R[0][2], x],
     [R[1][0], R[1][1], R[1][2], y],
     [R[2][0], R[2][1], R[2][2], z],
     [0,       0,       0,       1]]
  • 差异点：save_poses2.py会计算变换矩阵的逆，以适应眼在手外的数学模型

三、代码串联与整体流程

1. 数据流向图

采集阶段：
机械臂 → [get_current_arm_state] → 位姿数据 → 写入poses.txt
   ↑
   同步触发（'s'键）
   ↓
相机 → [RealSense SDK] → 图像帧 → 保存为.jpg文件

计算阶段：
poses.txt → [save_poses.py/2] → 机械臂变换矩阵(R_tool, t_tool)
   ↓
.jpg文件 → [角点检测] → 图像点集 → [calibrateCamera] → 标定板位姿(rvecs, tvecs)
   ↓
[calibrateHandEye] → 手眼变换矩阵(R, t) → 输出旋转矩阵/平移向量/四元数

总结

本代码库提供了一套完整的手眼标定解决方案，通过模块化设计实现了数据采集、标定计算等核心功能。无论是眼在手上还是眼在手外模式，都能通过简单的操作流程完成标定。实际应用中，需注意机械臂运动姿态的多样性和标定板的稳定性，以获得更高的标定精度。

通过本文的解析，相信读者已经对该代码库有了全面的了解，可以根据实际需求进行二次开发或直接应用于机器人视觉项目中。

閱讀原文

具身智慧：零基礎入門睿爾曼機械臂（六）——手眼標定程式碼庫詳解，從原理到實踐

解析睿爾曼開源手眼標定庫：眼在手上/眼在手外原理、項目結構，以及 collect_data、compute_in_hand/to_hand、config.yaml 與 Tsai 標定流程。

來源：https://blog.csdn.net/2403_87969572/article/details/156029425

抓取時間（ISO本地）：2026-05-18 05:17:22

前言

手眼標定是機器人視覺領域的關鍵技術，它解決了機械臂與相機之間的座標轉換問題，為精準抓取、視覺伺服等應用奠定基礎。上一篇部落格中我們講解了手眼標定的概念以及原理，本文將詳細解析睿爾曼官方提供的完整的手眼標定程式碼庫，包括其結構設計、核心功能及使用方法，幫助讀者快速掌握手眼標定的實現流程。

文章目錄

在這裡插入圖片描述

專案概述

該程式碼庫專注於實現兩種常見的手眼標定模式：

  • 眼在手上（Eye-in-Hand）：相機固定在機械臂末端，隨機械臂一起運動
  • 眼在手外（Eye-to-Hand）：相機固定在機械臂外部，位置保持不變

透過採集機械臂位姿和標定板影象，計算出相機與機械臂之間的座標變換矩陣，最終實現目標從相機座標系到機械臂基座標系的轉換。

專案結構

hand_eye_calibration/
├── README.md               # 專案說明文件
├── collect_data.py         # 資料採集程式
├── compute_in_hand.py      # 眼在手上標定計算
├── compute_to_hand.py      # 眼在手外標定計算
├── config.yaml             # 配置檔案
├── requirements.txt        # 依賴包列表
├── save_poses.py           # 位姿資料處理工具
├── save_poses2.py          # 位姿資料處理工具
├── picture/                # 圖片資源
└── libs/                   # 輔助工具庫
    ├── auxiliary.py        # 輔助函式
    └── log_setting.py      # 日誌配置

核心原理

手眼標定的本質是求解座標變換矩陣，兩種模式分別對應不同的數學模型，上一章已經詳細講過其中的數學原理，這邊我們簡單複習一下：

1. 眼在手上模式（Eye-in-Hand）

需要求解相機相對於機械臂末端的變換矩陣 H C A M E E H^{EE}_{CAM} HCAMEE​，核心方程為：

A 2 − 1 ⋅ A 1 ⋅ X

X ⋅ B 2 ⋅ B 1 − 1 A_2^{-1} \cdot A_1 \cdot X = X \cdot B_2 \cdot B_1^{-1} A2−1​⋅A1​⋅X=X⋅B2​⋅B1−1​
其中：

  • A A A 表示機械臂末端在基座標系下的位姿變換
  • B B B 表示標定板在相機座標系下的位姿變換
  • X X X 即為待求的相機與末端的變換矩陣

2. 眼在手外模式（Eye-to-Hand）

需要求解相機相對於機械臂基座標系的變換矩陣 H C A M R O B H^{ROB}_{CAM} HCAMROB​，核心方程同樣遵循 A X

X B AX=XB AX=XB 形式，只是矩陣定義不同。

核心程式碼解析

一、核心計算模組深度解析

1. 眼在手上標定（compute_in_hand.py）

該模組是眼在手上模式的核心計算單元，負責將採集到的影象和位姿資料轉換為相機與機械臂末端的座標變換關係。

1.1 初始化與配置載入
current_path = os.path.join(os.path.dirname(os.path.abspath(__file__)),"eye_hand_data")
images_path = os.path.join("eye_hand_data",find_latest_data_folder(current_path))
file_path = os.path.join(images_path,"poses.txt")

with open("config.yaml", 'r', encoding='utf-8') as file:
    data = yaml.safe_load(file)
XX = data.get("checkerboard_args").get("XX")  # 標定板長度方向角點數
YY = data.get("checkerboard_args").get("YY")  # 標定板寬度方向角點數
L = data.get("checkerboard_args").get("L")    # 角點間距（米）
  • 路徑處理：透過find_latest_data_folder自動定位最新採集的資料資料夾，確保使用最新標定資料
  • 配置載入：從config.yaml讀取標定板引數，支援不同規格標定板的靈活適配
1.2 標定板角點檢測與相機外參計算
# 標定板3D座標定義（世界座標系）
objp = np.zeros((XX * YY, 3), np.float32)
objp[:, :2] = np.mgrid[0:XX, 0:YY].T.reshape(-1, 2)
objp = L * objp  # 轉換為實際物理尺寸

# 角點檢測
for i in range(1, len(images_num) + 1):
    img = cv2.imread(image_file)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (XX, YY), None)
    if ret:
        obj_points.append(objp)
        # 亞畫素最佳化：提高角點檢測精度到亞畫素級別
        corners2 = cv2.cornerSubPix(gray, corners, (5, 5), (-1, -1), criteria)
        img_points.append(corners2)
  • 世界座標系定義：將標定板視為世界座標系，Z軸為0，X/Y軸由角點網格定義
  • 亞畫素最佳化：透過cv2.cornerSubPix將角點座標從畫素級最佳化到亞畫素級（精度達0.1畫素以下），為後續標定提供更高精度的輸入
1.3 相機標定與位姿轉換
# 相機標定：獲取標定板在相機座標系下的位姿
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    obj_points, img_points, size, None, None)

# 機械臂位姿處理：將poses.txt轉換為齊次變換矩陣
poses_main(file_path)
tool_pose = np.loadtxt("RobotToolPose.csv", delimiter=',')

# 提取旋轉矩陣和平移向量
R_tool = []
t_tool = []
for i in range(int(N)):
    R_tool.append(tool_pose[0:3,4*i:4*i+3])  # 旋轉矩陣部分
    t_tool.append(tool_pose[0:3,4*i+3])      # 平移向量部分
  • 相機外參計算：cv2.calibrateCamera返回的rvecs和tvecs分別是標定板在相機座標系下的旋轉向量和平移向量
  • 機械臂位姿轉換：poses_main函式將機械臂末端的位姿（通常是X,Y,Z,_rx,ry,rz）轉換為齊次變換矩陣，儲存於RobotToolPose.csv
1.4 手眼標定核心計算
# 使用Tsai演算法求解手眼變換
R, t = cv2.calibrateHandEye(R_tool, t_tool, rvecs, tvecs, cv2.CALIB_HAND_EYE_TSAI)
  • 引數解析：
    • R_tool/t_tool：機械臂末端在基座標系下的旋轉矩陣/平移向量序列
    • rvecs/tvecs：標定板在相機座標系下的旋轉向量/平移向量序列
    • cv2.CALIB_HAND_EYE_TSAI：採用Tsai-Lenz演算法（計算速度快，精度高）
  • 輸出：R為相機相對於機械臂末端的旋轉矩陣，t為對應的平移向量

2. 眼在手外標定（compute_to_hand.py）

該模組與compute_in_hand.py結構高度相似，但存在關鍵差異：

2.1 核心差異點
# 機械臂位姿處理函式不同
from save_poses2 import poses2_main
...
poses2_main(file_path)  # 替代compute_in_hand.py中的poses_main
  • 位姿轉換邏輯：poses2_main與poses_main的區別在於機械臂位姿的變換方向不同：
    • 眼在手上：需要機械臂末端相對於基座標系的變換（ A A A矩陣）
    • 眼在手外：需要基座標系相對於機械臂末端的變換（ A − 1 A^{-1} A−1矩陣）
2.2 標定目標差異
# 眼在手外模式下，calibrateHandEye輸出的是相機相對於基座標系的變換
R, t = cv2.calibrateHandEye(R_tool, t_tool, rvecs, tvecs, cv2.CALIB_HAND_EYE_TSAI)

  • 眼在手上： X

    H C A M E E X = H^{EE}_{CAM} X=HCAMEE​（相機→末端）

  • 眼在手外： X

    H C A M R O B X = H^{ROB}_{CAM} X=HCAMROB​（相機→基座標系）

二、輔助模組解析

1. 資料採集模組（collect_data.py）

該模組實現影象與位姿的同步採集，確保每一組資料的時間一致性：

# 機械臂位姿獲取
socket_command = '{"command": "get_current_arm_state"}'
state, pose = send_cmd(client, socket_command)

# 資料儲存
with open(filename, 'a+') as f:
    pose_ = [str(i) for i in pose]
    new_line = f'{",".join(pose_)}\n'
    f.write(new_line)
cv2.imwrite(image_path, cv_img)
  • 同步機制：透過按鍵觸發（‘s’鍵），確保同一時刻採集的影象和位姿被關聯儲存
  • 資料格式：
    • 位姿：poses.txt中每行儲存一組機械臂位姿（X,Y,Z,rx,ry,rz）
    • 影象：按序號命名（1.jpg, 2.jpg…），與位姿檔案行號一一對應

2. 配置檔案（config.yaml）

checkerboard_args:
  XX: 9        # 長度方向角點數
  YY: 6        # 寬度方向角點數
  L: 0.02      # 角點間距（米）
  • 標定板引數：需根據實際使用的標定板修改，直接影響世界座標系到影象座標系的轉換精度
  • 擴充套件性：可透過新增其他引數（如相機內參路徑、日誌級別等）增強配置靈活性

3. 日誌模組（libs/log_setting.py）

class CommonLog(object):
    def __console(self, level, message):
        # 檔案日誌（按天輪轉）
        fh = TimedRotatingFileHandler(
            self.logname, when='MIDNIGHT', interval=1, encoding='utf-8')
        # 控制檯日誌
        ch = logging.StreamHandler()
        
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)
        # 記錄日誌後移除處理器，避免重複輸出
        self.logger.removeHandler(ch)
        self.logger.removeHandler(fh)
  • 雙重輸出：同時向控制檯和檔案輸出日誌，方便除錯和記錄
  • 日誌輪轉：按天分割日誌檔案，避免單檔案過大，便於追溯歷史標定過程

4. 位姿處理工具（save_poses.py / save_poses2.py）

雖然未提供完整程式碼，但根據上下文可推斷其功能：

  • 功能：將機械臂位姿（尤拉角）轉換為齊次變換矩陣
  • 核心公式： 
    # 尤拉角轉旋轉矩陣（以ZYX順序為例）
R = Rz(rz) * Ry(ry) * Rx(rx)
# 構造齊次矩陣
H = [[R[0][0], R[0][1], R[0][2], x],
     [R[1][0], R[1][1], R[1][2], y],
     [R[2][0], R[2][1], R[2][2], z],
     [0,       0,       0,       1]]
  • 差異點：save_poses2.py會計算變換矩陣的逆，以適應眼在手外的數學模型

三、程式碼串聯與整體流程

1. 資料流向圖

採集階段：
機械臂 → [get_current_arm_state] → 位姿資料 → 寫入poses.txt
   ↑
   同步觸發（'s'鍵）
   ↓
相機 → [RealSense SDK] → 影象幀 → 儲存為.jpg檔案

計算階段：
poses.txt → [save_poses.py/2] → 機械臂變換矩陣(R_tool, t_tool)
   ↓
.jpg檔案 → [角點檢測] → 影象點集 → [calibrateCamera] → 標定板位姿(rvecs, tvecs)
   ↓
[calibrateHandEye] → 手眼變換矩陣(R, t) → 輸出旋轉矩陣/平移向量/四元數

總結

本程式碼庫提供了一套完整的手眼標定解決方案，透過模組化設計實現了資料採集、標定計算等核心功能。無論是眼在手上還是眼在手外模式，都能透過簡單的操作流程完成標定。實際應用中，需注意機械臂運動姿態的多樣性和標定板的穩定性，以獲得更高的標定精度。

透過本文的解析，相信讀者已經對該程式碼庫有了全面的瞭解，可以根據實際需求進行二次開發或直接應用於機器人視覺專案中。

Embodied AI: RealMan Arm (6) — Hand-Eye Calibration Codebase Explained

Hand-eye calibration maps camera and robot frames for grasping and visual servoing. After theory in the previous post, this article walks through RealMan’s open hand-eye calibration repo: layout, core modules, and usage.

Captured at (local ISO): 2026-05-18 05:17:22

Preface

Hand-eye calibration maps camera and robot frames for grasping and visual servoing. After theory in the previous post, this article walks through RealMan’s open hand-eye calibration repo: layout, core modules, and usage.

在这里插入图片描述

Project Overview

Two modes:

  • Eye-in-Hand: camera on the end-effector
  • Eye-to-Hand: fixed external camera

Collect poses + calibration board images → solve transform from camera frame to arm frame.

Project Structure

hand_eye_calibration/
├── README.md
├── collect_data.py
├── compute_in_hand.py
├── compute_to_hand.py
├── config.yaml
├── requirements.txt
├── save_poses.py
├── save_poses2.py
├── picture/
└── libs/
    ├── auxiliary.py
    └── log_setting.py

Core Theory

1. Eye-in-Hand

Solve (H^{EE}_{CAM}) with:

[A_2^{-1} A_1 X = X B_2 B_1^{-1}]

  • (A): end-effector pose in base frame
  • (B): board pose in camera frame
  • (X): camera ↔ flange transform

2. Eye-to-Hand

Solve (H^{ROB}_{CAM}) in the form (AX = XB) with different matrix definitions.

Core Code

1. compute_in_hand.py

1.1 Init and config
current_path = os.path.join(os.path.dirname(os.path.abspath(__file__)),"eye_hand_data")
images_path = os.path.join("eye_hand_data",find_latest_data_folder(current_path))
file_path = os.path.join(images_path,"poses.txt")

with open("config.yaml", 'r', encoding='utf-8') as file:
    data = yaml.safe_load(file)
XX = data.get("checkerboard_args").get("XX")
YY = data.get("checkerboard_args").get("YY")
L = data.get("checkerboard_args").get("L")
  • Auto-picks latest data folder
  • Board size from config.yaml
1.2 Corner detection
objp = np.zeros((XX * YY, 3), np.float32)
objp[:, :2] = np.mgrid[0:XX, 0:YY].T.reshape(-1, 2)
objp = L * objp

for i in range(1, len(images_num) + 1):
    img = cv2.imread(image_file)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (XX, YY), None)
    if ret:
        obj_points.append(objp)
        corners2 = cv2.cornerSubPix(gray, corners, (5, 5), (-1, -1), criteria)
        img_points.append(corners2)
1.3 Camera calibrate + arm poses
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    obj_points, img_points, size, None, None)

poses_main(file_path)
tool_pose = np.loadtxt("RobotToolPose.csv", delimiter=',')
1.4 Hand-eye solve
R, t = cv2.calibrateHandEye(R_tool, t_tool, rvecs, tvecs, cv2.CALIB_HAND_EYE_TSAI)

2. compute_to_hand.py

Uses poses2_main from save_poses2.py (inverse pose chain for eye-to-hand). Same calibrateHandEye call; output is camera → base instead of camera → flange.

Auxiliary modules

collect_data.py: sync image + get_current_arm_state on ‘s’ key → poses.txt + numbered .jpg.

config.yaml:

checkerboard_args:
  XX: 9
  YY: 6
  L: 0.02

libs/log_setting.py: rotating file + console logs.

save_poses.py / save_poses2.py: Euler → homogeneous matrix; v2 uses inverse for eye-to-hand.

Data flow

Collect: arm pose + camera image (sync 's')
Compute: poses.txt → R_tool,t_tool; images → rvecs,tvecs → calibrateHandEye → R,t

Summary

Modular eye-in-hand / eye-to-hand pipeline. Use diverse arm motions and a stable board for best accuracy. Extend or deploy directly in vision-guided robotics projects.

閱讀原文