机器人 · 三维感知 · 具身智能

高泽园

面向真实部署,构建机器人学习与三维感知系统。

帝国理工学院 Medical Robotics MRes
Latencore AI 具身智能 / 机器人学习实习生

真实机器人部署双臂毛巾操作

代表项目 · 机器人学习

从示范数据到双臂真实部署

在两台 AgileX PiPER 机械臂上部署并调试 vision-language-action policy。

刚性物体抓取与放置π0.5 policy · 双臂执行
可变形毛巾操作π0.5 policy · 双臂执行
系统

不只是一个 policy checkpoint

真实部署连接遥操作、多视角示范、数据准备、推理、通信与物理执行。

我的贡献

端到端系统集成

我负责示范采集、末端轨迹准备、LeRobot-compatible 数据、policy 部署与系统级调试。

工程诊断

在真实硬件上定位故障

在物理平台上排查标定、相机流、机器人通信、推理及动作衔接问题。

示范数据采集

多视角同步采集

PIKA 系统组合两个腕部相机与外部全景视角。我也集成并运行了由同事提供的 3D 打印 UMI 系统,使用 VIVE trackers 和四台 Lighthouse 基站。

职责边界。 我的工作集中在系统集成、数据流程、部署和调试;机器人底层控制器与 UMI 硬件由其他成员开发。

PIKA 三视角采集左腕 · 外部全景 · 右腕

代表项目 · 个人研究

面向零样本 6-DoF 位姿估计的几何候选重排

帝国理工学院 · Hamlyn Centre
导师:Dr Stamatia (Matina) Giannarou

研究问题

Foundation-model pipeline 能生成看似合理的候选,但对于具有对称性的大型手术持针器,默认 top-1 仍可能不符合几何规律。

TOP-1 ADD@5 MM44.1% 57.8%

经过考虑对称性的几何候选重排

真值、原始 top-1 与几何重排位姿投影的挽救、损害和保持成功案例。
方法改变了什么,又在哪里失效同时呈现挽救、损害和保持成功案例,展示方法收益与边界。

方法

模块化 RGB–双目–CAD pipeline

分割与双目深度进入 Any6D 候选生成,再利用 CAD 几何和物体对称性构建可解释的候选重排约束。

RGB + 双目 + CAD分割与深度Any6D 候选几何重排
970
评估双目数据帧
968
Any6D 有效输出
86.4%
包含有效 oracle 候选的帧
RGB、RAFT-Stereo、FoundationStereo 与绝对深度差异。
深度诊断最佳一致、典型和最差案例。
RGB、真值 mask、Mask R-CNN 与 GroundingDINO 加 SAM2 分割结果。
分割诊断典型、差异显著和空输出案例。

其他系统

机器人之外的结构化 AI

小组项目 · 帝国理工学院

临床多智能体 Text-to-SQL

面向 MIMIC-IV 的 LangGraph workflow:规划并生成 SQL、验证与修复失败查询,并在无法得到安全答案时拒答。

我的贡献 设计 Planner Agent 的分步逻辑,集成 LangGraph state、nodes、transitions,并参与失败案例测试。

17 / 20小组项目评估中正确回答的问题数
输入临床问题自然语言请求
我的重点Planner Agent意图分析与分步任务拆解人群 → 时间窗 → 入院记录 → 聚合
生成SQL Agent结合数据库结构生成查询
检查验证语法、schema 与执行检查
未通过自动修复
通过执行生成有依据的回答
无法解决安全拒答
从 TNT 配方到游戏内验证25 秒小组演示 · 提供字幕

小组项目 · 实时语音系统

结合实时游戏状态的 Minecraft 语音助手

完整交互闭环结合语音输入、结构化游戏状态、LLM/API 响应,以及并行的 TTS 与 Gradio 输出。

我的工作:实时状态采集与解析、结构化状态验证、API 集成,以及同步与响应性的受控测试。

关于

通过必须真正运行的系统开展研究。

我的工作位于学习型机器人与真实工程部署的交界处。目前关注 imitation learning、reinforcement learning、Sim2Real、VLA models、3D perception 及面向部署的研究评估。

机器人学习 遥操作 · 示范采集 · VLA 部署 · 真实系统评估

感知与几何 6-DoF 位姿 · 双目深度 · 分割 · CAD 几何

系统工程 Python · PyTorch · Linux · Git · 软硬件调试

联系

期待 PhD、研究岗位与具身智能方向的机会。