
DepState-JEPA
第一作者 · ICLR 2027 在审面向机器人操作的几何约束预测状态:融合 RGB-D 与公制三维坐标,学习共享世界状态,预测动作引起的视觉特征、机器人状态和物体运动,并用于规划。
EMBODIED AI · WORLD MODELS · ROBOT MANIPULATION
复旦大学 · 上海创智学院
计算机科学与技术直博生 / 上海
机器人操作 · 世界模型 · 具身学习
我是 复旦大学(Fudan University)计算机科学与技术直博生,在 上海创智学院(Shanghai Innovation Institute, SII) 联合培养,现由 卢策吾教授 指导。我的研究聚焦 可靠机器人感知、几何约束世界模型与机器人操作学习,连接真实场景中的 Sim-to-Real 感知、空间状态表征和动作条件动态预测,探索如何让机器人理解物理环境并可靠地预测动作后果。目前,我正在进一步研究显式三维几何与可学习动态潜变量相结合的 Geometry-Grounded World-Action Models,面向物理交互预测、机器人决策与操作泛化。I am a Computer Science Ph.D. student at Fudan University, jointly trained at the Shanghai Innovation Institute (SII), advised by Prof. Cewu Lu. My research centers on Reliable Robotic Perception, Geometry-Grounded World Models, and Robot Learning for Manipulation, connecting sim-to-real sensing, spatial state representations, and action-conditioned dynamics to help robots anticipate the consequences of physical interaction. I am currently exploring Geometry-Grounded World-Action Models that combine explicit 3D geometry with learned latent dynamics for reliable action evaluation, planning, and generalization.
从可靠真实感知,到动作条件世界状态预测与机器人操作。

面向机器人操作的几何约束预测状态:融合 RGB-D 与公制三维坐标,学习共享世界状态,预测动作引起的视觉特征、机器人状态和物体运动,并用于规划。

弥合仿真与真实机器人的感知差异:基于物理机制生成真实传感器噪声,让在仿真中训练的操作策略更稳健地迁移至真实环境。

将物体的历史与未来状态转移显式连接到机器人动作:通过对象状态图、TCP 子目标与连续动作的分阶段预测支持长时程操作。

通过可靠空间区域选择和稳定特征子空间学习,让机器人策略直接处理真实深度传感器观测,无需部署额外在线深度修复模型。
面向真实机器人操作的传感器鲁棒表征、空间状态感知与 Sim-to-Real 迁移。
PRISM · NoRA · BitDepth从 RGB-D 观测构建几何锚定的预测状态,研究动作条件的空间动态与物理交互。
DepState-JEPA · Current research利用物体状态、未来结果与真实交互反馈,支持机器人动作生成、规划与复杂操作。
OSTRA · Real-world systems当前研究方向
从可靠的空间表征走向动作条件的物理世界预测与机器人学习
探索将显式三维几何作为世界状态的空间锚点,以可学习的潜在动力学捕获历史交互与隐含物理信息;研究动作条件的物体状态变化预测,以及世界模型如何支持机器人动作生成、评估与闭环规划。重点关注几何一致性、交互泛化和真实机器人效益,而非单纯提升未来视频生成质量。
2025.10 — 2026.09
面向密集货架的多 SKU 药品拣选,构建 RGB-D 困难样本、深度扰动增强及异常归因流程。评测覆盖 120 种药品 SKU 与 6 类困难工况。
2025.09 — 2026.02
从实物扫描、几何建模与关节参数化到仿真验证,构建抽屉、柜门、微波炉等可操作资产,适配 Isaac Sim、SAPIEN 与 MuJoCo。
2025.05 — 2025.08
围绕 Qwen2.5-VL 构建数据合成、教师蒸馏、验证筛选与分布式 SFT 流程,利用 STaR 自训练迭代增强谜题游戏视觉推理。
2024.07 — 2025.06
研究扩散与视觉自回归生成中的隐空间水印,以及动态屏幕内容的跨媒介抗截屏保护。
联合培养 · 人工智能与具身智能 · 导师:卢策吾
直博 · 计算机科学与技术 · 导师:马兴军
本科 · 计算机科学与技术 · 导师:付章杰
01中国国际“互联网+”大学生创新创业大赛 · 国家级一等奖(2023年)、江苏省一等奖(2023年)
02中国国际大学生创新大赛 · 上海市一等奖(2025年)
03国家奖学金(2022年) · 腾讯奖学金(2025年) · 小米奖学金(2024年)
04教育部—华为智能基座未来之星(2022年)
05中国大学生自强之星(2021年)
06复旦大学卓越杯创新创业大赛一等奖(2025年)
07复旦大学博士生学术论坛一等奖(2024年)
08CCF-复旦大学学生分会执行主席(2025年)
09复旦大学优秀学生(2024、2025年) · 江苏省三好学生(2022年)
10江苏省优秀学生干部(2023年) · 江苏省优秀毕业生(2023年)
LET’S CONNECT
欢迎交流机器人操作、世界模型,以及更广泛的具身智能与多模态学习。