Yiteng Xu

Yiteng Xu

I am a third-year Ph.D. student at the School of Information Science and Technology, ShanghaiTech University, advised by Prof. Yuexin Ma. Previously, I obtained my B.S. degree from ShanghaiTech University in 2023.

My research lies at the intersection of 3D Computer Vision, Robotics, and Embodied AI. My primary goal is to enable intelligent agents (like humanoid robots) to perceive, understand, and interact with the complex, dynamic 3D world in a human-like manner. I am particularly interested in multi-modal sensor fusion (LiDAR-Camera), 3D human pose and motion understanding, and building human-in-the-loop systems for bidirectional learning in human-robot interaction.

查看简历 (中文) View My CV (English)

🔥 Milestones

Oct 2024

National Scholarship 国家奖学金

Honored to receive the National Scholarship (Top 1%).

Award
Feb 2024

CVPR 2024

UniPVU-Human: A unified framework for human-centric point cloud video understanding accepted by CVPR 2024.

Publication Paper
Sep 2023

Start Ph.D. Journey

Started my Ph.D. at ShanghaiTech University.

Milestone
Jul 2023

ICCV 2023

Human-centric scene understanding and the HuCenLife dataset accepted by ICCV 2023.

Publication Paper
Dec 2022

AAAI 2023 (Oral)

Weakly supervised 3D multi-person pose estimation accepted as an Oral at AAAI 2023.

Publication Oral Paper

🗞️ News

互联网上与我相关的最新动态与报道

交叉研究中心

计算机学院交叉研究中心在智能制造和具身智能方面取得新进展———6篇论文被ACM SIGGRAPH Asia 2025有条件录用

2025年8月10日， ACM SIGGRAPH Asia 2025审稿结果揭晓，中心共有4篇学生论文和2篇合作论文获有条件录用，充分体现了团队在智能设计、数字制造和具身智能领域的突出进展及国际学术影响力。
信息学院

智能感知与人机协同教育部重点实验室多篇科研成果被ICCV 2023接受

智能感知与人机协同教育部重点实验室依托上科大信息科学与技术学院，探索下一代人类智能与机器智能的协同发展和相互增强，建立人类智能与机器智能交互协作的新型理论基础和实验平台。
中国图象图形学学会

中国图象图形学学会会员多篇论文被CVPR 2024录用

作者：许艺腾（上海科技大学），叶柯成（上海科技大学），韩笑（上海科技大学），任奕名（上海科技大学），祝新革（香港中文大学），马月昕（上海科技大学）论文简介：以人为中心的点云视频理解（PVU）是一个新兴的领域，专注于从人类点云序列中提取和解释与人类相关的特征，进一步推进下游以人类为中心的任务和应用。以往的工作通常侧重于处理一个特定的任务，依赖于庞大的标记数据，泛化能力较差。考虑到人具有特定的特征，包括人体的结构语义和人体运动的动力学，我们提出了一个统一的框架，以充分利用先验知识，探索数据本身的固有特征，实现广义的以人为中心的点云视频理解。大量实验表明，我们的方法在各种与人类相关的任务上取得了最先进的性能，包括动作识别和三维姿态估计。
乐聚机器人

乐聚联合山大、通研院，人机交互与仿真训练最新成果登上国际顶会/顶刊

从科幻电影里温柔的家政机器人，到实验室里能握手、击掌的“伙伴”，人类一直梦想实现真正自然、持续进化的人-机共生。让机器人具备自然高效的智能交互能力，从而无缝融入人类的工作与生活场景，也是实现具身智能愿景的核心目标之一。然而，现有机器人仿真平台仍停留在“键盘-鼠标”或手柄操作阶段，缺乏真实人类在真实场景中与虚拟机器人零距离、带反馈的闭环交互。
信息学院

科研进展 | 信息学院多项科研成果被AAAI 2023年会录用

作为上海科技大学“智能感知与人机协同”教育部重点实验室的核心研究方向之一，信息学院视觉与数据智能中心 (VDI Center）长期致力于机器视觉、大数据、人工智能方向的前沿原创科研研究。近期，中心教授团队围绕人工智能领域产出多项科研成果，并被AAAI 年会（AAAI Conference on Artificial Intelligence, AAAI 2023）接收录用。AAAI年会是中国计算机学会推荐的CCF-A类人工智能领域学术会议。
KLIP-HuMaCo教育部重点实验室

智能感知与人机协同教育部重点实验室9篇论文在ICCV 2023发表

近日，上海科技大学智能感知与人机协同教育部重点实验室在国际顶级学术会议International Conference on Computer Vision（ICCV）上发表9篇论文。
技术转移办公室

上科大第六届创新创业大会第三场竞赛成功举行

缺陷不一定是缺陷——全新肿瘤标志物助力精准医疗要慧子、刘润、沈嘉煜、吴宸旭，上海科技大学生命科学与技术学院；许艺腾，上海科技大学信息科学与技术学院
上科大官网

马月昕课题组丛培珊（博一）与许艺腾（研一）2023年10月参加ICCV2023会议并做海报展示

这次将回顾我去法国巴黎参加ICCV计算机视觉顶级会议的经历，我与马月昕老师、课题组学弟许艺腾同学在会场进行了关于以人为中心的场景理解的研究项目的海报展示——HuCenLife课题介绍。我要感谢我的导师和实验室，因为正是他们的支持和鼓励，我才有了机会参加这个顶级计算机视觉会议。ICCV是计算机视觉领域的盛会，聚集了世界各地最优秀的研究者和从业者。能够在这个舞台上展示自己的研究成果，对我而言是一次莫大的荣幸。
中国三维视觉大会官网

许艺腾参加中国三维视觉大会进行海报展览

Poster ID: 42 许艺腾 CVPR 2024 上海科技大学
微信公众号

机器人相关学术速递

【11】SymbioSim：人机交互双向持续学习的人在环模拟平台链接：https://arxiv.org/abs/2502.07358

📝 Publications

CVPR 2024
sym

A Unified Framework for Human-centric Point Cloud Video Understanding

Yiteng Xu, Kecheng Ye, Xiao Han, Yiming Ren, Xinge ZHU, Yuexin Ma

The IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR), 2024

ICCV 2023
sym

Human-centric Scene Understanding for 3D Large-scale Scenarios

Yiteng Xu*, Peishan Cong*, Yichen Yao*, Runnan Chen, Yuenan Hou, Xinge Zhu, Xuming He, Jingyi Yu, Yuexin Ma

In IEEE/CVF International Conference on Computer Vision (ICCV), 2023

AAAI 2023
sym

Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR

Peishan Cong*, Yiteng Xu*, Yiming Ren, Juze Zhang, Lan Xu, Jingya Wang, Jingyi Yu, Yuexin Ma

Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), Oral, 2023

🛠️ Technical Skills & Expertise

Designed for curiosity

Interactive Skills Studio

Python Expert
PyTorch Expert
3D CV Expert
LiDAR × Cam Advanced
Linux · DevOps Advanced
SMPL/SMPL-X Advanced

Programming & Frameworks

Python PyTorch Bash NumPy Pandas SciPy Scikit-learn Matplotlib

Domain & Toolchain

3D Computer Vision SMPL/SMPL-X Open3D PCL MeshLab LiDAR–Camera Fusion Human Motion

Systems & Methods

Linux Git / GitHub Slurm Docker LaTeX Draw.io Human-in-the-Loop Wizard of Oz

📖 Educations

  • Ph.D. in Computer Science and Technology (2023 - Present)
    • ShanghaiTech University, Shanghai, China
  • B.S. in Computer Science and Technology (2019 - 2023)
    • ShanghaiTech University, Shanghai, China

🎯 Skill Points

3D Computer Vision Robotics Embodied AI Human-Robot Interaction (HRI) 3D Perception Human-centric Scene Understanding Parametric Human Modeling (SMPL/SMPL-X) 3D Motion Generation and Prediction Humanoid Robotics Multi-Agent Interaction Physics-based Simulation and Modeling Sensor Fusion (LiDAR & Camera) Human-in-the-Loop (HITL) Simulation Augmented Reality (AR) in Robotics Real-time Motion Capture Weakly Supervised Learning Self-Supervised Learning for Robotics Geometric Deep Learning 3D Human Pose Estimation Point Cloud Video Understanding Assistive Robotics Python PyTorch NumPy Pandas SciPy Scikit-learn Matplotlib Open3D PCL PyTorch3D Trimesh MeshLab LaTeX Bash Scripting Algorithms and Data Structures Docker Slurm Git / GitHub PyTorch Lightning OpenCV Jupyter Notebook Linux Deep Learning Generative Models Diffusion Models Autoregressive Models Transformers 3D Point Cloud Processing LiDAR Data Processing Point Cloud Segmentation (Semantic/Instance) Point Cloud Denoising 3D Action Recognition 3D Scene Flow Estimation 3D Human Mesh Recovery 3D Data Annotation Inverse Kinematics (IK) Forward Kinematics Geometric Constraints Modeling Spatio-temporal Representation Learning Chamfer Distance Point-based models (PointNet, PointNet++) 3D Visualization Robot Perception Systems Robot Learning Motion Planning and Control Behavior Generation Human-Robot Collaboration Real-time Interactive Systems Robot Simulation Environments Sim-to-Real Transfer Augmented Reality Interfaces for Robotics Multi-robot Systems Data Science Multimodal Temporal Data Processing Data Analysis Data Visualization Large-scale Dataset Management High-Quality Interactive Dataset Collection Closed-loop System Integration Real-time Data Streaming Scientific Writing Project Planning and Management Problem Definition and Formulation User-Centered Experiment Design Human-in-the-Loop Studies "Wizard of Oz" Prototyping Quantitative and Qualitative Research Technical Documentation (LaTeX, Draw.io)