Recientemente, Microsoft Kinect ha atraído gran atención por parte de la comunidad investigadora, dando lugar a numerosas aplicaciones de interacción y entretenimiento. Sin embargo, hasta el momento no existe una ontología para modelar conocimiento basado en sensores de profundidad 3D. Incluir razonamiento semántico automatizado en este contexto abriría las puertas a nuevos esquemas, que harían posible no sólo realizar un seguimiento, sino también comprender la actividad o comportamiento que el usuario está realizando. Para dar un primer paso hacia este nuevo paradigma, hemos desarrollado una ontología basada en sensores de profundidad 3D que modela diferentes características sobre el movimiento del cuerpo humano y la interacción con objetos. Después de proponer una serie de ejemplos de reglas semánticas y realizar una aplicación software para el seguimiento de ejercicios de rehabilitación ortopédica tras sufrir operaciones de hombro, cadera o rodilla, demostramos el potencial de la introducción de la semántica en la visión por computador. Otras aplicaciones de este campo son el reconocimiento de actividades humanas, el posible uso de mapas semánticos para apoyar personas con discapacidad visual, o en las tecnologías de asistencia, como la monitorización remota en tiempo real.