基于VR全景图像的建模解决的核心问题是基于图像的几何建模问题，它研究如何从图像中恢复出物体或场景的三维几何信息，并构建其几何模型表示，以进行三维渲染与编辑。根据图像采集时对光源是否进行主动控制，基于图像的几何建模可以分为主动法与被动法两种。其中，主动法以使用三维扫描仪的方法为代表，被动法是基于二维图像的三维重建方法。
1.主动法
主动法通过主动控制光源的光照方式，分析光线投射在物体表面上所形成的不同模式，得到物体的三维模型。如激光扫描法、结构光法、阴影法等。这种方法的优势是可以得到物体精确的表面细节特征。
但不足之处是其成本很高，操作不便，还需要进行复杂的后期处理。并且，由于这种方式通常需要使用较强的光源，对于被重建物体会造成一定损害，限制了其应用范围。
2.被动法
被动法并不直接控制光源，而通过被动地分析二维VR全景图像中各种特征信息，逆向地重建出物体的三维模型，这种方法对光照要求不高，成本较低，操作简单。由于主动法技术比较成熟，而近年来国际上的研究工作主要集中在被动法。如使用轮廓的三维建模方法，将物体所在的三维空间离散化成体素，并使用正向试探，剔除投影在轮廓区域外的体素，
从而得到物体的三维模型。基于亮度的建模通过分析物体多个视角下图像中亮度特征的一致性关系，恢复出其表面的深度信息，并得到其三维几何模型。基于运动的建模通过在2幅或多幅未定标VR全景图像中检测匹配的特征点集，使用数值方法，同时恢复出相机运动参数与场景几何，并得到物体三维模型。基于明暗度的建模通过分析图像中的明暗信息，运用反射光照模型，恢复出物体表面的法向信息，从而得到其三维几何模型。基于纹理的建模通过分析单张图像中物体表面重复纹理单元的大小、形状，恢复出物体的法向、深度等信息，并得到三维几何模型。
