通常我们所说的基于图像建模是指利用图像来恢复出物体的几何模型，这里的图像包括真实照片、绘制图像、视频图像以及深度图像等。而广义的基于图像建模技术还包括从图像中恢复出物体的视觉外观、光照条件以及运动学特性等多种属性，其中的视觉外观包括表面纹理和反射属性等决定模型视觉效果的因素。与基于图像建模技术密切相关的是基于图像的绘制技术，由于基于图像绘制技术可以在没有任何三维几何信息或少量几何信息的情况下，仅基于若干幅原始图像绘制出三维场景的新视点图像。因此，基于图像绘制技术的VR全景可以表现用传统方法尚无法建模的高度复杂场景，但它通常需要对场景做大量的采样，而且无法实现对场景的编辑。
由于真实的二维图像中蕴含着物体丰富的线索信息，从中恢复三维模型信息并进行可视化具有效果逼真、建模高效的优点。自20世纪90年代，人们就开始研究如何更方便、高效地获取环境或物体的三维信息。基于VR全景图像的建模(Image-Based Modeling,BM)研究由单一图像、图像序列或视频中，通过自动或交互的方式，恢复出物体、场景三维模型的方法。该建模方法具备低成本、灵活和直接获取彩色纹理等特点，能够快速、逼真地重建出VR全景的三维模型。
