在这个博客中，我们展示了我们的端到端系统，基于web的用户界面，用于从卫星图像重建三维建筑。

CORE3D程序

这些工具是作为IARPA CORE3D程序(operation - Realistic 3D Environment的创建)，专注于从卫星图像自动生成城市3D模型。

这项研究的目标是超越点云和密集的表面网格，而是从简化的几何原语构建模型，类似于人类在3D建模应用程序中构建城市模型的方式。第二个目标是确定表面的材料属性。

这项工作是在工业界和学术界的密切合作下进行的。我们的团队包括Kitware公司和SAS，雷神公司IIS和SAS，哥伦比亚大学，普渡大学和罗格斯大学。

系统概述

首先利用有理多项式系数(RPC)算法优化了摄像机参数RPC束调整和一个密集的点云是使用多视角立体算法生成的。然后用这个点云生成一个数字表面模式l (DSM)数字地形模型(DTM)和ortho-rectified图片．

开发了基于深度学习的方法语义分割的建筑和材料分类对多光谱校正图像。

点云是过滤得到屋顶点，即分段而且分类在不同的屋顶类型(平的，倾斜的，圆顶的，拱形的)。利用建筑物的点及其屋顶类型，我们构造一个简化网格模型．最后,纹理是为建筑物的屋顶和立面生成的。

的Danesfield web

Danesfield App是该系统基于web的用户界面。它提供用户、数据和作业管理。用户可以交互式地选择“感兴趣的区域”，在地图上处理和可视化2D结果，以及地理参考纹理3D模型。因此，特定区域的处理是按需完成的。

指标

最终的系统部署在一个启用AWS gpu的实例上(具体来说:p3.2xlarge)．

• 8vcpu, 61gb主存
• NVIDIA Tesla V100, 16gb GPU内存
• 平均小时/成本每平方公里:3.26 /9.98美元

多视图WV3图像的公共示例可以从SpaceNet．对地面真实数据进行评估指标基础真理由约翰霍普金斯大学应用物理实验室．

所有来自Kitware和大学合作伙伴的算法和网络应用程序都是开源的Apache 2.0许可证和源代码可以在各自的GitHub库中找到:Danesfield而且Danesfield应用．然而，RPC束调整点云生成系统是雷声公司的一个商业包，称为相交的维度是发给美国政府的。美国政府用户可以请求预先构建的亚马逊机器映像(AMI)来试用Danesfield。其他用户可以在自己的数据上利用开源算法。

为了在未来提供一个完全开放源码的端到端系统，我们已经开始了适应的工作Kitware的开源多视图立体算法到卫星图像领域。

世界杯巴西vs瑞士比分预测创新

这些工具的开发带来了一些创新。世界杯巴西vs瑞士比分预测

• • 束调整和点云改进(RSM BA，多模板匹配，视图聚类，DENSR)

• • 利用BRDFs进行大气定标

• • 室外建筑材料的BRDF建模

• • 材料分类的新方法(反射率残差、角直方图)

• • 多类别语义分割中深度网络的比较与组合

• • 基于孔洞填充和细节保持平滑的建筑点检测

• • 利用pointnet++和新颖的训练程序进行屋顶类型分割

• • 基于多线索鲁棒加权RANSAC的屋顶平面分割

• • 利用屋顶拓扑图和网格划分

• • 纹理映射立面与阴影和遮挡推理
  • 部署了具有作业管理和3D模型可视化的web UI的系统

感兴趣吗?

不要犹豫联系我们．我们可以适应我们的CORE3D工作，并开发您的定制解决方案。

该研究是基于国家情报主任办公室(ODNI)、情报高级研究项目活动(IARPA)支持的工作，通过内政部/内部商业中心(DOI/IBC)合同号D17PC00286。本文所载的观点和结论仅代表作者的观点和结论，不应被解释为必然代表ODNI、IARPA或美国政府的官方政策或认可，无论是明示的还是暗示的。