揭秘:谷歌全球73.9TB卫星影像是如何下载完成的

2020/3/1 16:54:56 0人评论 286 次 分类:全球全国离线地图数据

1. 概述

真是应了那句话,千里之行始于足下,全球谷歌卫星地图数据下载项目,历时半年多之久,现在终于全部下载完成了!现在我们把一些经验和心得与大家进行分享。

2. 下载全球卫星影像数据的前因后果

由于有众多客户对全球数据有需求,都希望可以建立一个离线查看的本地谷歌地球,我们大概在三年前就启动了全球数据下载计划但却一直无果而终。原因有很多,任务分配太多导致数据混乱,中途被其它事情打断搁置等等。但最主要的原因,可能还是没有下定足够的决心。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

全球数据

直到去年,在一个项目需求的推动下,我们才又重新把此事提上日程,其实当时我们心里也在打鼓,全球数据这么大,要下载到何年何月呢?再加上以前下载的数据十分凌乱,在梳理过程中还发现很多数据存在错误,居然有没下载完就入库的情况,一时间还真不知道该如何办才好。看着已经接近下载了一半的数据,该继续整理还是从头再来?这着实是一个难以取舍的问题。

后来我们干脆花了两天时间进行了认真的下载测试分析,发现下载速度其实比想像的快很多,再根据需要下载的文件数与数据量大小进行了充分的估算之后,觉得下载全球数据应该没有想像那么难,也应该花不到太长的时间。于是,最后下定决心从头开始!

以前下载全球数据时,是负责开发的同事用代码一次性生成好了所有任务,再分别分配到每一台电脑。由于该工作不需要全天候职守,且下载数据的电脑比较多,一旦记录没有作仔细,原本简单的事稍不留神就会让数据混乱。基于上述原因,我这次不采用同事生成好的任务,而是每一组任务都通过手动建立,且只用四台电脑下载。这样的工作方式看起来慢实则最快,这种笨办法可以让每台电脑下载数据的情况心中有数,正所谓欲速则不达!

最后,如文中开头所述,该项目在三个小伙伴的共同努力下,历时半年,终于圆满完成!下面我们将会对全球数据情况及参数作一些简单的说明。如果你也想下载谷歌全球卫星影像数据,请关注微信公众号“水经注GIS”并回复"全球数据",我们将会在群中毫无保留地与你分享!

3. 全球数据参数与概况

这里下载的全球数据,数据源为谷歌地球,坐标投影为WGS84经纬度投影,无偏移无水印。数据级别为1到19级,一共73.9TB大小,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

全球卫星影像73.9TB

全球数据共分为6个文件夹,其中"World_L2_10"是存储的全于2到10级影像数据,其它五个文件夹为全于10-19级影像数据,一共分成了5部分,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

数据共分6组

全球数据的每一个文件分块由一组DAT和IDX组成,通过搜索DAT文件可以检索出所有的影像数据分块文件。全球数据文件基于第10级瓦片为金字塔塔尖对10到19级进行分块,一共131072个块,再加上2到10级以内的两个分块,一共131074个分块文件,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

共131074个文件分块

2到10级以内的数据分块文件名称分别为"2_1_1"和"2_2_1",10到19级文件分块从"10_1_1"开始,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按文件名称排序的起始位置

文件"2_1_1"和"2_2_1"对应2到10级影像分块,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

第2到10级分块

文件"10_1_1"对应基于全球左上角的瓦片分块,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

第10到19给分块左上角为起始位置

10到19级文件分块到"10_512_256"结束,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按文件名称排序的结束位置

文件"10_512_256"对应基于全球左上角的瓦片分块,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

第10到19给分块右下角结束位置

将所有文件按下载完成时间进行排序,最早完成时间为2019年7月14日12点23分,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按下载完成时间排序的起始位置

最晚完成下载的时间为2020年2月20日22点41分,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按下载完成时间排序的结束位置

将所有文件按大小进行排序,最小的影像只有1KB,这种数据非常小的文件主要分布在南北级基本无影像数据的区域。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按文件大小排序的起始位置

最大的数据达8G之多,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

按文件大小排序的结束位置

其中,文件"10_108_84"是全球数据中最大的分块,一共8.33GB,如下图所示。

解密:谷歌全球73.9TB卫星影像是如何下载完成的

最大的文件8.33GB

4. 新手如何下载全球数据?

从上述说明已经可以看出,下载全球数据是通过分块进行下载的,但新建任务时我的方法是基于第10级,一次下载4列,每列256个任务块,也就是一次新建1024个任务分块。具体下载的方法,可以通过关注微信公众号“水经注GIS”并回复"全球数据",我们将会在群中毫无保留地与你分享!另外,还可以通过观看在线直播回放的方式为你解密全球数据下载技术!

5. 总结

最后,如果你有需要,我们也可以为你提供全球离线二三维GIS系统的解决方案。接下来,我们将用同样的方法,计划下载全国以及全球1-21级数据,这是一个更有挑战性的工程,也希望有朝一日能顺利完成!


分享到:

相关资讯

    暂无相关的资讯...