Srping RestTemplate 将 Web 上的 JSON 数据快速本地实例化

在很多平常的数据收集和挖掘过程中,我们可能希望将网络上的 JSON 数据库快速获取并且插入到本地数据库中。

通常方法就是将 JSON 数据下载,然后对 JSON 数据库进行处理,然后保存。

Spring 有没有提供什么快速的方法进行处理?

问题解决

其实 Spring 提供了一个 RestTemplate 可以完成数据下载,并且进行在内存中进行对象的转换。

有关 RestTemplate 的 API ,你可以参考 https://docs.spring.io/spring-framework/docs/current/javadoc-api/org/springframework/web/client/RestTemplate.html 中的内容。

这里我们使用的是 exchange 进行的转换。

例如, 我们希望将 https://covidtracking.com/api/v1/states/current.json 中的数据存入到我们的本地数据库中。

我们就可以使用提供的 exchange 方法。

首先我们需要定义:Covid19Current 对象,这个对象必要重要,首先这个对象是 JPA 的对象,同时这个对象也映射了 JSON 数据中的字段。

如果你不希望这样映射的话,那么你需要进行字段的转换。

请参考 :https://github.com/ossez-com/covid-19/blob/master/covid-19-common/src/main/java/com/ossez/covid19/common/models/Covid19Current.java 文件中,我们定义的字段内容。

然后你就可以使用下面的代码进行数据转换和映射:

        ResponseEntity<Covid19Current[]> responseEntity = restTemplate.exchange("https://covidtracking.com/api/v1/states/current.json",
                HttpMethod.GET,
                null,
                Covid19Current[].class);
        Covid19Current[] covid19Currents = responseEntity.getBody();

请注意,我们这里使用的 Get 方法,然后将数据转换到对象 Array 中。

具体方法,请参考:https://github.com/ossez-com/covid-19/blob/master/covid-19-service/src/main/java/com/ossez/covid19/service/batch/tasklet/Covid19Tasklet.java