游戏服务器_四川省建设厅网站首页_三重好礼

安全 虚拟云 浏览

小编:这是一个基本教程,用于从apachenifi插入HANA。 NIFI是一个很棒的基于Apache web的工具,用于路由和数据转换。一种ETL工具。在我的场景中,我尝试从tweeterapi获取tweets,之后,我想将它们

这是一个基本教程,用于从apachenifi插入HANA。

NIFI是一个很棒的基于Apache web的工具,用于路由和数据转换。一种ETL工具。在我的场景中,我尝试从tweeterapi获取tweets,之后,我想将它们保存到hadoop,但同时,过滤它们并将它们保存到HANA以进行情绪分析

我的第一个想法是将它们保存到hadoop,然后将它们获取到HANA,但是在发现NIFI之后,很明显,最好的解决方案是获取tweet,然后格式化json文件,然后将其插入HANA?答案很简单,非常直观,使用简单。它的安装也非常简单,并且已经与twitter、hadoop和JDBC集成。所以这是我的想法的明显选择。-

当然你可以使用这个,使用NIFI拥有的大多数SQL处理器,云端数据存储,但是在这个例子中,我们将展示如何将json文件插入HANA

在我们得到tweet之后,我们需要做的第一件事是创建处理器ConvertJSONtoSQL。

在这里,在配置中,云服务器高配,吗里云服务器,第一个选项是要创建一个JDBC连接池,我们会说"create new service"

在这里,我们将选择DBCPConnectionPool并单击create

完成后,我们将单击DBCPConnectionPool旁边的箭头来创建实际的连接

在save changes中,单击yes,然后在下一个屏幕中,单击edit图标,在最右边。

下一步你必须完成属性。别忘了按您的意愿命名。

其中是HANA服务器的名称

是HANA实例的编号

例如,如果服务器的名称是hanaServer,实例编号是00,则连接url将是"jdbc:sap://小时服务器:30015"

在数据库驱动程序位置,NIFI用户必须可以访问驱动程序的路径,因此请记住将驱动程序复制到NIFI文件夹,或者使NIFI用户可以访问它。

在我的情况下,我复制了ngdbc.jar文件到/nifi/lib,其中/nifi是我的安装目录,并将文件的所有者更改为nifi用户。

驱动程序(ngdbc.jar文件)作为SAP HANA客户端安装的一部分安装,位于:

C:\Program Files\SAP\hdbclient\ Microsoft Windows平台上/usr/sap/hdbclient/在Linux和UNIX平台上

然后数据库用户和密码将是HANA的凭据。

其余的您可以保持原样。-

所有关于HANA的JDBC驱动程序的信息都位于此处:通过JDBC连接到sap HANA

最后,必须启用连接,就像这样:

一旦我们创建了连接,我们就可以格式化JSON并将其发送到我们的数据库。

在我的例子中,我正在将检索到的tweet的一部分发送到数据库中。因此,首先,我将获取Twitter中我对处理器joltTransferMJSon感兴趣的部分,我将在属性中添加以下规范:

然后,我将tweets发送到我们创建的处理器ConvertJSONtoSQL。

在此之前,我们必须确保在HANA上创建了正确的表,在我的例子中,它是:

您可以看到JottTransferMJSON处理器中转换的每个字段是如何在表中的。

现在我们可以配置ConverJSONToSQL

基本上我们说的是,它是我们创建的上一个JDBC中的一个插入,插入到表TWEETSFILTRADOS和模式TWDATA中(对不起,西班牙语表名,filtrados意味着过滤)

剩下的,我们可以保持原样。

最后,我们必须创建一个PutSQL处理器来进行插入。

在我的情况下,我也将我的tweet保存到hadoop中,但除此之外,易用淘客助手,最后应该是这样:

现在,我们的表被填满了:

另一种方法是使用Odata,它我还没试过。到目前为止,这是工作良好,云数据库的库,但也许在未来,这也可以通过Odata和Rest服务来完成。如果我试过的话,我会贴出来的。-

当前网址:http://vmchk.cooou.com/theory/86547.html

 
你可能喜欢的: