hive中创建dual虚表 hive中创建dual虚表1、通过如下方式创建dual.txt文件. 12cd /tmpecho 'X' > dual.txt 2、在hive中创建虚表 1create table dual(dummy string); 3、将dual.txt文件load到虚表中 1load data local inpath '/tmp/dual.txt' ov 2021-06-25 hive > 大数据 #hive #大数据
sqoop的安装与使用 sqoop的安装与使用环境准备 java环境 hadoop环境 hive环境 zookeeper环境 hbase环境 下载安装sqoop官网 下载sqoop-1.4.7.tar.gz 12cd /optwget https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz 解压 1tar zxvf sqoop-1 2021-06-24 运维 #运维
ubuntu源码编译安装hue ubuntu源码编译安装hue简介Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,Hive等等。 功能介绍数 2021-06-18 运维 #运维
Docker安装HUE Docker安装HUE简介https://github.com/cloudera/hue 安装1docker run -it -p 8888:8888 gethue/hue:latest 2021-06-18 运维 #运维
分布式计算框架之MapReduce 分布式计算框架之MapReduce MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。 这两个函数的形参是key、value对,表示函数的输入信息。 MR执行流程 MapReduce原 2021-06-17 大数据 #大数据
hbase集群安装 Hbase集群安装服务器规划 IP 域名 系统版本号 10.10.x.70 zk.had01 Linux version 5.4.0-70-generic (buildd@lcy01-amd64-004) (gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04)) #78-Ubuntu SMP Fri Mar 19 13:29:52 UTC 20 2021-06-14 运维 #运维
hadoop集群搭建 hadoop集群搭建服务器规划 IP 域名 系统版本号 10.10.x.70 zk.had01 Linux version 5.4.0-70-generic (buildd@lcy01-amd64-004) (gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04)) #78-Ubuntu SMP Fri Mar 19 13:29:52 UTC 2 2021-06-12 运维 #运维
Proxifier的安装与激活 Proxifier的安装与激活下载地址https://www.proxifier.com/download/#mac-tab 笔者安装的版本为3.5 激活码13CWNN-WYTP4-SD83W-ASDFR-84KEA 激活码生成工具: 1https://github.com/Danz17/Proxifier-Keygen 巨人的肩膀 proxifier注册码 2021-06-12 mac #mac
zookeeper集群搭建 zookeeper集群搭建环境要求 安装JDK8 服务器规划在局域网内规划三台机器: IP 域名 系统版本号 10.10.x.70 zk.had01 Linux version 5.4.0-70-generic (buildd@lcy01-amd64-004) (gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04)) #78-Ubuntu 2021-06-12 运维 #运维