firemail

标题: Hive编程指南　笔记 [打印本页]

---

作者: java    时间: 2019-2-1 14:21
标题: Hive编程指南　笔记


Hive不支持OLTP(联机事务处理)所需的关键功能，而更接近成为一个OLAP(联机分析技术)工具．
如果要对大规模数据使用OLTP功能的话，应该选择使用一个NoSQL数据库，如：HBase(与Hadoop结合使用)及Cassandra,如果使用的是Amazon的EMR或EC2的话，可以使用DynamoDB．

常用命令
https://hadoop.apache.org/releases.html
wget http://mirror.bit.edu.cn/apache/ ... hadoop-3.2.0.tar.gz
或
curl -o http://mirror.bit.edu.cn/apache/ ... hadoop-3.2.0.tar.gz

tar -xzf hadoop-3.2.0.tar.gz

1. echo "export HADOOP_HOME=$PWD/hadoop-3.2.0" >> $HOME/.bashrc
   
2. echo "PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
   
3. . $HOME/.bashrc

复制代码

测试hadoop
hadoop dfs -ls
mkdir wc-in
echo "bla bla" > wc-in/a.txt
echo "bla wa wa" > wc-in/b.txt

hadoop jar $HADOOP_HOME/hadoop-3.2.0-examples.jar wordcount wc-in wc-out

cat  wc-out/*
hadoop dfs -cat wc-out/*
hadoop dfs -cat wc-out/* | more 或 head 或 tail
安装Hive
http://hive.apache.org/downloads.html
curl -o http://mirror.bit.edu.cn/apache/ ... ve-3.1.1-bin.tar.gz
tar -xzf apache-hive-3.1.1-bin.tar.gz
sudo mkdir -p /user/hive/warehouse
sudo chmod a+rwx /user/hive/warehouse

1. echo "export HIVE_HOME=$PWD/hive-3.1.1" >> /etc/profile.d/hive.sh
   
2. echo "PATH=$PATH:$HIVE_HOME/bin" >>  /etc/profile.d/hive.sh
   
3. .  /etc/profile

复制代码

---

欢迎光临 firemail (http://www.firemail.wang:8088/)

Powered by Discuz! X3