博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive 定时加载分区
阅读量:5161 次
发布时间:2019-06-13

本文共 1330 字,大约阅读时间需要 4 分钟。

#!/bin/bash

#每天定时位外部表加载分区
#服务器当天的时间
#加载环境变量
source /etc/profile;
#如果没有指定日期用当前日期如果指定的日期使用指定的日期
echo 'starting...'
if [ -z $1 ]
then
curdate=`date +%Y%m%d`
else
curdate=$1
fi
# alter table click add if not exists partition(logdate='20170821') LOCATION '/maats5/click/logdate=20170821';

#数据库表

tableList="click install register login pay"
#为所有表加载当天的分区
addPartitionOfCurDate_All() {
for table in $tableList
do
echo "deal with " $table
createHdfsDir $table $curdate
addPartition $table $curdate
done
}

#判断分区是否存在,如果不存在则创建

createHdfsDir(){
#$1=tablename,$2=curdate
hdfs dfs -test -d /maats5/$1/logdate=$2
if [ ! $? -eq 0 ] ;then
#如果不存在则创建这个文件
hdfs dfs -mkdir /maats5/$1/logdate=$2
fi
}

#加载指定表的分区

addPartition(){
#$1=tablename, $2=curdate
/home/hadoop/apps/hive/bin/hive -e "alter table maats.$1 add if not exists partition(logdate='$2') LOCATION '/maats5/$1/logdate=$2';" 1>/home/hadoop/maats/crontabTask/maatsLogs/crontab_hive.std 2>/home/hadoop/maats/crontabTask/maatsLogs/crontab_hive.err
}

#删除分区

deletePartition(){
/home/hadoop/apps/hive/bin/hive -e "alter table maats.$1 drop if exists partition(logdate='$2') " 1>/home/hadoop/maats/crontabTask/maatsLogs/crontab_hive.std 2>/home/hadoop/maats/crontabTask/maatsLogs/crontab_hive.err
}

#执行

addPartitionOfCurDate_All
echo "ending"

转载于:https://www.cnblogs.com/rocky-AGE-24/p/7425440.html

你可能感兴趣的文章
vlc-0.9.8a的plugins详解
查看>>
Java编程基础阶段笔记 day01 Java语言概述
查看>>
DEV GridControl 获取选中行的数据
查看>>
斐波那契_尾递归
查看>>
web.config 配置
查看>>
servlet编写简单计算器
查看>>
WebService 布置简单的计算器
查看>>
20160616 html5练习代码一
查看>>
POJ 2451-半平面交
查看>>
开发 Windows 8 Bing地图应用(2)
查看>>
非常简单的部署脚本(JavaWeb项目)和部署项目教程
查看>>
Ibatis中传List参数
查看>>
springMVC配置文件路径问题
查看>>
--print-defaults打印mysqld启动加载配置
查看>>
Android实战简易教程-第二十三枪(基于Baas的用户注冊验证username是否反复功能!)...
查看>>
php 压缩函数gzencode gzdeflate gzcompress
查看>>
二维动态数组定义及二维静态数组与**P的区别
查看>>
《七年失败的程序之路》读后感
查看>>
luogu P2507 [SCOI2008]配对
查看>>
JQuery-EasyUI与EXTjs有什么区别?
查看>>