博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hive Bug
阅读量:5818 次
发布时间:2019-06-18

本文共 1488 字,大约阅读时间需要 4 分钟。

hot3.png

基于0.14

  1. left join 时候左边表使用join列的谓词过滤

BUG语句

  1. explain  
  2. select t.cookie,t.datetime,c.cookie  
  3.   from log t  
  4.   left join cookie c  
  5.     on t.cookie = c.cookie  
  6.  where t.dt = '2015_01_01_10'  
  7.    and t.cookie  = 'xxxxx' 

问题原因:

查看执行计划:

  1. Stage: Stage-1  
  2.     Map Reduce  
  3.       Map Operator Tree:  
  4.           TableScan  
  5.             alias: t  
  6.             Statistics: Num rows: 782692 Data size: 97053857 Basic stats: COMPLETE Column stats: NONE  
  7.             Filter Operator  
  8.               predicate: (cookie = 'xxxxx') (type: boolean)  
  9.               Statistics: Num rows: 391346 Data size: 48526928 Basic stats: COMPLETE Column stats: NONE  
  10.               Reduce Output Operator  
  11.                 key expressions: 'xxxxx' (type: string)  
  12.                 sort order: +  
  13.                 Statistics: Num rows: 391346 Data size: 48526928 Basic stats: COMPLETE Column stats: NONE  
  14.                 value expressions: datetime (type: string)  
  15.           TableScan  
  16.             alias: c  
  17.             Statistics: Num rows: 26938739 Data size: 1728178442 Basic stats: COMPLETE Column stats: NONE  
  18.             Filter Operator  
  19.               predicate: (cookie = 'xxxxx') (type: boolean)  
  20.               Statistics: Num rows: 13469369 Data size: 864089188 Basic stats: COMPLETE Column stats: NONE  
  21.               Reduce Output Operator  
  22.                 key expressions: cookie (type: string)  
  23.                 sort order: +  
  24.                 Map-reduce partition columns: cookie (type: string)  
  25.                 Statistics: Num rows: 13469369 Data size: 864089188 Basic stats: COMPLETE Column stats: NONE  
  26.       Reduce Operator Tree:  

执行计划如上,其中t表在map端的reduce时候partition columns丢失,导致相同的cookie无法和c表分发到同一个reduce上。

测试:

1、将reduce数量设置为1:

结果发现join操作正确

2、改写sql,将t.cookie = 'xxxx' 改为in操作

查看执行计划发现t表在map端的reduce时候partition columns正常,sql也执行正常。

转载于:https://my.oschina.net/CostBasedOptimizatio/blog/364049

你可能感兴趣的文章
Frank Klemm's Dither and Noise Shaping Page: Dither and Noise Shaping In MPC/MP+
查看>>
Rational Rose 2003 下载、破解及安装方法(图文)
查看>>
网络抓包的部署和工具Wireshark【图书节选】
查看>>
Redis在Windows+linux平台下的安装配置
查看>>
Maven入门实战笔记-11节[6]
查看>>
C# Process运行cmd命令的异步回显
查看>>
几篇JavaEye的博客
查看>>
Local declaration of 'content' hides instance variable
查看>>
Android学习之路十四:TabHost
查看>>
[zz] C++智能指针循环引用解决
查看>>
ASP.NET中 HTML标签总结及使用
查看>>
word、excel、ppt转换成html
查看>>
javascript实现表格鼠标移到行上切换背景色
查看>>
【原】opencv中cvCopy()和cvCloneImage()的区别:
查看>>
Hua Dan stories | Hua Dan
查看>>
每个程序员都应该了解的内存知识(2)-CPU caches
查看>>
Video for Linux Two
查看>>
基于jquery的图片展示--卡牌翻转效果
查看>>
类型抽象Haxe3新增特性:抽象类型 -- Abstract Types
查看>>
每日英语:In Dark Portrait of China's Elderly, a Bright Spot
查看>>