SQL去重方法汇总

小雨敲窗y

在使用SQL提数的时候，常会遇到表内有重复值的时候，比如我们想得到 uv （独立访客），就需要做去重。
在 MySQL 中通常是使用

1. distinct

复制代码

或

1. group by

复制代码

子句，但在支持窗口函数的 sql（如

1. Hive

复制代码

1. SQL

复制代码

、

1. Oracle

复制代码

等等） 中还可以使用 row_number 窗口函数进行去重。
举个栗子，现有这样一张表 task：

备注：

• 1. task_id

  复制代码
  : 任务id;
  
• 1. order_id

  复制代码
  : 订单id;
  
• 1. start_time

  复制代码
  : 开始时间
  

1. <strong>注意</strong>：一个任务对应多条订单

复制代码

我们需要求出任务的总数量，因为 task_id 并非唯一的，所以需要去重：
distinct

1. -- 列出 task_id 的所有唯一值（去重后的记录）
   
2. 
   
3. select distinct task_id
   
4. from Task;
   
5. 
   
6. -- 任务总数
   
7. select count(distinct task_id) task_num
   
8. from Task;

复制代码

1. distinct

复制代码

通常效率较低。它不适合用来展示去重后具体的值，一般与

1. count

复制代码

配合用来计算条数。

1. distinct

复制代码

使用中，放在

1. select

复制代码

后边，对后面所有的字段的值统一进行去重。比如

1. distinct

复制代码

后面有两个字段，那么 1,1 和 1,2 这两条记录不是重复值 。
group by

1. -- 列出 task_id 的所有唯一值（去重后的记录,null也是值）
   
2. -- select task_id
   
3. -- from Task
   
4. -- group by task_id;
   
5. 
   
6. -- 任务总数
   
7. select count(task_id) task_num
   
8. from (select task_id
   
9.       from Task
   
10.       group by task_id) tmp;

复制代码

row_number
row_number 是窗口函数，语法如下：

1. row_number() over (partition by <用于分组的字段名> order by <用于组内排序的字段名>)

复制代码

其中

1. partition by

复制代码

部分可省略。

1. -- 在支持窗口函数的 sql 中使用
   
2. 
   
3. select count(case when rn=1 then task_id else null end) task_num
   
4. from (select task_id
   
5.        , row_number() over (partition by task_id order by start_time) rn
   
6.    from Task) tmp;

复制代码

此外，再借助一个表 test 来理理 distinct 和 group by 在去重中的使用：

1. -- 下方的分号;用来分隔行
   
2. select distinct user_id
   
3. from Test;    -- 返回 1; 2
   
4. 
   
5. select distinct user_id, user_type
   
6. from Test;    -- 返回1, 1; 1, 2; 2, 1
   
7. 
   
8. select user_id
   
9. from Test
   
10. group by user_id;    -- 返回1;  2
    
11. 
    
12. select user_id, user_type
    
13. from Test
    
14. group by user_id, user_type;    -- 返回1, 1; 1, 2; 2, 1
    
15. 
    
16. select user_id, user_type
    
17. from Test
    
18. group by user_id;    
    
19. -- Hive、Oracle等会报错，mysql可以这样写。
    
20. -- 返回1, 1 或 1, 2 ; 2, 1（共两行）。只会对group by后面的字段去重，就是说最后返回的记录数等于上一段sql的记录数，即2条
    
21. -- 没有放在group by 后面但是在select中放了的字段，只会返回一条记录（好像通常是第一条，应该是没有规律的）

复制代码

到此这篇关于SQL去重方法汇总的文章就介绍到这了,更多相关SQL去重方法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
                                                        
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！