2-严格区间检索最佳处理方法

这是《老虎刘谈Oracle性能优化》的第二篇文章,这篇文章给出的方法有点复杂,需要用函数来实现,后来在第49篇做了更新,这里做个整合。

原文+更新:

2013年,有朋友让我帮忙优化一个SQL:根据IP地址查询对应的国家/地区(根据号码查询归属地也属类似业务),这个就属于严格区间检索。

所谓严格区间,就是区间不重叠,给定一个值最多只匹配一个区间。

业务SQL代码如下:

Select country_code

From COUNTRY_IP_RANGE IP

WHERE

IP.Start_Ip1 <= ip_to_number1(:ip)

AND

IP.End_Ip1   >= ip_to_number1(:ip);

说明:

其中ip_to_number1是一个将ip地址转换成整数的函数。COUNTRY_IP_RANGE表记录数大概有12万条。存在一个start_ip1和end_ip1字段上的联合索引。SQL每次最多只返回一条记录。

当前的性能问题:

查询一个小IP(如:1.0.0.1)时,只需要几个buffer gets;查询一个较大的IP时(如:222.252.0.123),buffer gets要400多。

传统优化方法:

第一步、根据业务规则,增加一个rownum=1的谓词条件,SQL变成:

Select country_code

From COUNTRY_IP_RANGE IP

WHERE

IP.Start_Ip1 <= ip_to_number1(:ip)

AND

IP.End_Ip1   >= ip_to_number1(:ip)

and ROWNUM=1;

加了这个条件后,性能只有一点点的改善,每次的buffer gets会少一个

第二步、根据业务特点及索引默认扫描方式为升序扫描,改变索引扫描方式,使用索引降序扫描,用index_rs_desc的hint实现:

select /*+ INDEX_RS_DESC(ip  IDX_IP1) */

country_code

from COUNTRY_IP_RANGE IP

WHERE

IP.Start_Ip1 <= ip_to_number1(:ip)

AND

IP.End_Ip1   >= ip_to_number1(:ip)

And rownum=1;

其中IDX_IP1是start_ip1,end_ip1两字段联合索引。

做了这两步后,每次的buffer gets就只有3个了。

如果不用hint,可以通过改变联合索引的先后顺序也能实现相同优化效果,即联合索引的顺序是(end_ip1,start_ip1)

当时,优化到这一步就已经解决了朋友的大问题。

最近在整理这个案例的时候,发现还有个问题没有解决:在给定IP地址找不到对应区间的时候,仍需要大量的buffer gets。有外国优化大师给出的解决方案是通过plsql代码实现,需要创建一个函数。这个方案比较复杂,改动也比较大。

我给出了一个直接通过SQL就能完美解决上面问题的sql写法,代码如下:

改写SQL为:

SELECT

case when start_ip1<= :B1 then COUNTRY_CODE

else ‘no_match’ end

FROM

(SELECT COUNTRY_CODE, start_ip1,end_ip1

FROM COUNTRY_IP_RANGE

WHERE end_ip1 >= :B1 order by end_ip1

) WHERE ROWNUM = 1;

这个改写只需要配合 end_ip1 单字段索引即可。 这样,无论查询的IP地址是大是小,是否找得到对应区间,都只需要3个buffer,是最完美的解决方案。

1- 热身–隐式类型转换还是其他?

这个是《老虎刘谈oracle性能优化》微信公众号的第一篇文章,有一点小瑕疵,放在这里更正一下:

说隐式类型转换发生在变量上是“无害的”的说法是不妥的:如果绑定变量是number字段,而且字段上存在直方图,隐式类型转换相当于在变量上使用了函数。这种情况下,绑定变量窥视在第一次会通过直方图做出正确估值,但是如果绑定变量值发生巨大变化,也不再窥视(不再被标记绑定变量敏感),即使开启了ACS和bind_aware,也会一直沿用第一次硬解析时生成的执行计划,这也是一个比较大的问题。 当然,对于数据分布比较平均的字段来说,这种情况就没有问题。

 

以下是公众号原文:

前几天,有个给运营商做维护的DBA小陈问:

刘老师,我这个SQL不能使用索引,你帮我确认一下,是不是遇到了“隐式类型转换”?然后发了一个执行计划的最后部分给我看:

Peeked Binds (identified by position):

————————————–

1 – :V1 (VARCHAR2(30), CSID=852): ‘4000874’

2 – :V2 (VARCHAR2(30), CSID=852): ‘4000874’

Predicate Information (identified by operation id):

—————————————————

4 – filter((“RATABLE_RESOURCE_ID”=TO_NUMBER(:V1) OR “TRANSFER_RESOURCE_ID”=TO_NUMBER(:V2)))

我说没错,确实是有隐式类型转换。但是,这个隐式类型转换却是“无害”的,因为如果字段是number类型,绑定变量是varchar2类型,这种隐式类型转换是不会影响SQL执行计划的。而如果字段是varchar2类型,绑定变量是number类型,这种才是最危险的。

小陈接下来发了完整的SQL,并告知第一个谓词条件字段(红色)上有主键:

SELECT

……

FROM    hss.tb_bil_ratable_resource

WHERE   ratable_resource_id =  ‘4000874’ OR transfer_resource_id =  ‘4000874’;

我一看SQL,马上就明白是什么原因了:这个SQL如果要想使用索引,必须还要创建另一个谓词条件字段(transfer_resource_id)上的索引。

小陈创建完索引后很快就发消息说搞定了!

解释:

因为两个谓词条件之间的关系是OR,而不是通常见到的AND,如果是AND,不用创建另一个字段上的索引就可以使用已经存在的主键索引。

总结:

这个SQL虽然非常简单,但是如果没有理解OR和AND的区别,还是会比较迷惑。而且客户之前被隐式类型转换折腾过几次,这次发现一个,可惜却不是根因。​