[Improvement](inverted index) lazy init inverted index file reader

[airborne12]

Proposed changes

We call InvertedIndexFileReader::init in segment_iterator init_inverted_index_iterators now, which cause searcher cache miss.
So we lazy init when we open specific index.

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[airborne12]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 41544 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ddefe16fbf5051de488a29757e25d9acd5bc13c7, data reload: false

------ Round 1 ----------------------------------
q1	17593	4070	4054	4054
q2	2015	200	200	200
q3	10452	1339	1335	1335
q4	10173	840	932	840
q5	7651	2967	2962	2962
q6	220	138	140	138
q7	1059	620	620	620
q8	9448	1822	1948	1822
q9	8477	6576	6617	6576
q10	8747	3853	3835	3835
q11	438	253	250	250
q12	438	232	233	232
q13	17780	2976	2970	2970
q14	274	235	241	235
q15	529	484	496	484
q16	528	392	389	389
q17	952	883	913	883
q18	7942	7318	7204	7204
q19	1413	1212	1207	1207
q20	546	320	343	320
q21	5310	4712	4744	4712
q22	339	276	286	276
Total cold run time: 112324 ms
Total hot run time: 41544 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4040	3990	4026	3990
q2	320	216	221	216
q3	2997	2971	3082	2971
q4	1969	1988	1972	1972
q5	5542	5487	5471	5471
q6	222	133	140	133
q7	2110	1751	1821	1751
q8	3300	3361	3320	3320
q9	8701	8626	8690	8626
q10	3954	4023	3965	3965
q11	558	466	459	459
q12	768	633	641	633
q13	16297	3163	3112	3112
q14	304	284	271	271
q15	553	499	484	484
q16	484	420	416	416
q17	1788	1717	1721	1717
q18	8100	7749	7613	7613
q19	1794	1728	1721	1721
q20	2058	1846	1848	1846
q21	5728	5494	5506	5494
q22	515	461	475	461
Total cold run time: 72102 ms
Total hot run time: 56642 ms

[doris-robot]

TPC-DS: Total hot run time: 169779 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ddefe16fbf5051de488a29757e25d9acd5bc13c7, data reload: false

query1	910	378	372	372
query2	6466	1679	1683	1679
query3	6645	212	219	212
query4	20090	17471	17223	17223
query5	3659	529	568	529
query6	277	183	178	178
query7	4595	310	293	293
query8	260	197	194	194
query9	8511	2355	2335	2335
query10	425	283	277	277
query11	10530	9977	9997	9977
query12	130	89	95	89
query13	1636	410	380	380
query14	9693	7448	6943	6943
query15	212	158	163	158
query16	6768	455	424	424
query17	917	572	554	554
query18	1848	281	277	277
query19	185	149	149	149
query20	95	90	87	87
query21	196	100	98	98
query22	4203	4130	4157	4130
query23	33954	33808	33775	33775
query24	10495	3210	3064	3064
query25	674	414	422	414
query26	1765	162	155	155
query27	2988	281	284	281
query28	7376	1983	1982	1982
query29	1270	441	426	426
query30	250	162	163	162
query31	979	793	783	783
query32	103	55	62	55
query33	677	333	334	333
query34	934	501	500	500
query35	862	763	718	718
query36	985	859	863	859
query37	290	78	76	76
query38	2898	2760	2813	2760
query39	872	809	825	809
query40	253	113	112	112
query41	45	43	43	43
query42	124	98	97	97
query43	458	420	402	402
query44	1172	725	725	725
query45	209	175	177	175
query46	1084	823	780	780
query47	1831	1758	1741	1741
query48	368	290	294	290
query49	933	429	435	429
query50	891	439	434	434
query51	6774	6632	6703	6632
query52	107	91	96	91
query53	253	183	185	183
query54	638	455	449	449
query55	79	75	75	75
query56	268	253	267	253
query57	1148	1039	1035	1035
query58	276	274	282	274
query59	2554	2476	2506	2476
query60	325	279	305	279
query61	97	91	95	91
query62	881	672	657	657
query63	208	185	183	183
query64	5677	1926	1895	1895
query65	3184	3160	3113	3113
query66	1310	331	333	331
query67	15298	14712	14765	14712
query68	4402	572	577	572
query69	670	399	359	359
query70	1119	1084	1052	1052
query71	408	278	275	275
query72	7493	2670	2511	2511
query73	785	328	333	328
query74	5984	5626	5594	5594
query75	3397	2745	2728	2728
query76	2752	1198	1293	1198
query77	567	308	313	308
query78	9299	8938	8855	8855
query79	1351	543	541	541
query80	770	513	516	513
query81	553	232	224	224
query82	654	131	129	129
query83	192	169	165	165
query84	253	78	80	78
query85	1099	311	303	303
query86	472	296	310	296
query87	3250	3103	3094	3094
query88	3842	2409	2437	2409
query89	373	296	301	296
query90	1797	200	200	200
query91	134	184	100	100
query92	57	52	50	50
query93	1981	601	607	601
query94	743	294	292	292
query95	378	269	267	267
query96	619	284	281	281
query97	3247	3031	3106	3031
query98	231	198	206	198
query99	1628	1264	1276	1264
Total cold run time: 262568 ms
Total hot run time: 169779 ms

[doris-robot]

ClickBench: Total hot run time: 29.96 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ddefe16fbf5051de488a29757e25d9acd5bc13c7, data reload: false

query1	0.04	0.04	0.04
query2	0.07	0.04	0.04
query3	0.23	0.05	0.05
query4	1.67	0.08	0.08
query5	0.48	0.48	0.48
query6	1.16	0.72	0.71
query7	0.02	0.02	0.02
query8	0.05	0.04	0.04
query9	0.58	0.52	0.52
query10	0.57	0.56	0.57
query11	0.15	0.12	0.12
query12	0.15	0.13	0.12
query13	0.62	0.61	0.60
query14	0.78	0.80	0.81
query15	0.92	0.88	0.86
query16	0.35	0.35	0.36
query17	1.03	0.99	1.01
query18	0.22	0.20	0.21
query19	1.81	1.71	1.71
query20	0.02	0.01	0.01
query21	15.39	0.75	0.66
query22	4.02	7.53	1.23
query23	17.96	1.29	1.26
query24	2.28	0.22	0.22
query25	0.18	0.08	0.08
query26	0.32	0.21	0.21
query27	0.46	0.22	0.23
query28	13.16	0.99	0.97
query29	12.56	3.37	3.31
query30	0.26	0.07	0.05
query31	2.84	0.42	0.41
query32	3.25	0.48	0.48
query33	2.94	2.94	2.96
query34	15.46	4.25	4.24
query35	4.30	4.31	4.28
query36	0.67	0.50	0.49
query37	0.19	0.16	0.17
query38	0.17	0.15	0.15
query39	0.04	0.04	0.04
query40	0.16	0.14	0.13
query41	0.10	0.05	0.05
query42	0.06	0.04	0.04
query43	0.05	0.04	0.04
Total cold run time: 107.74 s
Total hot run time: 29.96 s

[airborne12]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[doris-robot]

TPC-H: Total hot run time: 41302 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ddb34e67b019ad6a5c51b688a490792317f9d812, data reload: false

------ Round 1 ----------------------------------
q1	17757	4536	4062	4062
q2	2032	194	196	194
q3	10568	1301	1395	1301
q4	10237	828	927	828
q5	7670	2930	2962	2930
q6	218	141	138	138
q7	1048	623	621	621
q8	9439	1762	1926	1762
q9	8459	6563	6576	6563
q10	8711	3858	3824	3824
q11	423	249	240	240
q12	409	228	221	221
q13	17767	2921	2968	2921
q14	274	242	241	241
q15	529	480	481	480
q16	491	428	389	389
q17	963	938	935	935
q18	7949	7353	7150	7150
q19	1839	1201	1203	1201
q20	563	315	326	315
q21	5315	4708	4801	4708
q22	340	278	285	278
Total cold run time: 113001 ms
Total hot run time: 41302 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4142	4001	4131	4001
q2	326	219	221	219
q3	2990	3007	2961	2961
q4	1906	1873	1846	1846
q5	5248	5225	5209	5209
q6	216	130	129	129
q7	2065	1655	1663	1655
q8	3175	3217	3225	3217
q9	8304	8227	8227	8227
q10	3763	3837	3833	3833
q11	554	447	442	442
q12	716	562	550	550
q13	16809	2928	2948	2928
q14	283	262	253	253
q15	522	473	471	471
q16	435	395	395	395
q17	1728	1690	1697	1690
q18	7658	7366	7188	7188
q19	1661	1650	1661	1650
q20	1975	1749	1746	1746
q21	5481	5270	5117	5117
q22	512	431	488	431
Total cold run time: 70469 ms
Total hot run time: 54158 ms

[doris-robot]

TPC-DS: Total hot run time: 168034 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ddb34e67b019ad6a5c51b688a490792317f9d812, data reload: false

query1	910	376	360	360
query2	6481	1737	1675	1675
query3	6662	209	220	209
query4	19576	17582	17208	17208
query5	4326	528	529	528
query6	264	164	168	164
query7	4602	291	296	291
query8	266	195	189	189
query9	8501	2365	2349	2349
query10	423	270	262	262
query11	10494	9896	9996	9896
query12	139	90	89	89
query13	1623	367	372	367
query14	8875	7017	6606	6606
query15	198	164	167	164
query16	7093	451	461	451
query17	954	563	574	563
query18	1911	274	280	274
query19	192	145	145	145
query20	90	89	84	84
query21	206	102	97	97
query22	4196	3985	4193	3985
query23	33742	32807	32805	32805
query24	10427	3018	3048	3018
query25	701	398	386	386
query26	1875	150	150	150
query27	3059	278	281	278
query28	7082	1962	1944	1944
query29	1357	415	410	410
query30	290	149	151	149
query31	976	738	740	738
query32	99	52	56	52
query33	705	307	323	307
query34	902	479	473	473
query35	857	733	737	733
query36	1015	906	877	877
query37	303	77	79	77
query38	2881	2763	2767	2763
query39	882	789	818	789
query40	288	112	112	112
query41	50	44	45	44
query42	126	100	101	100
query43	490	411	447	411
query44	1214	724	729	724
query45	214	179	179	179
query46	1075	815	810	810
query47	1811	1721	1736	1721
query48	377	302	295	295
query49	1197	428	452	428
query50	894	438	441	438
query51	6780	6567	6669	6567
query52	108	90	92	90
query53	253	182	184	182
query54	638	459	459	459
query55	79	78	80	78
query56	289	263	267	263
query57	1175	1059	1042	1042
query58	307	267	274	267
query59	2529	2506	2483	2483
query60	331	278	286	278
query61	117	160	117	117
query62	916	664	663	663
query63	221	188	177	177
query64	5869	1885	1928	1885
query65	3150	3095	3103	3095
query66	1441	350	340	340
query67	15581	14720	14731	14720
query68	4299	566	581	566
query69	449	308	297	297
query70	1130	1062	1054	1054
query71	411	278	284	278
query72	7192	2759	2478	2478
query73	776	339	339	339
query74	5992	5618	5579	5579
query75	3401	2731	2716	2716
query76	2318	1225	1273	1225
query77	452	319	328	319
query78	9376	8923	8887	8887
query79	1477	528	580	528
query80	1211	506	506	506
query81	534	229	223	223
query82	1058	131	128	128
query83	239	168	166	166
query84	274	78	81	78
query85	1297	325	305	305
query86	397	319	321	319
query87	3305	3104	3125	3104
query88	2998	2435	2459	2435
query89	389	286	287	286
query90	1797	193	199	193
query91	130	101	105	101
query92	61	49	51	49
query93	1439	620	615	615
query94	890	360	301	301
query95	392	271	264	264
query96	621	286	280	280
query97	3230	3060	3109	3060
query98	223	196	195	195
query99	1659	1298	1287	1287
Total cold run time: 262072 ms
Total hot run time: 168034 ms

[doris-robot]

ClickBench: Total hot run time: 29.85 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ddb34e67b019ad6a5c51b688a490792317f9d812, data reload: false

query1	0.04	0.04	0.04
query2	0.06	0.04	0.04
query3	0.23	0.05	0.06
query4	1.67	0.06	0.07
query5	0.49	0.48	0.48
query6	1.14	0.72	0.71
query7	0.02	0.01	0.02
query8	0.06	0.04	0.04
query9	0.58	0.51	0.51
query10	0.57	0.55	0.55
query11	0.16	0.12	0.11
query12	0.15	0.12	0.13
query13	0.62	0.61	0.59
query14	0.77	0.79	0.79
query15	0.94	0.87	0.86
query16	0.36	0.35	0.34
query17	0.99	1.02	0.97
query18	0.22	0.20	0.20
query19	1.88	1.76	1.79
query20	0.01	0.00	0.01
query21	15.42	0.74	0.64
query22	4.07	7.75	1.31
query23	18.09	1.37	1.29
query24	2.25	0.22	0.22
query25	0.19	0.09	0.08
query26	0.32	0.22	0.21
query27	0.45	0.23	0.22
query28	13.16	1.00	0.96
query29	12.61	3.28	3.25
query30	0.25	0.06	0.05
query31	2.89	0.41	0.40
query32	3.24	0.48	0.49
query33	2.97	2.90	2.90
query34	15.56	4.28	4.25
query35	4.33	4.30	4.29
query36	0.67	0.50	0.48
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.04	0.03	0.03
query40	0.16	0.14	0.13
query41	0.09	0.05	0.04
query42	0.05	0.04	0.04
query43	0.05	0.04	0.04
Total cold run time: 108.17 s
Total hot run time: 29.85 s

[airborne12]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[airborne12]

run buildall

[github-actions]

clang-tidy review says "All clean, LGTM! 👍"

[qidaye]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.

[zzzxl1993]

LGTM

[csun5285]

LGTM

[doris-robot]

TPC-H: Total hot run time: 41223 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit fcb9d4cf6a0889aa4a7b156ff446fc35461bf012, data reload: false

------ Round 1 ----------------------------------
q1	17599	4086	4013	4013
q2	2017	196	195	195
q3	10460	1218	1274	1218
q4	10184	808	889	808
q5	7664	2978	2946	2946
q6	221	137	139	137
q7	1045	602	604	602
q8	9432	1893	1919	1893
q9	8461	6534	6541	6534
q10	8736	3789	3798	3789
q11	424	248	246	246
q12	441	225	226	225
q13	17750	2939	2948	2939
q14	272	233	248	233
q15	522	486	499	486
q16	520	396	383	383
q17	946	904	897	897
q18	8022	7254	7169	7169
q19	1446	1212	1199	1199
q20	568	320	335	320
q21	5245	4865	4719	4719
q22	337	282	272	272
Total cold run time: 112312 ms
Total hot run time: 41223 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4059	4000	4017	4000
q2	330	223	225	223
q3	2997	2937	3042	2937
q4	1990	1995	1988	1988
q5	5497	5530	5433	5433
q6	222	130	131	130
q7	2092	1765	1804	1765
q8	3274	3347	3290	3290
q9	8561	8540	8653	8540
q10	3913	4010	3965	3965
q11	538	450	440	440
q12	738	571	582	571
q13	15259	3130	3082	3082
q14	304	263	271	263
q15	532	485	494	485
q16	458	426	406	406
q17	1765	1718	1717	1717
q18	8084	7701	7643	7643
q19	1711	1682	1693	1682
q20	2050	1919	1843	1843
q21	5654	5448	5295	5295
q22	523	461	470	461
Total cold run time: 70551 ms
Total hot run time: 56159 ms

[doris-robot]

TPC-DS: Total hot run time: 168581 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit fcb9d4cf6a0889aa4a7b156ff446fc35461bf012, data reload: false

query1	912	373	368	368
query2	6490	1681	1657	1657
query3	6653	210	225	210
query4	20000	17603	17410	17410
query5	3644	506	512	506
query6	286	183	165	165
query7	4585	298	291	291
query8	253	192	210	192
query9	8530	2345	2328	2328
query10	426	274	279	274
query11	10480	9998	9977	9977
query12	118	93	87	87
query13	1642	393	375	375
query14	9705	6890	6968	6890
query15	209	172	164	164
query16	6797	431	471	431
query17	960	579	557	557
query18	1927	292	283	283
query19	196	151	149	149
query20	94	87	89	87
query21	204	98	99	98
query22	4170	4013	3947	3947
query23	33680	33818	33274	33274
query24	10223	3190	3175	3175
query25	743	444	450	444
query26	1750	163	174	163
query27	2770	290	288	288
query28	7395	2026	1995	1995
query29	1346	549	433	433
query30	226	151	156	151
query31	954	767	775	767
query32	109	61	55	55
query33	661	333	330	330
query34	913	508	514	508
query35	893	730	768	730
query36	1049	904	891	891
query37	256	91	82	82
query38	2905	2885	2764	2764
query39	863	789	799	789
query40	246	108	111	108
query41	44	42	44	42
query42	133	98	97	97
query43	469	411	425	411
query44	1125	726	719	719
query45	206	178	177	177
query46	1079	791	768	768
query47	1808	1709	1702	1702
query48	367	284	290	284
query49	941	410	423	410
query50	885	423	432	423
query51	6817	6638	6614	6614
query52	122	93	96	93
query53	258	187	179	179
query54	625	463	449	449
query55	80	75	74	74
query56	273	257	267	257
query57	1145	1043	1054	1043
query58	276	259	267	259
query59	2617	2287	2294	2287
query60	307	272	269	269
query61	97	95	97	95
query62	883	650	658	650
query63	215	181	176	176
query64	5659	1895	1862	1862
query65	3137	3100	3072	3072
query66	1322	330	331	330
query67	15123	14713	14601	14601
query68	4688	562	570	562
query69	534	308	299	299
query70	1134	1050	1074	1050
query71	502	324	274	274
query72	7672	2679	2514	2514
query73	771	326	328	326
query74	6018	5667	5574	5574
query75	3954	2720	2711	2711
query76	3112	1160	1266	1160
query77	623	308	311	308
query78	9341	8982	8816	8816
query79	2309	531	540	531
query80	1188	493	501	493
query81	547	223	224	223
query82	1020	134	133	133
query83	313	166	167	166
query84	269	81	76	76
query85	1340	364	292	292
query86	423	286	297	286
query87	3224	3125	3097	3097
query88	3038	2408	2415	2408
query89	412	287	287	287
query90	1962	197	197	197
query91	125	98	98	98
query92	62	50	49	49
query93	1926	626	608	608
query94	1016	278	298	278
query95	380	262	264	262
query96	621	283	279	279
query97	3236	3030	3101	3030
query98	233	195	194	194
query99	1624	1264	1268	1264
Total cold run time: 264893 ms
Total hot run time: 168581 ms

[doris-robot]

ClickBench: Total hot run time: 29.99 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit fcb9d4cf6a0889aa4a7b156ff446fc35461bf012, data reload: false

query1	0.05	0.04	0.04
query2	0.07	0.04	0.03
query3	0.23	0.05	0.04
query4	1.68	0.07	0.06
query5	0.48	0.48	0.48
query6	1.16	0.72	0.71
query7	0.02	0.01	0.01
query8	0.04	0.04	0.04
query9	0.57	0.52	0.51
query10	0.56	0.56	0.58
query11	0.15	0.11	0.12
query12	0.14	0.11	0.12
query13	0.61	0.61	0.59
query14	0.77	0.79	0.79
query15	0.90	0.86	0.86
query16	0.35	0.35	0.36
query17	0.97	0.97	1.00
query18	0.22	0.21	0.21
query19	1.86	1.76	1.71
query20	0.01	0.01	0.02
query21	15.41	0.76	0.68
query22	3.55	7.47	1.36
query23	17.86	1.30	1.26
query24	2.26	0.22	0.22
query25	0.19	0.08	0.08
query26	0.31	0.21	0.22
query27	0.46	0.23	0.22
query28	13.18	1.00	0.97
query29	12.50	3.32	3.31
query30	0.25	0.06	0.05
query31	2.88	0.40	0.40
query32	3.24	0.49	0.48
query33	2.92	2.98	2.98
query34	15.44	4.26	4.23
query35	4.31	4.29	4.30
query36	0.67	0.49	0.48
query37	0.20	0.17	0.16
query38	0.16	0.15	0.16
query39	0.05	0.04	0.03
query40	0.16	0.12	0.14
query41	0.09	0.05	0.04
query42	0.05	0.04	0.04
query43	0.04	0.04	0.04
Total cold run time: 107.02 s
Total hot run time: 29.99 s