301	11pt_avg	0.1265	0.1106
301	G	0.0473	0.0379
301	P_10	0.4200	0.3068
301	P_100	0.3112	0.1895
301	P_1000	0.1205	0.0843
301	P_15	0.4170	0.2776
301	P_20	0.4155	0.2642
301	P_200	0.2487	0.1488
301	P_30	0.3858	0.2413
301	P_5	0.4182	0.3385
301	P_500	0.1718	0.1187
301	Rndcg	0.2380	0.1544
301	Rprec	0.1804	0.1209
301	Rprec_mult_0.20	0.3208	0.1951
301	Rprec_mult_0.40	0.2588	0.1551
301	Rprec_mult_0.60	0.2199	0.1343
301	Rprec_mult_0.80	0.1975	0.1253
301	Rprec_mult_1.00	0.1804	0.1209
301	Rprec_mult_1.20	0.1654	0.1159
301	Rprec_mult_1.40	0.1528	0.1073
301	Rprec_mult_1.60	0.1426	0.1001
301	Rprec_mult_1.80	0.1352	0.0945
301	Rprec_mult_2.00	0.1285	0.0900
301	binG	0.0473	0.0379
301	bpref	0.2053	0.1438
301	infAP	0.0949	0.1053
301	iprec_at_recall_0.00	0.6426	0.3418
301	iprec_at_recall_0.10	0.2979	0.2359
301	iprec_at_recall_0.20	0.1589	0.2117
301	iprec_at_recall_0.30	0.1104	0.1874
301	iprec_at_recall_0.40	0.0822	0.1591
301	iprec_at_recall_0.50	0.0563	0.1344
301	iprec_at_recall_0.60	0.0273	0.1028
301	iprec_at_recall_0.70	0.0155	0.0840
301	iprec_at_recall_0.80	0.0000	0.0000
301	iprec_at_recall_0.90	0.0000	0.0000
301	iprec_at_recall_1.00	0.0000	0.0000
301	map	0.0949	0.1053
301	map_cut_10	0.0067	0.0068
301	map_cut_100	0.0372	0.0385
301	map_cut_1000	0.0949	0.1053
301	map_cut_15	0.0094	0.0095
301	map_cut_20	0.0121	0.0120
301	map_cut_200	0.0530	0.0557
301	map_cut_30	0.0162	0.0162
301	map_cut_5	0.0036	0.0038
301	map_cut_500	0.0781	0.0860
301	ndcg	0.2706	0.1792
301	ndcg_cut_10	0.4156	0.3108
301	ndcg_cut_100	0.3311	0.2031
301	ndcg_cut_1000	0.2706	0.1792
301	ndcg_cut_15	0.4147	0.2873
301	ndcg_cut_20	0.4141	0.2745
301	ndcg_cut_200	0.2737	0.1635
301	ndcg_cut_30	0.3939	0.2536
301	ndcg_cut_5	0.4117	0.3430
301	ndcg_cut_500	0.2142	0.1391
301	ndcg_rel	0.2738	0.1736
301	num_nonrel_judged_ret	206.6545	70.8360
301	num_rel	448.0000	0.0000
301	num_rel_ret	120.5364	84.3445
301	num_ret	922.5455	223.3075
301	prefs_avgjg	0.2422	0.1692
301	prefs_avgjg_Rnonrel	0.1621	0.0609
301	prefs_avgjg_Rnonrel_ret	0.2921	0.1632
301	prefs_avgjg_imp	0.5428	0.1919
301	prefs_avgjg_ret	0.4958	0.1516
301	prefs_num_prefs_ful	115462.2091	80645.5653
301	prefs_num_prefs_ful_ret	14855.1636	12500.9114
301	prefs_num_prefs_poss	476672.0000	0.0000
301	prefs_pair	0.2422	0.1692
301	prefs_pair_imp	0.5428	0.1919
301	prefs_pair_ret	0.4958	0.1516
301	prefs_simp	0.2422	0.1692
301	prefs_simp_imp	0.5428	0.1919
301	prefs_simp_ret	0.4958	0.1516
301	recall_10	0.0094	0.0069
301	recall_100	0.0695	0.0423
301	recall_1000	0.2691	0.1883
301	recall_15	0.0140	0.0093
301	recall_20	0.0186	0.0118
301	recall_200	0.1110	0.0664
301	recall_30	0.0258	0.0162
301	recall_5	0.0047	0.0038
301	recall_500	0.1917	0.1325
301	recip_rank	0.5438	0.3917
301	relative_P_10	0.4200	0.3068
301	relative_P_100	0.3112	0.1895
301	relative_P_1000	0.2691	0.1883
301	relative_P_15	0.4170	0.2776
301	relative_P_20	0.4155	0.2642
301	relative_P_200	0.2487	0.1488
301	relative_P_30	0.3858	0.2413
301	relative_P_5	0.4182	0.3385
301	relative_P_500	0.1917	0.1325
301	set_F	   nan	   nan
301	set_P	0.1322	0.0834
301	set_map	0.0496	0.0606
301	set_recall	0.2691	0.1883
301	set_relative_P	0.2758	0.1839
301	success_1	0.3909	0.4880
301	success_10	0.8364	0.3699
301	success_5	0.7545	0.4304
301	utility	-681.4727	229.7304
302	11pt_avg	0.5029	0.1788
302	G	0.2522	0.0812
302	P_10	0.7018	0.1977
302	P_100	0.4132	0.1433
302	P_1000	0.0534	0.0179
302	P_15	0.6806	0.1959
302	P_20	0.6655	0.1975
302	P_200	0.2435	0.0884
302	P_30	0.6364	0.1982
302	P_5	0.7545	0.2392
302	P_500	0.1033	0.0356
302	Rndcg	0.6549	0.2026
302	Rprec	0.5056	0.1669
302	Rprec_mult_0.20	0.6909	0.1968
302	Rprec_mult_0.40	0.6524	0.2020
302	Rprec_mult_0.60	0.6065	0.1916
302	Rprec_mult_0.80	0.5558	0.1813
302	Rprec_mult_1.00	0.5056	0.1669
302	Rprec_mult_1.20	0.4684	0.1573
302	Rprec_mult_1.40	0.4334	0.1480
302	Rprec_mult_1.60	0.4045	0.1418
302	Rprec_mult_1.80	0.3734	0.1331
302	Rprec_mult_2.00	0.3463	0.1247
302	binG	0.2522	0.0812
302	bpref	0.5058	0.1682
302	infAP	0.4935	0.1809
302	iprec_at_recall_0.00	0.9214	0.2464
302	iprec_at_recall_0.10	0.7629	0.2353
302	iprec_at_recall_0.20	0.6973	0.2315
302	iprec_at_recall_0.30	0.6536	0.2388
302	iprec_at_recall_0.40	0.6065	0.2328
302	iprec_at_recall_0.50	0.5365	0.2256
302	iprec_at_recall_0.60	0.4687	0.2165
302	iprec_at_recall_0.70	0.3616	0.2322
302	iprec_at_recall_0.80	0.2974	0.2185
302	iprec_at_recall_0.90	0.2000	0.1902
302	iprec_at_recall_1.00	0.0260	0.0596
302	map	0.4935	0.1809
302	map_cut_10	0.0936	0.0293
302	map_cut_100	0.4378	0.1567
302	map_cut_1000	0.4935	0.1809
302	map_cut_15	0.1309	0.0408
302	map_cut_20	0.1665	0.0524
302	map_cut_200	0.4836	0.1801
302	map_cut_30	0.2313	0.0762
302	map_cut_5	0.0543	0.0197
302	map_cut_500	0.4915	0.1810
302	ndcg	0.7494	0.2367
302	ndcg_cut_10	0.7379	0.2082
302	ndcg_cut_100	0.6465	0.2047
302	ndcg_cut_1000	0.7494	0.2367
302	ndcg_cut_15	0.7155	0.2022
302	ndcg_cut_20	0.6996	0.1991
302	ndcg_cut_200	0.7143	0.2337
302	ndcg_cut_30	0.6718	0.1963
302	ndcg_cut_5	0.7859	0.2420
302	ndcg_cut_500	0.7376	0.2359
302	ndcg_rel	0.6850	0.2021
302	num_nonrel_judged_ret	222.9000	99.0137
302	num_rel	65.0000	0.0000
302	num_rel_ret	53.4000	17.8886
302	num_ret	913.8364	247.9119
302	prefs_avgjg	0.7866	0.2635
302	prefs_avgjg_Rnonrel	0.0731	0.0155
302	prefs_avgjg_Rnonrel_ret	0.2456	0.1405
302	prefs_avgjg_imp	0.8809	0.2152
302	prefs_avgjg_ret	0.7791	0.2033
302	prefs_num_prefs_ful	41361.5182	13856.1935
302	prefs_num_prefs_ful_ret	10956.6091	6541.1638
302	prefs_num_prefs_poss	52585.0000	0.0000
302	prefs_pair	0.7866	0.2635
302	prefs_pair_imp	0.8809	0.2152
302	prefs_pair_ret	0.7791	0.2033
302	prefs_simp	0.7866	0.2635
302	prefs_simp_imp	0.8809	0.2152
302	prefs_simp_ret	0.7791	0.2033
302	recall_10	0.1080	0.0304
302	recall_100	0.6357	0.2205
302	recall_1000	0.8215	0.2752
302	recall_15	0.1570	0.0452
302	recall_20	0.2048	0.0608
302	recall_200	0.7492	0.2719
302	recall_30	0.2937	0.0914
302	recall_5	0.0580	0.0184
302	recall_500	0.7950	0.2738
302	recip_rank	0.9034	0.2670
302	relative_P_10	0.7018	0.1977
302	relative_P_100	0.6357	0.2205
302	relative_P_1000	0.8215	0.2752
302	relative_P_15	0.6806	0.1959
302	relative_P_20	0.6655	0.1975
302	relative_P_200	0.7492	0.2719
302	relative_P_30	0.6364	0.1982
302	relative_P_5	0.7545	0.2392
302	relative_P_500	0.7950	0.2738
302	set_F	   nan	   nan
302	set_P	0.0718	0.0666
302	set_map	0.0554	0.0224
302	set_recall	0.8215	0.2752
302	set_relative_P	0.8289	0.2606
302	success_1	0.8727	0.3333
302	success_10	0.9364	0.2441
302	success_5	0.9364	0.2441
302	utility	-807.0364	232.8261
303	11pt_avg	0.1924	0.1020
303	G	0.2138	0.0756
303	P_10	0.1064	0.0907
303	P_100	0.0883	0.0263
303	P_1000	0.0092	0.0026
303	P_15	0.0945	0.0759
303	P_20	0.0900	0.0726
303	P_200	0.0456	0.0132
303	P_30	0.0909	0.0600
303	P_5	0.1400	0.1309
303	P_500	0.0183	0.0053
303	Rndcg	0.2943	0.1277
303	Rprec	0.1064	0.0907
303	Rprec_mult_0.20	0.2364	0.2586
303	Rprec_mult_0.40	0.1568	0.1425
303	Rprec_mult_0.60	0.1318	0.1148
303	Rprec_mult_0.80	0.1193	0.1044
303	Rprec_mult_1.00	0.1064	0.0907
303	Rprec_mult_1.20	0.0954	0.0809
303	Rprec_mult_1.40	0.0948	0.0753
303	Rprec_mult_1.60	0.0960	0.0785
303	Rprec_mult_1.80	0.0945	0.0784
303	Rprec_mult_2.00	0.0900	0.0726
303	binG	0.2138	0.0756
303	bpref	0.0775	0.0681
303	infAP	0.1517	0.0815
303	iprec_at_recall_0.00	0.4263	0.3415
303	iprec_at_recall_0.10	0.4263	0.3415
303	iprec_at_recall_0.20	0.1946	0.1510
303	iprec_at_recall_0.30	0.1631	0.0926
303	iprec_at_recall_0.40	0.1468	0.0728
303	iprec_at_recall_0.50	0.1417	0.0671
303	iprec_at_recall_0.60	0.1374	0.0655
303	iprec_at_recall_0.70	0.1294	0.0523
303	iprec_at_recall_0.80	0.1257	0.0515
303	iprec_at_recall_0.90	0.1215	0.0488
303	iprec_at_recall_1.00	0.1037	0.0464
303	map	0.1517	0.0815
303	map_cut_10	0.0525	0.0545
303	map_cut_100	0.1492	0.0833
303	map_cut_1000	0.1517	0.0815
303	map_cut_15	0.0589	0.0587
303	map_cut_20	0.0659	0.0658
303	map_cut_200	0.1517	0.0814
303	map_cut_30	0.0782	0.0739
303	map_cut_5	0.0434	0.0474
303	map_cut_500	0.1517	0.0815
303	ndcg	0.4573	0.1573
303	ndcg_cut_10	0.1313	0.1143
303	ndcg_cut_100	0.4471	0.1626
303	ndcg_cut_1000	0.4573	0.1573
303	ndcg_cut_15	0.1516	0.1236
303	ndcg_cut_20	0.1716	0.1363
303	ndcg_cut_200	0.4564	0.1576
303	ndcg_cut_30	0.2149	0.1516
303	ndcg_cut_5	0.1625	0.1562
303	ndcg_cut_500	0.4569	0.1579
303	ndcg_rel	0.3290	0.1450
303	num_nonrel_judged_ret	232.4909	66.8518
303	num_rel	10.0000	0.0000
303	num_rel_ret	9.1545	2.6153
303	num_ret	913.6727	248.5462
303	prefs_avgjg	0.8662	0.2475
303	prefs_avgjg_Rnonrel	0.0069	0.0010
303	prefs_avgjg_Rnonrel_ret	0.0212	0.0105
303	prefs_avgjg_imp	0.8926	0.2154
303	prefs_avgjg_ret	0.7630	0.2121
303	prefs_num_prefs_ful	6505.1091	1858.3972
303	prefs_num_prefs_ful_ret	1835.7364	768.1939
303	prefs_num_prefs_poss	7510.0000	0.0000
303	prefs_pair	0.8662	0.2475
303	prefs_pair_imp	0.8926	0.2154
303	prefs_pair_ret	0.7630	0.2121
303	prefs_simp	0.8662	0.2475
303	prefs_simp_imp	0.8926	0.2154
303	prefs_simp_ret	0.7630	0.2121
303	recall_10	0.1064	0.0907
303	recall_100	0.8827	0.2635
303	recall_1000	0.9155	0.2615
303	recall_15	0.1418	0.1139
303	recall_20	0.1800	0.1451
303	recall_200	0.9118	0.2634
303	recall_30	0.2727	0.1799
303	recall_5	0.0700	0.0654
303	recall_500	0.9136	0.2637
303	recip_rank	0.4037	0.3603
303	relative_P_10	0.1064	0.0907
303	relative_P_100	0.8827	0.2635
303	relative_P_1000	0.9155	0.2615
303	relative_P_15	0.1418	0.1139
303	relative_P_20	0.1800	0.1451
303	relative_P_200	0.9118	0.2634
303	relative_P_30	0.2727	0.1799
303	relative_P_5	0.1400	0.1309
303	relative_P_500	0.9136	0.2637
303	set_F	   nan	   nan
303	set_P	0.0161	0.0329
303	set_map	0.0118	0.0081
303	set_recall	0.9155	0.2615
303	set_relative_P	0.9182	0.2537
303	success_1	0.2182	0.4130
303	success_10	0.7000	0.4583
303	success_5	0.5909	0.4917
303	utility	-895.3636	247.2150
304	11pt_avg	0.1014	0.0454
304	G	0.0600	0.0212
304	P_10	0.2709	0.1713
304	P_100	0.2070	0.0932
304	P_1000	0.0757	0.0282
304	P_15	0.2721	0.1358
304	P_20	0.2609	0.1240
304	P_200	0.1602	0.0695
304	P_30	0.2630	0.1147
304	P_5	0.2782	0.2225
304	P_500	0.1035	0.0384
304	Rndcg	0.2502	0.0883
304	Rprec	0.1611	0.0703
304	Rprec_mult_0.20	0.2545	0.1066
304	Rprec_mult_0.40	0.2192	0.0978
304	Rprec_mult_0.60	0.1977	0.0904
304	Rprec_mult_0.80	0.1774	0.0808
304	Rprec_mult_1.00	0.1611	0.0703
304	Rprec_mult_1.20	0.1495	0.0630
304	Rprec_mult_1.40	0.1389	0.0570
304	Rprec_mult_1.60	0.1298	0.0509
304	Rprec_mult_1.80	0.1224	0.0471
304	Rprec_mult_2.00	0.1166	0.0442
304	binG	0.0600	0.0212
304	bpref	0.1287	0.0592
304	infAP	0.0738	0.0356
304	iprec_at_recall_0.00	0.5262	0.2967
304	iprec_at_recall_0.10	0.2350	0.1121
304	iprec_at_recall_0.20	0.1560	0.0982
304	iprec_at_recall_0.30	0.1114	0.0715
304	iprec_at_recall_0.40	0.0626	0.0578
304	iprec_at_recall_0.50	0.0222	0.0461
304	iprec_at_recall_0.60	0.0023	0.0166
304	iprec_at_recall_0.70	0.0000	0.0000
304	iprec_at_recall_0.80	0.0000	0.0000
304	iprec_at_recall_0.90	0.0000	0.0000
304	iprec_at_recall_1.00	0.0000	0.0000
304	map	0.0738	0.0356
304	map_cut_10	0.0070	0.0073
304	map_cut_100	0.0345	0.0189
304	map_cut_1000	0.0738	0.0356
304	map_cut_15	0.0094	0.0080
304	map_cut_20	0.0113	0.0086
304	map_cut_200	0.0472	0.0267
304	map_cut_30	0.0156	0.0097
304	map_cut_5	0.0043	0.0049
304	map_cut_500	0.0617	0.0321
304	ndcg	0.3223	0.1126
304	ndcg_cut_10	0.2663	0.1824
304	ndcg_cut_100	0.2191	0.0927
304	ndcg_cut_1000	0.3223	0.1126
304	ndcg_cut_15	0.2686	0.1492
304	ndcg_cut_20	0.2615	0.1325
304	ndcg_cut_200	0.1799	0.0736
304	ndcg_cut_30	0.2628	0.1158
304	ndcg_cut_5	0.2680	0.2319
304	ndcg_cut_500	0.2489	0.0894
304	ndcg_rel	0.2914	0.0960
304	num_nonrel_judged_ret	367.6818	91.4142
304	num_rel	196.0000	0.0000
304	num_rel_ret	75.6909	28.1708
304	num_ret	915.1636	243.2996
304	prefs_avgjg	0.3055	0.1105
304	prefs_avgjg_Rnonrel	0.1118	0.0135
304	prefs_avgjg_Rnonrel_ret	0.1181	0.0499
304	prefs_avgjg_imp	0.4765	0.1421
304	prefs_avgjg_ret	0.4981	0.1590
304	prefs_num_prefs_ful	52936.8091	19137.2677
304	prefs_num_prefs_ful_ret	15235.3000	7503.6765
304	prefs_num_prefs_poss	173264.0000	0.0000
304	prefs_pair	0.3055	0.1105
304	prefs_pair_imp	0.4765	0.1421
304	prefs_pair_ret	0.4981	0.1590
304	prefs_simp	0.3055	0.1105
304	prefs_simp_imp	0.4765	0.1421
304	prefs_simp_ret	0.4981	0.1590
304	recall_10	0.0138	0.0087
304	recall_100	0.1056	0.0476
304	recall_1000	0.3862	0.1437
304	recall_15	0.0208	0.0104
304	recall_20	0.0266	0.0127
304	recall_200	0.1635	0.0709
304	recall_30	0.0402	0.0176
304	recall_5	0.0071	0.0057
304	recall_500	0.2641	0.0979
304	recip_rank	0.4387	0.3292
304	relative_P_10	0.2709	0.1713
304	relative_P_100	0.2070	0.0932
304	relative_P_1000	0.3862	0.1437
304	relative_P_15	0.2721	0.1358
304	relative_P_20	0.2609	0.1240
304	relative_P_200	0.1635	0.0709
304	relative_P_30	0.2630	0.1147
304	relative_P_5	0.2782	0.2225
304	relative_P_500	0.2641	0.0979
304	set_F	   nan	   nan
304	set_P	0.0908	0.0490
304	set_map	0.0359	0.0159
304	set_recall	0.3862	0.1437
304	set_relative_P	0.3901	0.1405
304	success_1	0.2182	0.4130
304	success_10	0.9091	0.2875
304	success_5	0.7727	0.4191
304	utility	-763.7818	218.1056
305	11pt_avg	0.0141	0.0225
305	G	0.0383	0.0273
305	P_10	0.0145	0.0444
305	P_100	0.0190	0.0204
305	P_1000	0.0099	0.0069
305	P_15	0.0121	0.0339
305	P_20	0.0150	0.0327
305	P_200	0.0162	0.0176
305	P_30	0.0173	0.0333
305	P_5	0.0127	0.0676
305	P_500	0.0131	0.0111
305	Rndcg	0.0745	0.0564
305	Rprec	0.0197	0.0333
305	Rprec_mult_0.20	0.0156	0.0589
305	Rprec_mult_0.40	0.0130	0.0363
305	Rprec_mult_0.60	0.0151	0.0321
305	Rprec_mult_0.80	0.0166	0.0318
305	Rprec_mult_1.00	0.0197	0.0333
305	Rprec_mult_1.20	0.0206	0.0295
305	Rprec_mult_1.40	0.0202	0.0267
305	Rprec_mult_1.60	0.0201	0.0266
305	Rprec_mult_1.80	0.0206	0.0245
305	Rprec_mult_2.00	0.0209	0.0246
305	binG	0.0383	0.0273
305	bpref	0.0160	0.0239
305	infAP	0.0102	0.0156
305	iprec_at_recall_0.00	0.0658	0.1390
305	iprec_at_recall_0.10	0.0295	0.0395
305	iprec_at_recall_0.20	0.0192	0.0305
305	iprec_at_recall_0.30	0.0146	0.0275
305	iprec_at_recall_0.40	0.0126	0.0264
305	iprec_at_recall_0.50	0.0074	0.0245
305	iprec_at_recall_0.60	0.0034	0.0233
305	iprec_at_recall_0.70	0.0030	0.0232
305	iprec_at_recall_0.80	0.0000	0.0000
305	iprec_at_recall_0.90	0.0000	0.0000
305	iprec_at_recall_1.00	0.0000	0.0000
305	map	0.0102	0.0156
305	map_cut_10	0.0016	0.0089
305	map_cut_100	0.0044	0.0106
305	map_cut_1000	0.0102	0.0156
305	map_cut_15	0.0017	0.0090
305	map_cut_20	0.0020	0.0091
305	map_cut_200	0.0062	0.0141
305	map_cut_30	0.0025	0.0095
305	map_cut_5	0.0012	0.0086
305	map_cut_500	0.0086	0.0154
305	ndcg	0.1308	0.0918
305	ndcg_cut_10	0.0146	0.0564
305	ndcg_cut_100	0.0381	0.0448
305	ndcg_cut_1000	0.1308	0.0918
305	ndcg_cut_15	0.0130	0.0454
305	ndcg_cut_20	0.0148	0.0404
305	ndcg_cut_200	0.0568	0.0619
305	ndcg_cut_30	0.0164	0.0357
305	ndcg_cut_5	0.0137	0.0789
305	ndcg_cut_500	0.0959	0.0818
305	ndcg_rel	0.1098	0.0709
305	num_nonrel_judged_ret	332.6545	141.6668
305	num_rel	35.0000	0.0000
305	num_rel_ret	9.8909	6.8667
305	num_ret	916.9818	237.3833
305	prefs_avgjg	0.2401	0.1650
305	prefs_avgjg_Rnonrel	0.0118	0.0006
305	prefs_avgjg_Rnonrel_ret	0.0155	0.0287
305	prefs_avgjg_imp	0.5158	0.1883
305	prefs_avgjg_ret	0.4673	0.2158
305	prefs_num_prefs_ful	11999.8091	8244.9749
305	prefs_num_prefs_ful_ret	1890.8000	1864.6021
305	prefs_num_prefs_poss	49980.0000	0.0000
305	prefs_pair	0.2401	0.1650
305	prefs_pair_imp	0.5158	0.1883
305	prefs_pair_ret	0.4673	0.2158
305	prefs_simp	0.2401	0.1650
305	prefs_simp_imp	0.5158	0.1883
305	prefs_simp_ret	0.4673	0.2158
305	recall_10	0.0042	0.0127
305	recall_100	0.0543	0.0582
305	recall_1000	0.2826	0.1962
305	recall_15	0.0052	0.0145
305	recall_20	0.0086	0.0187
305	recall_200	0.0927	0.1006
305	recall_30	0.0148	0.0285
305	recall_5	0.0018	0.0097
305	recall_500	0.1870	0.1587
305	recip_rank	0.0536	0.1383
305	relative_P_10	0.0145	0.0444
305	relative_P_100	0.0543	0.0582
305	relative_P_1000	0.2826	0.1962
305	relative_P_15	0.0121	0.0339
305	relative_P_20	0.0150	0.0327
305	relative_P_200	0.0927	0.1006
305	relative_P_30	0.0173	0.0333
305	relative_P_5	0.0127	0.0676
305	relative_P_500	0.1870	0.1587
305	set_F	   nan	   nan
305	set_P	0.0106	0.0067
305	set_map	0.0042	0.0044
305	set_recall	0.2826	0.1962
305	set_relative_P	0.2826	0.1962
305	success_1	0.0182	0.1336
305	success_10	0.1182	0.3228
305	success_5	0.0455	0.2083
305	utility	-897.2000	232.2255
306	11pt_avg	0.1454	0.0854
306	G	0.0610	0.0294
306	P_10	0.4536	0.2739
306	P_100	0.2978	0.1515
306	P_1000	0.1229	0.0560
306	P_15	0.4152	0.2463
306	P_20	0.3886	0.2196
306	P_200	0.2485	0.1192
306	P_30	0.3636	0.1978
306	P_5	0.4745	0.3085
306	P_500	0.1777	0.0886
306	Rndcg	0.2913	0.1309
306	Rprec	0.2111	0.1045
306	Rprec_mult_0.20	0.3174	0.1616
306	Rprec_mult_0.40	0.2787	0.1408
306	Rprec_mult_0.60	0.2485	0.1192
306	Rprec_mult_0.80	0.2286	0.1100
306	Rprec_mult_1.00	0.2111	0.1045
306	Rprec_mult_1.20	0.1959	0.0976
306	Rprec_mult_1.40	0.1841	0.0918
306	Rprec_mult_1.60	0.1725	0.0853
306	Rprec_mult_1.80	0.1628	0.0786
306	Rprec_mult_2.00	0.1540	0.0737
306	binG	0.0610	0.0294
306	bpref	0.2528	0.1163
306	infAP	0.1127	0.0825
306	iprec_at_recall_0.00	0.6863	0.3290
306	iprec_at_recall_0.10	0.3102	0.1755
306	iprec_at_recall_0.20	0.2327	0.1707
306	iprec_at_recall_0.30	0.1737	0.1542
306	iprec_at_recall_0.40	0.1185	0.1427
306	iprec_at_recall_0.50	0.0644	0.1224
306	iprec_at_recall_0.60	0.0137	0.0777
306	iprec_at_recall_0.70	0.0000	0.0000
306	iprec_at_recall_0.80	0.0000	0.0000
306	iprec_at_recall_0.90	0.0000	0.0000
306	iprec_at_recall_1.00	0.0000	0.0000
306	map	0.1127	0.0825
306	map_cut_10	0.0098	0.0078
306	map_cut_100	0.0432	0.0339
306	map_cut_1000	0.1127	0.0825
306	map_cut_15	0.0127	0.0105
306	map_cut_20	0.0151	0.0121
306	map_cut_200	0.0632	0.0496
306	map_cut_30	0.0198	0.0157
306	map_cut_5	0.0055	0.0046
306	map_cut_500	0.0948	0.0746
306	ndcg	0.3475	0.1536
306	ndcg_cut_10	0.4547	0.2769
306	ndcg_cut_100	0.3214	0.1623
306	ndcg_cut_1000	0.3475	0.1536
306	ndcg_cut_15	0.4282	0.2544
306	ndcg_cut_20	0.4083	0.2337
306	ndcg_cut_200	0.2730	0.1294
306	ndcg_cut_30	0.3866	0.2122
306	ndcg_cut_5	0.4651	0.3143
306	ndcg_cut_500	0.2773	0.1311
306	ndcg_rel	0.3326	0.1437
306	num_nonrel_judged_ret	211.6182	74.0772
306	num_rel	332.0000	0.0000
306	num_rel_ret	122.8727	56.0372
306	num_ret	923.0545	222.3507
306	prefs_avgjg	0.3306	0.1497
306	prefs_avgjg_Rnonrel	0.1666	0.0447
306	prefs_avgjg_Rnonrel_ret	0.3155	0.1398
306	prefs_avgjg_imp	0.6339	0.1737
306	prefs_avgjg_ret	0.5122	0.1459
306	prefs_num_prefs_ful	108232.7455	48996.1443
306	prefs_num_prefs_ful_ret	15429.1636	10297.8541
306	prefs_num_prefs_poss	327352.0000	0.0000
306	prefs_pair	0.3306	0.1497
306	prefs_pair_imp	0.6339	0.1737
306	prefs_pair_ret	0.5122	0.1459
306	prefs_simp	0.3306	0.1497
306	prefs_simp_imp	0.6339	0.1737
306	prefs_simp_ret	0.5122	0.1459
306	recall_10	0.0137	0.0083
306	recall_100	0.0897	0.0456
306	recall_1000	0.3701	0.1688
306	recall_15	0.0188	0.0111
306	recall_20	0.0234	0.0132
306	recall_200	0.1497	0.0718
306	recall_30	0.0329	0.0179
306	recall_5	0.0071	0.0046
306	recall_500	0.2675	0.1334
306	recip_rank	0.5885	0.3616
306	relative_P_10	0.4536	0.2739
306	relative_P_100	0.2978	0.1515
306	relative_P_1000	0.3701	0.1688
306	relative_P_15	0.4152	0.2463
306	relative_P_20	0.3886	0.2196
306	relative_P_200	0.2485	0.1192
306	relative_P_30	0.3636	0.1978
306	relative_P_5	0.4745	0.3085
306	relative_P_500	0.2675	0.1334
306	set_F	   nan	   nan
306	set_P	0.1348	0.0496
306	set_map	0.0565	0.0366
306	set_recall	0.3701	0.1688
306	set_relative_P	0.3736	0.1639
306	success_1	0.4000	0.4899
306	success_10	0.9182	0.2741
306	success_5	0.8364	0.3699
306	utility	-677.3091	194.0273
307	11pt_avg	0.1755	0.0955
307	G	0.0815	0.0386
307	P_10	0.3500	0.1967
307	P_100	0.2564	0.1056
307	P_1000	0.1068	0.0516
307	P_15	0.3339	0.1865
307	P_20	0.3182	0.1686
307	P_200	0.2238	0.1003
307	P_30	0.3027	0.1520
307	P_5	0.3945	0.2493
307	P_500	0.1656	0.0807
307	Rndcg	0.3366	0.1456
307	Rprec	0.2223	0.1006
307	Rprec_mult_0.20	0.2920	0.1377
307	Rprec_mult_0.40	0.2659	0.1106
307	Rprec_mult_0.60	0.2466	0.1017
307	Rprec_mult_0.80	0.2326	0.1002
307	Rprec_mult_1.00	0.2223	0.1006
307	Rprec_mult_1.20	0.2143	0.0987
307	Rprec_mult_1.40	0.2044	0.0949
307	Rprec_mult_1.60	0.1966	0.0928
307	Rprec_mult_1.80	0.1900	0.0923
307	Rprec_mult_2.00	0.1818	0.0884
307	binG	0.0815	0.0386
307	bpref	0.1947	0.0922
307	infAP	0.1390	0.0890
307	iprec_at_recall_0.00	0.6893	0.3297
307	iprec_at_recall_0.10	0.3030	0.1476
307	iprec_at_recall_0.20	0.2421	0.1407
307	iprec_at_recall_0.30	0.2012	0.1421
307	iprec_at_recall_0.40	0.1630	0.1437
307	iprec_at_recall_0.50	0.1440	0.1415
307	iprec_at_recall_0.60	0.1087	0.1270
307	iprec_at_recall_0.70	0.0572	0.0939
307	iprec_at_recall_0.80	0.0213	0.0649
307	iprec_at_recall_0.90	0.0000	0.0000
307	iprec_at_recall_1.00	0.0000	0.0000
307	map	0.1390	0.0890
307	map_cut_10	0.0107	0.0090
307	map_cut_100	0.0478	0.0323
307	map_cut_1000	0.1390	0.0890
307	map_cut_15	0.0141	0.0118
307	map_cut_20	0.0168	0.0137
307	map_cut_200	0.0743	0.0491
307	map_cut_30	0.0219	0.0171
307	map_cut_5	0.0070	0.0059
307	map_cut_500	0.1196	0.0766
307	ndcg	0.4318	0.1964
307	ndcg_cut_10	0.3766	0.2131
307	ndcg_cut_100	0.2774	0.1164
307	ndcg_cut_1000	0.4318	0.1964
307	ndcg_cut_15	0.3601	0.1994
307	ndcg_cut_20	0.3453	0.1831
307	ndcg_cut_200	0.2432	0.1044
307	ndcg_cut_30	0.3282	0.1641
307	ndcg_cut_5	0.4129	0.2709
307	ndcg_cut_500	0.3614	0.1642
307	ndcg_rel	0.3638	0.1461
307	num_nonrel_judged_ret	258.3000	69.5238
307	num_rel	210.0000	0.0000
307	num_rel_ret	106.7727	51.6463
307	num_ret	915.8091	241.1263
307	prefs_avgjg	0.4393	0.2084
307	prefs_avgjg_Rnonrel	0.1150	0.0188
307	prefs_avgjg_Rnonrel_ret	0.2057	0.0869
307	prefs_avgjg_imp	0.6592	0.1907
307	prefs_avgjg_ret	0.4600	0.1310
307	prefs_num_prefs_ful	94655.7182	44909.1637
307	prefs_num_prefs_ful_ret	14380.7455	8658.6976
307	prefs_num_prefs_poss	215460.0000	0.0000
307	prefs_pair	0.4393	0.2084
307	prefs_pair_imp	0.6592	0.1907
307	prefs_pair_ret	0.4600	0.1310
307	prefs_simp	0.4393	0.2084
307	prefs_simp_imp	0.6592	0.1907
307	prefs_simp_ret	0.4600	0.1310
307	recall_10	0.0167	0.0094
307	recall_100	0.1221	0.0503
307	recall_1000	0.5084	0.2459
307	recall_15	0.0238	0.0133
307	recall_20	0.0303	0.0161
307	recall_200	0.2132	0.0955
307	recall_30	0.0433	0.0217
307	recall_5	0.0094	0.0059
307	recall_500	0.3942	0.1920
307	recip_rank	0.6381	0.3634
307	relative_P_10	0.3500	0.1967
307	relative_P_100	0.2564	0.1056
307	relative_P_1000	0.5084	0.2459
307	relative_P_15	0.3339	0.1865
307	relative_P_20	0.3182	0.1686
307	relative_P_200	0.2238	0.1003
307	relative_P_30	0.3027	0.1520
307	relative_P_5	0.3945	0.2493
307	relative_P_500	0.3942	0.1920
307	set_F	   nan	   nan
307	set_P	0.1259	0.0633
307	set_map	0.0719	0.0467
307	set_recall	0.5084	0.2459
307	set_relative_P	0.5106	0.2434
307	success_1	0.4727	0.4993
307	success_10	0.9364	0.2441
307	success_5	0.8545	0.3526
307	utility	-702.2636	222.9855
308	11pt_avg	0.4532	0.1972
308	G	0.4667	0.1754
308	P_10	0.1964	0.0883
308	P_100	0.0292	0.0112
308	P_1000	0.0036	0.0010
308	P_15	0.1485	0.0646
308	P_20	0.1200	0.0487
308	P_200	0.0154	0.0054
308	P_30	0.0836	0.0347
308	P_5	0.3400	0.1515
308	P_500	0.0067	0.0022
308	Rndcg	0.5722	0.2073
308	Rprec	0.4000	0.1790
308	Rprec_mult_0.20	0.8455	0.3615
308	Rprec_mult_0.40	0.6091	0.3190
308	Rprec_mult_0.60	0.4788	0.2315
308	Rprec_mult_0.80	0.4000	0.1790
308	Rprec_mult_1.00	0.4000	0.1790
308	Rprec_mult_1.20	0.3400	0.1515
308	Rprec_mult_1.40	0.2954	0.1304
308	Rprec_mult_1.60	0.2623	0.1211
308	Rprec_mult_1.80	0.2364	0.1110
308	Rprec_mult_2.00	0.2364	0.1110
308	binG	0.4667	0.1754
308	bpref	0.3801	0.1778
308	infAP	0.4303	0.1923
308	iprec_at_recall_0.00	0.8775	0.3030
308	iprec_at_recall_0.10	0.8775	0.3030
308	iprec_at_recall_0.20	0.8775	0.3030
308	iprec_at_recall_0.30	0.5832	0.3662
308	iprec_at_recall_0.40	0.5832	0.3662
308	iprec_at_recall_0.50	0.5832	0.3662
308	iprec_at_recall_0.60	0.2096	0.2079
308	iprec_at_recall_0.70	0.2096	0.2079
308	iprec_at_recall_0.80	0.0612	0.1028
308	iprec_at_recall_0.90	0.0612	0.1028
308	iprec_at_recall_1.00	0.0612	0.1028
308	map	0.4303	0.1923
308	map_cut_10	0.3947	0.1868
308	map_cut_100	0.4282	0.1928
308	map_cut_1000	0.4303	0.1923
308	map_cut_15	0.4100	0.1908
308	map_cut_20	0.4169	0.1912
308	map_cut_200	0.4291	0.1925
308	map_cut_30	0.4208	0.1921
308	map_cut_5	0.3702	0.1712
308	map_cut_500	0.4300	0.1924
308	ndcg	0.6525	0.2209
308	ndcg_cut_10	0.5406	0.2170
308	ndcg_cut_100	0.6211	0.2298
308	ndcg_cut_1000	0.6525	0.2209
308	ndcg_cut_15	0.5680	0.2248
308	ndcg_cut_20	0.5839	0.2239
308	ndcg_cut_200	0.6295	0.2253
308	ndcg_cut_30	0.5930	0.2270
308	ndcg_cut_5	0.5071	0.2034
308	ndcg_cut_500	0.6437	0.2244
308	ndcg_rel	0.6972	0.2446
308	num_nonrel_judged_ret	316.5545	99.5642
308	num_rel	4.0000	0.0000
308	num_rel_ret	3.5818	0.9944
308	num_ret	867.7455	268.1261
308	prefs_avgjg	0.8647	0.2411
308	prefs_avgjg_Rnonrel	0.0026	0.0006
308	prefs_avgjg_Rnonrel_ret	0.0180	0.0658
308	prefs_avgjg_imp	0.9051	0.2201
308	prefs_avgjg_ret	0.8107	0.2329
308	prefs_num_prefs_ful	3960.1000	1104.2029
308	prefs_num_prefs_ful_ret	1036.4000	517.7292
308	prefs_num_prefs_poss	4580.0000	0.0000
308	prefs_pair	0.8647	0.2411
308	prefs_pair_imp	0.9051	0.2201
308	prefs_pair_ret	0.8107	0.2329
308	prefs_simp	0.8647	0.2411
308	prefs_simp_imp	0.9051	0.2201
308	prefs_simp_ret	0.8107	0.2329
308	recall_10	0.4909	0.2209
308	recall_100	0.7295	0.2803
308	recall_1000	0.8955	0.2486
308	recall_15	0.5568	0.2423
308	recall_20	0.6000	0.2436
308	recall_200	0.7682	0.2691
308	recall_30	0.6273	0.2606
308	recall_5	0.4250	0.1893
308	recall_500	0.8432	0.2736
308	recip_rank	0.8729	0.3075
308	relative_P_10	0.4909	0.2209
308	relative_P_100	0.7295	0.2803
308	relative_P_1000	0.8955	0.2486
308	relative_P_15	0.5568	0.2423
308	relative_P_20	0.6000	0.2436
308	relative_P_200	0.7682	0.2691
308	relative_P_30	0.6273	0.2606
308	relative_P_5	0.4250	0.1893
308	relative_P_500	0.8432	0.2736
308	set_F	   nan	   nan
308	set_P	0.0114	0.0495
308	set_map	0.0093	0.0370
308	set_recall	0.8955	0.2486
308	set_relative_P	0.8955	0.2486
308	success_1	0.8455	0.3615
308	success_10	0.9182	0.2741
308	success_5	0.9091	0.2875
308	utility	-860.5818	267.4324
309	11pt_avg	0.0084	0.0137
309	G	0.0781	0.0550
309	P_10	0.0036	0.0187
309	P_100	0.0040	0.0077
309	P_1000	0.0017	0.0011
309	P_15	0.0036	0.0151
309	P_20	0.0036	0.0130
309	P_200	0.0037	0.0042
309	P_30	0.0030	0.0096
309	P_5	0.0000	0.0000
309	P_500	0.0025	0.0019
309	Rndcg	0.0549	0.0387
309	Rprec	0.0000	0.0000
309	Rprec_mult_0.20	0.0000	0.0000
309	Rprec_mult_0.40	0.0000	0.0000
309	Rprec_mult_0.60	0.0000	0.0000
309	Rprec_mult_0.80	0.0000	0.0000
309	Rprec_mult_1.00	0.0000	0.0000
309	Rprec_mult_1.20	0.0000	0.0000
309	Rprec_mult_1.40	0.0000	0.0000
309	Rprec_mult_1.60	0.0000	0.0000
309	Rprec_mult_1.80	0.0000	0.0000
309	Rprec_mult_2.00	0.0000	0.0000
309	binG	0.0781	0.0550
309	bpref	0.0000	0.0000
309	infAP	0.0077	0.0124
309	iprec_at_recall_0.00	0.0149	0.0261
309	iprec_at_recall_0.10	0.0149	0.0261
309	iprec_at_recall_0.20	0.0149	0.0261
309	iprec_at_recall_0.30	0.0149	0.0261
309	iprec_at_recall_0.40	0.0050	0.0096
309	iprec_at_recall_0.50	0.0050	0.0096
309	iprec_at_recall_0.60	0.0050	0.0096
309	iprec_at_recall_0.70	0.0050	0.0096
309	iprec_at_recall_0.80	0.0043	0.0093
309	iprec_at_recall_0.90	0.0043	0.0093
309	iprec_at_recall_1.00	0.0043	0.0093
309	map	0.0077	0.0124
309	map_cut_10	0.0015	0.0079
309	map_cut_100	0.0052	0.0115
309	map_cut_1000	0.0077	0.0124
309	map_cut_15	0.0020	0.0085
309	map_cut_20	0.0024	0.0088
309	map_cut_200	0.0062	0.0118
309	map_cut_30	0.0026	0.0089
309	map_cut_5	0.0000	0.0000
309	map_cut_500	0.0072	0.0125
309	ndcg	0.1098	0.0774
309	ndcg_cut_10	0.0054	0.0278
309	ndcg_cut_100	0.0360	0.0673
309	ndcg_cut_1000	0.1098	0.0774
309	ndcg_cut_15	0.0076	0.0318
309	ndcg_cut_20	0.0097	0.0349
309	ndcg_cut_200	0.0585	0.0697
309	ndcg_cut_30	0.0114	0.0367
309	ndcg_cut_5	0.0000	0.0000
309	ndcg_cut_500	0.0883	0.0763
309	ndcg_rel	0.0878	0.0530
309	num_nonrel_judged_ret	363.2727	111.4529
309	num_rel	3.0000	0.0000
309	num_rel_ret	1.7000	1.0664
309	num_ret	914.5273	245.5085
309	prefs_avgjg	0.4575	0.2942
309	prefs_avgjg_Rnonrel	0.0009	0.0000
309	prefs_avgjg_Rnonrel_ret	0.0010	0.0012
309	prefs_avgjg_imp	0.5649	0.2702
309	prefs_avgjg_ret	0.4134	0.2495
309	prefs_num_prefs_ful	1446.7000	930.3234
309	prefs_num_prefs_ful_ret	331.6273	299.4820
309	prefs_num_prefs_poss	3162.0000	0.0000
309	prefs_pair	0.4575	0.2942
309	prefs_pair_imp	0.5649	0.2702
309	prefs_pair_ret	0.4134	0.2495
309	prefs_simp	0.4575	0.2942
309	prefs_simp_imp	0.5649	0.2702
309	prefs_simp_ret	0.4134	0.2495
309	recall_10	0.0121	0.0624
309	recall_100	0.1333	0.2550
309	recall_1000	0.5667	0.3555
309	recall_15	0.0182	0.0757
309	recall_20	0.0242	0.0866
309	recall_200	0.2485	0.2787
309	recall_30	0.0303	0.0958
309	recall_5	0.0000	0.0000
309	recall_500	0.4212	0.3168
309	recip_rank	0.0144	0.0259
309	relative_P_10	0.0121	0.0624
309	relative_P_100	0.1333	0.2550
309	relative_P_1000	0.5667	0.3555
309	relative_P_15	0.0182	0.0757
309	relative_P_20	0.0242	0.0866
309	relative_P_200	0.2485	0.2787
309	relative_P_30	0.0303	0.0958
309	relative_P_5	0.0000	0.0000
309	relative_P_500	0.4212	0.3168
309	set_F	   nan	   nan
309	set_P	0.0019	0.0012
309	set_map	0.0014	0.0012
309	set_recall	0.5667	0.3555
309	set_relative_P	0.5667	0.3555
309	success_1	0.0000	0.0000
309	success_10	0.0364	0.1872
309	success_5	0.0000	0.0000
309	utility	-911.1273	244.6659
310	11pt_avg	0.1811	0.0901
310	G	0.1844	0.0779
310	P_10	0.2355	0.1058
310	P_100	0.0459	0.0188
310	P_1000	0.0069	0.0030
310	P_15	0.1770	0.0806
310	P_20	0.1495	0.0702
310	P_200	0.0263	0.0111
310	P_30	0.1133	0.0503
310	P_5	0.3636	0.1872
310	P_500	0.0121	0.0051
310	Rndcg	0.3437	0.1355
310	Rprec	0.1930	0.0903
310	Rprec_mult_0.20	0.4727	0.2395
310	Rprec_mult_0.40	0.3318	0.1719
310	Rprec_mult_0.60	0.2750	0.1270
310	Rprec_mult_0.80	0.2198	0.0976
310	Rprec_mult_1.00	0.1930	0.0903
310	Rprec_mult_1.20	0.1693	0.0755
310	Rprec_mult_1.40	0.1550	0.0734
310	Rprec_mult_1.60	0.1450	0.0696
310	Rprec_mult_1.80	0.1311	0.0594
310	Rprec_mult_2.00	0.1262	0.0573
310	binG	0.1844	0.0779
310	bpref	0.1670	0.0757
310	infAP	0.1584	0.0820
310	iprec_at_recall_0.00	0.8286	0.3093
310	iprec_at_recall_0.10	0.5211	0.3165
310	iprec_at_recall_0.20	0.3594	0.2671
310	iprec_at_recall_0.30	0.1639	0.1659
310	iprec_at_recall_0.40	0.0576	0.0798
310	iprec_at_recall_0.50	0.0297	0.0538
310	iprec_at_recall_0.60	0.0170	0.0417
310	iprec_at_recall_0.70	0.0091	0.0217
310	iprec_at_recall_0.80	0.0027	0.0134
310	iprec_at_recall_0.90	0.0020	0.0093
310	iprec_at_recall_1.00	0.0014	0.0083
310	map	0.1584	0.0820
310	map_cut_10	0.1281	0.0677
310	map_cut_100	0.1538	0.0796
310	map_cut_1000	0.1584	0.0820
310	map_cut_15	0.1345	0.0714
310	map_cut_20	0.1404	0.0743
310	map_cut_200	0.1562	0.0812
310	map_cut_30	0.1456	0.0765
310	map_cut_5	0.1123	0.0637
310	map_cut_500	0.1576	0.0817
310	ndcg	0.4077	0.1571
310	ndcg_cut_10	0.3205	0.1348
310	ndcg_cut_100	0.3559	0.1388
310	ndcg_cut_1000	0.4077	0.1571
310	ndcg_cut_15	0.2866	0.1197
310	ndcg_cut_20	0.3015	0.1263
310	ndcg_cut_200	0.3734	0.1472
310	ndcg_cut_30	0.3177	0.1299
310	ndcg_cut_5	0.4344	0.2019
310	ndcg_cut_500	0.3914	0.1526
310	ndcg_rel	0.4326	0.1664
310	num_nonrel_judged_ret	340.8909	108.3398
310	num_rel	13.0000	0.0000
310	num_rel_ret	6.8818	2.9595
310	num_ret	915.1273	243.4240
310	prefs_avgjg	0.4981	0.2079
310	prefs_avgjg_Rnonrel	0.0058	0.0007
310	prefs_avgjg_Rnonrel_ret	0.0148	0.0071
310	prefs_avgjg_imp	0.7517	0.1924
310	prefs_avgjg_ret	0.7388	0.2120
310	prefs_num_prefs_ful	8975.4909	3746.4712
310	prefs_num_prefs_ful_ret	1951.4727	1124.2366
310	prefs_num_prefs_poss	18018.0000	0.0000
310	prefs_pair	0.4981	0.2079
310	prefs_pair_imp	0.7517	0.1924
310	prefs_pair_ret	0.7388	0.2120
310	prefs_simp	0.4981	0.2079
310	prefs_simp_imp	0.7517	0.1924
310	prefs_simp_ret	0.7388	0.2120
310	recall_10	0.1811	0.0814
310	recall_100	0.3531	0.1446
310	recall_1000	0.5294	0.2277
310	recall_15	0.2042	0.0930
310	recall_20	0.2301	0.1080
310	recall_200	0.4049	0.1706
310	recall_30	0.2615	0.1161
310	recall_5	0.1398	0.0720
310	recall_500	0.4657	0.1968
310	recip_rank	0.8184	0.3217
310	relative_P_10	0.2355	0.1058
310	relative_P_100	0.3531	0.1446
310	relative_P_1000	0.5294	0.2277
310	relative_P_15	0.2042	0.0930
310	relative_P_20	0.2301	0.1080
310	relative_P_200	0.4049	0.1706
310	relative_P_30	0.2615	0.1161
310	relative_P_5	0.3636	0.1872
310	relative_P_500	0.4657	0.1968
310	set_F	   nan	   nan
310	set_P	0.0081	0.0035
310	set_map	0.0046	0.0030
310	set_recall	0.5294	0.2277
310	set_relative_P	0.5294	0.2277
310	success_1	0.7364	0.4406
310	success_10	0.9364	0.2441
310	success_5	0.9091	0.2875
310	utility	-901.3636	240.8372
311	11pt_avg	0.2733	0.1922
311	G	0.1311	0.1008
311	P_10	0.5927	0.3201
311	P_100	0.3822	0.2740
311	P_1000	0.0937	0.0508
311	P_15	0.5788	0.3178
311	P_20	0.5473	0.3113
311	P_200	0.2844	0.1965
311	P_30	0.5121	0.3058
311	P_5	0.6436	0.3489
311	P_500	0.1597	0.0949
311	Rndcg	0.4152	0.2306
311	Rprec	0.2989	0.2091
311	Rprec_mult_0.20	0.4934	0.3083
311	Rprec_mult_0.40	0.4188	0.2880
311	Rprec_mult_0.60	0.3690	0.2670
311	Rprec_mult_0.80	0.3299	0.2374
311	Rprec_mult_1.00	0.2989	0.2091
311	Rprec_mult_1.20	0.2705	0.1832
311	Rprec_mult_1.40	0.2477	0.1624
311	Rprec_mult_1.60	0.2277	0.1464
311	Rprec_mult_1.80	0.2099	0.1331
311	Rprec_mult_2.00	0.1960	0.1226
311	binG	0.1311	0.1008
311	bpref	0.3222	0.2151
311	infAP	0.2479	0.2047
311	iprec_at_recall_0.00	0.8353	0.3146
311	iprec_at_recall_0.10	0.4876	0.3624
311	iprec_at_recall_0.20	0.4097	0.3496
311	iprec_at_recall_0.30	0.3525	0.3275
311	iprec_at_recall_0.40	0.3164	0.3173
311	iprec_at_recall_0.50	0.2327	0.2829
311	iprec_at_recall_0.60	0.1947	0.2768
311	iprec_at_recall_0.70	0.1407	0.2117
311	iprec_at_recall_0.80	0.0372	0.0826
311	iprec_at_recall_0.90	0.0000	0.0000
311	iprec_at_recall_1.00	0.0000	0.0000
311	map	0.2479	0.2047
311	map_cut_10	0.0283	0.0187
311	map_cut_100	0.1526	0.1454
311	map_cut_1000	0.2479	0.2047
311	map_cut_15	0.0400	0.0275
311	map_cut_20	0.0496	0.0359
311	map_cut_200	0.2028	0.1922
311	map_cut_30	0.0676	0.0524
311	map_cut_5	0.0163	0.0102
311	map_cut_500	0.2367	0.2053
311	ndcg	0.4855	0.2535
311	ndcg_cut_10	0.6213	0.3242
311	ndcg_cut_100	0.4254	0.2738
311	ndcg_cut_1000	0.4855	0.2535
311	ndcg_cut_15	0.6055	0.3192
311	ndcg_cut_20	0.5800	0.3121
311	ndcg_cut_200	0.3549	0.2253
311	ndcg_cut_30	0.5480	0.3047
311	ndcg_cut_5	0.6648	0.3486
311	ndcg_cut_500	0.4402	0.2492
311	ndcg_rel	0.4746	0.2521
311	num_nonrel_judged_ret	206.2091	78.7365
311	num_rel	182.0000	0.0000
311	num_rel_ret	93.6818	50.8307
311	num_ret	916.6909	238.2894
311	prefs_avgjg	0.4814	0.2640
311	prefs_avgjg_Rnonrel	0.1100	0.0307
311	prefs_avgjg_Rnonrel_ret	0.3128	0.2132
311	prefs_avgjg_imp	0.7200	0.2374
311	prefs_avgjg_ret	0.6258	0.1582
311	prefs_num_prefs_ful	97863.0455	53662.4567
311	prefs_num_prefs_ful_ret	11953.1909	8426.9974
311	prefs_num_prefs_poss	203294.0000	0.0000
311	prefs_pair	0.4814	0.2640
311	prefs_pair_imp	0.7200	0.2374
311	prefs_pair_ret	0.6258	0.1582
311	prefs_simp	0.4814	0.2640
311	prefs_simp_imp	0.7200	0.2374
311	prefs_simp_ret	0.6258	0.1582
311	recall_10	0.0326	0.0176
311	recall_100	0.2100	0.1506
311	recall_1000	0.5147	0.2793
311	recall_15	0.0477	0.0262
311	recall_20	0.0601	0.0342
311	recall_200	0.3125	0.2160
311	recall_30	0.0844	0.0504
311	recall_5	0.0177	0.0096
311	recall_500	0.4388	0.2607
311	recip_rank	0.8009	0.3465
311	relative_P_10	0.5927	0.3201
311	relative_P_100	0.3822	0.2740
311	relative_P_1000	0.5147	0.2793
311	relative_P_15	0.5788	0.3178
311	relative_P_20	0.5473	0.3113
311	relative_P_200	0.3125	0.2160
311	relative_P_30	0.5121	0.3058
311	relative_P_5	0.6436	0.3489
311	relative_P_500	0.4388	0.2607
311	set_F	0.1864	0.1247
311	set_P	0.1240	0.1137
311	set_map	0.0784	0.0746
311	set_recall	0.5147	0.2793
311	set_relative_P	0.5157	0.2798
311	success_1	0.7364	0.4406
311	success_10	0.9182	0.2741
311	success_5	0.8818	0.3228
311	utility	-729.3273	250.4471
312	11pt_avg	0.3729	0.3541
312	G	0.3368	0.2849
312	P_10	0.3682	0.3208
312	P_100	0.0565	0.0445
312	P_1000	0.0074	0.0039
312	P_15	0.3042	0.2706
312	P_20	0.2495	0.2189
312	P_200	0.0301	0.0223
312	P_30	0.1721	0.1462
312	P_5	0.4491	0.3777
312	P_500	0.0133	0.0085
312	Rndcg	0.4587	0.3367
312	Rprec	0.3512	0.3066
312	Rprec_mult_0.20	0.5000	0.4234
312	Rprec_mult_0.40	0.4491	0.3777
312	Rprec_mult_0.60	0.4026	0.3458
312	Rprec_mult_0.80	0.3859	0.3396
312	Rprec_mult_1.00	0.3512	0.3066
312	Rprec_mult_1.20	0.3175	0.2811
312	Rprec_mult_1.40	0.2932	0.2604
312	Rprec_mult_1.60	0.2702	0.2405
312	Rprec_mult_1.80	0.2495	0.2189
312	Rprec_mult_2.00	0.2302	0.1993
312	binG	0.3368	0.2849
312	bpref	0.3678	0.3392
312	infAP	0.3628	0.3470
312	iprec_at_recall_0.00	0.6384	0.4480
312	iprec_at_recall_0.10	0.5613	0.4397
312	iprec_at_recall_0.20	0.5056	0.4252
312	iprec_at_recall_0.30	0.4254	0.4242
312	iprec_at_recall_0.40	0.3778	0.4051
312	iprec_at_recall_0.50	0.3253	0.4002
312	iprec_at_recall_0.60	0.3046	0.3871
312	iprec_at_recall_0.70	0.2810	0.3718
312	iprec_at_recall_0.80	0.2617	0.3597
312	iprec_at_recall_0.90	0.2282	0.3313
312	iprec_at_recall_1.00	0.1922	0.3016
312	map	0.3628	0.3470
312	map_cut_10	0.2810	0.2768
312	map_cut_100	0.3598	0.3478
312	map_cut_1000	0.3628	0.3470
312	map_cut_15	0.3319	0.3306
312	map_cut_20	0.3507	0.3461
312	map_cut_200	0.3614	0.3478
312	map_cut_30	0.3545	0.3464
312	map_cut_5	0.1843	0.1735
312	map_cut_500	0.3623	0.3474
312	ndcg	0.5217	0.3527
312	ndcg_cut_10	0.4088	0.3366
312	ndcg_cut_100	0.4794	0.3768
312	ndcg_cut_1000	0.5217	0.3527
312	ndcg_cut_15	0.4335	0.3600
312	ndcg_cut_20	0.4545	0.3751
312	ndcg_cut_200	0.4904	0.3756
312	ndcg_cut_30	0.4622	0.3757
312	ndcg_cut_5	0.4739	0.3900
312	ndcg_cut_500	0.5054	0.3661
312	ndcg_rel	0.5078	0.3494
312	num_nonrel_judged_ret	272.2818	179.3079
312	num_rel	11.0000	0.0000
312	num_rel_ret	7.3727	3.8891
312	num_ret	786.1273	388.2921
312	prefs_avgjg	0.6348	0.3578
312	prefs_avgjg_Rnonrel	0.0071	0.0031
312	prefs_avgjg_Rnonrel_ret	0.1277	0.2378
312	prefs_avgjg_imp	0.7878	0.2891
312	prefs_avgjg_ret	0.6675	0.3121
312	prefs_num_prefs_ful	8637.3545	4868.3300
312	prefs_num_prefs_ful_ret	1727.3364	1782.4229
312	prefs_num_prefs_poss	13607.0000	0.0000
312	prefs_pair	0.6348	0.3578
312	prefs_pair_imp	0.7878	0.2891
312	prefs_pair_ret	0.6675	0.3121
312	prefs_simp	0.6348	0.3578
312	prefs_simp_imp	0.7878	0.2891
312	prefs_simp_ret	0.6675	0.3121
312	recall_10	0.3347	0.2916
312	recall_100	0.5132	0.4046
312	recall_1000	0.6702	0.3536
312	recall_15	0.4149	0.3691
312	recall_20	0.4537	0.3981
312	recall_200	0.5479	0.4063
312	recall_30	0.4694	0.3988
312	recall_5	0.2041	0.1717
312	recall_500	0.6025	0.3849
312	recip_rank	0.6157	0.4546
312	relative_P_10	0.3682	0.3208
312	relative_P_100	0.5132	0.4046
312	relative_P_1000	0.6702	0.3536
312	relative_P_15	0.4149	0.3691
312	relative_P_20	0.4537	0.3981
312	relative_P_200	0.5479	0.4063
312	relative_P_30	0.4694	0.3988
312	relative_P_5	0.4491	0.3777
312	relative_P_500	0.6025	0.3849
312	set_F	   nan	   nan
312	set_P	0.0904	0.1951
312	set_map	0.0623	0.1549
312	set_recall	0.6702	0.3536
312	set_relative_P	0.6880	0.3400
312	success_1	0.5727	0.4947
312	success_10	0.7091	0.4542
312	success_5	0.7000	0.4583
312	utility	-771.3818	387.2072
313	11pt_avg	0.6428	0.1650
313	G	0.3607	0.0952
313	P_10	0.9445	0.1032
313	P_100	0.6366	0.1644
313	P_1000	0.0787	0.0135
313	P_15	0.9327	0.1073
313	P_20	0.9145	0.1143
313	P_200	0.3529	0.0799
313	P_30	0.8567	0.1100
313	P_5	0.9509	0.1270
313	P_500	0.1510	0.0285
313	Rndcg	0.7763	0.1364
313	Rprec	0.6632	0.1685
313	Rprec_mult_0.20	0.9177	0.1121
313	Rprec_mult_0.40	0.8301	0.1199
313	Rprec_mult_0.60	0.7805	0.1443
313	Rprec_mult_0.80	0.7234	0.1616
313	Rprec_mult_1.00	0.6632	0.1685
313	Rprec_mult_1.20	0.5868	0.1507
313	Rprec_mult_1.40	0.5151	0.1285
313	Rprec_mult_1.60	0.4599	0.1127
313	Rprec_mult_1.80	0.4128	0.0980
313	Rprec_mult_2.00	0.3768	0.0875
313	binG	0.3607	0.0952
313	bpref	0.6666	0.1728
313	infAP	0.6499	0.1816
313	iprec_at_recall_0.00	0.9949	0.0534
313	iprec_at_recall_0.10	0.9537	0.1022
313	iprec_at_recall_0.20	0.9143	0.1416
313	iprec_at_recall_0.30	0.8352	0.1912
313	iprec_at_recall_0.40	0.7912	0.2091
313	iprec_at_recall_0.50	0.7316	0.2507
313	iprec_at_recall_0.60	0.6472	0.2972
313	iprec_at_recall_0.70	0.5442	0.3496
313	iprec_at_recall_0.80	0.4463	0.3630
313	iprec_at_recall_0.90	0.2059	0.2496
313	iprec_at_recall_1.00	0.0063	0.0292
313	map	0.6499	0.1816
313	map_cut_10	0.0990	0.0159
313	map_cut_100	0.5958	0.1779
313	map_cut_1000	0.6499	0.1816
313	map_cut_15	0.1456	0.0242
313	map_cut_20	0.1892	0.0333
313	map_cut_200	0.6341	0.1841
313	map_cut_30	0.2610	0.0464
313	map_cut_5	0.0505	0.0086
313	map_cut_500	0.6462	0.1823
313	ndcg	0.8320	0.1302
313	ndcg_cut_10	0.9519	0.0987
313	ndcg_cut_100	0.7357	0.1521
313	ndcg_cut_1000	0.8320	0.1302
313	ndcg_cut_15	0.9422	0.1002
313	ndcg_cut_20	0.9285	0.1046
313	ndcg_cut_200	0.7851	0.1474
313	ndcg_cut_30	0.8852	0.1012
313	ndcg_cut_5	0.9586	0.1123
313	ndcg_cut_500	0.8150	0.1356
313	ndcg_rel	0.8435	0.1093
313	num_nonrel_judged_ret	234.1000	63.6000
313	num_rel	93.0000	0.0000
313	num_rel_ret	78.6727	13.4820
313	num_ret	920.9182	226.7291
313	prefs_avgjg	0.8194	0.1468
313	prefs_avgjg_Rnonrel	0.1106	0.0178
313	prefs_avgjg_Rnonrel_ret	0.3273	0.0934
313	prefs_avgjg_imp	0.9271	0.0533
313	prefs_avgjg_ret	0.8645	0.0990
313	prefs_num_prefs_ful	66676.7909	11947.7019
313	prefs_num_prefs_ful_ret	16925.8818	6915.8627
313	prefs_num_prefs_poss	81375.0000	0.0000
313	prefs_pair	0.8194	0.1468
313	prefs_pair_imp	0.9271	0.0533
313	prefs_pair_ret	0.8645	0.0990
313	prefs_simp	0.8194	0.1468
313	prefs_simp_imp	0.9271	0.0533
313	prefs_simp_ret	0.8645	0.0990
313	recall_10	0.1015	0.0111
313	recall_100	0.6846	0.1768
313	recall_1000	0.8459	0.1450
313	recall_15	0.1504	0.0173
313	recall_20	0.1967	0.0246
313	recall_200	0.7590	0.1719
313	recall_30	0.2764	0.0355
313	recall_5	0.0512	0.0068
313	recall_500	0.8117	0.1534
313	recip_rank	0.9939	0.0633
313	relative_P_10	0.9445	0.1032
313	relative_P_100	0.6846	0.1768
313	relative_P_1000	0.8459	0.1450
313	relative_P_15	0.9327	0.1073
313	relative_P_20	0.9145	0.1143
313	relative_P_200	0.7590	0.1719
313	relative_P_30	0.8567	0.1100
313	relative_P_5	0.9509	0.1270
313	relative_P_500	0.8117	0.1534
313	set_F	0.1658	0.0533
313	set_P	0.0949	0.0414
313	set_map	0.0781	0.0248
313	set_recall	0.8459	0.1450
313	set_relative_P	0.8459	0.1450
313	success_1	0.9909	0.0949
313	success_10	1.0000	0.0000
313	success_5	1.0000	0.0000
313	utility	-763.5727	210.3916
314	11pt_avg	0.1349	0.1062
314	G	0.1096	0.0815
314	P_10	0.3218	0.2421
314	P_100	0.0855	0.0704
314	P_1000	0.0185	0.0132
314	P_15	0.2509	0.1922
314	P_20	0.2209	0.1664
314	P_200	0.0556	0.0444
314	P_30	0.1788	0.1363
314	P_5	0.4582	0.3581
314	P_500	0.0296	0.0230
314	Rndcg	0.2701	0.1917
314	Rprec	0.1426	0.1097
314	Rprec_mult_0.20	0.3475	0.2626
314	Rprec_mult_0.40	0.2343	0.1767
314	Rprec_mult_0.60	0.1899	0.1446
314	Rprec_mult_0.80	0.1609	0.1225
314	Rprec_mult_1.00	0.1426	0.1097
314	Rprec_mult_1.20	0.1269	0.1003
314	Rprec_mult_1.40	0.1169	0.0942
314	Rprec_mult_1.60	0.1082	0.0887
314	Rprec_mult_1.80	0.0998	0.0822
314	Rprec_mult_2.00	0.0930	0.0770
314	binG	0.1096	0.0815
314	bpref	0.1203	0.0901
314	infAP	0.1101	0.0961
314	iprec_at_recall_0.00	0.6643	0.4336
314	iprec_at_recall_0.10	0.3923	0.3670
314	iprec_at_recall_0.20	0.1584	0.1762
314	iprec_at_recall_0.30	0.0971	0.1260
314	iprec_at_recall_0.40	0.0692	0.0951
314	iprec_at_recall_0.50	0.0457	0.0676
314	iprec_at_recall_0.60	0.0252	0.0434
314	iprec_at_recall_0.70	0.0187	0.0376
314	iprec_at_recall_0.80	0.0104	0.0322
314	iprec_at_recall_0.90	0.0025	0.0164
314	iprec_at_recall_1.00	0.0000	0.0000
314	map	0.1101	0.0961
314	map_cut_10	0.0601	0.0485
314	map_cut_100	0.0952	0.0830
314	map_cut_1000	0.1101	0.0961
314	map_cut_15	0.0661	0.0540
314	map_cut_20	0.0718	0.0587
314	map_cut_200	0.1017	0.0888
314	map_cut_30	0.0790	0.0658
314	map_cut_5	0.0466	0.0388
314	map_cut_500	0.1073	0.0939
314	ndcg	0.3363	0.2378
314	ndcg_cut_10	0.3827	0.2790
314	ndcg_cut_100	0.2357	0.1775
314	ndcg_cut_1000	0.3363	0.2378
314	ndcg_cut_15	0.3212	0.2360
314	ndcg_cut_20	0.2895	0.2110
314	ndcg_cut_200	0.2661	0.1965
314	ndcg_cut_30	0.2444	0.1781
314	ndcg_cut_5	0.4865	0.3659
314	ndcg_cut_500	0.3035	0.2217
314	ndcg_rel	0.3284	0.2225
314	num_nonrel_judged_ret	289.2636	125.2848
314	num_rel	44.0000	0.0000
314	num_rel_ret	18.4636	13.2450
314	num_ret	914.0909	247.0629
314	prefs_avgjg	0.3846	0.2734
314	prefs_avgjg_Rnonrel	0.0185	0.0032
314	prefs_avgjg_Rnonrel_ret	0.0349	0.0216
314	prefs_avgjg_imp	0.6417	0.2014
314	prefs_avgjg_ret	0.6219	0.1638
314	prefs_num_prefs_ful	23592.3455	16766.3454
314	prefs_num_prefs_ful_ret	4649.6909	4107.0456
314	prefs_num_prefs_poss	61336.0000	0.0000
314	prefs_pair	0.3846	0.2734
314	prefs_pair_imp	0.6417	0.2014
314	prefs_pair_ret	0.6219	0.1638
314	prefs_simp	0.3846	0.2734
314	prefs_simp_imp	0.6417	0.2014
314	prefs_simp_ret	0.6219	0.1638
314	recall_10	0.0731	0.0550
314	recall_100	0.1942	0.1599
314	recall_1000	0.4196	0.3010
314	recall_15	0.0855	0.0655
314	recall_20	0.1004	0.0756
314	recall_200	0.2529	0.2020
314	recall_30	0.1219	0.0929
314	recall_5	0.0521	0.0407
314	recall_500	0.3366	0.2616
314	recip_rank	0.6280	0.4378
314	relative_P_10	0.3218	0.2421
314	relative_P_100	0.1942	0.1599
314	relative_P_1000	0.4196	0.3010
314	relative_P_15	0.2509	0.1922
314	relative_P_20	0.2209	0.1664
314	relative_P_200	0.2529	0.2020
314	relative_P_30	0.1788	0.1363
314	relative_P_5	0.4582	0.3581
314	relative_P_500	0.3366	0.2616
314	set_F	   nan	   nan
314	set_P	0.0193	0.0130
314	set_map	0.0119	0.0120
314	set_recall	0.4196	0.3010
314	set_relative_P	0.4196	0.3010
314	success_1	0.5545	0.4970
314	success_10	0.7273	0.4454
314	success_5	0.6909	0.4621
314	utility	-877.1636	237.1550
315	11pt_avg	0.0736	0.0449
315	G	0.0714	0.0256
315	P_10	0.1009	0.0654
315	P_100	0.0642	0.0302
315	P_1000	0.0324	0.0116
315	P_15	0.0897	0.0504
315	P_20	0.0795	0.0497
315	P_200	0.0590	0.0245
315	P_30	0.0752	0.0450
315	P_5	0.1364	0.1076
315	P_500	0.0476	0.0177
315	Rndcg	0.1927	0.0700
315	Rprec	0.0702	0.0325
315	Rprec_mult_0.20	0.0883	0.0518
315	Rprec_mult_0.40	0.0751	0.0462
315	Rprec_mult_0.60	0.0745	0.0434
315	Rprec_mult_0.80	0.0712	0.0354
315	Rprec_mult_1.00	0.0702	0.0325
315	Rprec_mult_1.20	0.0660	0.0312
315	Rprec_mult_1.40	0.0654	0.0309
315	Rprec_mult_1.60	0.0648	0.0297
315	Rprec_mult_1.80	0.0642	0.0277
315	Rprec_mult_2.00	0.0624	0.0264
315	binG	0.0714	0.0256
315	bpref	0.0436	0.0213
315	infAP	0.0394	0.0211
315	iprec_at_recall_0.00	0.5118	0.4081
315	iprec_at_recall_0.10	0.0824	0.0442
315	iprec_at_recall_0.20	0.0657	0.0293
315	iprec_at_recall_0.30	0.0534	0.0313
315	iprec_at_recall_0.40	0.0463	0.0292
315	iprec_at_recall_0.50	0.0296	0.0302
315	iprec_at_recall_0.60	0.0185	0.0267
315	iprec_at_recall_0.70	0.0019	0.0096
315	iprec_at_recall_0.80	0.0000	0.0000
315	iprec_at_recall_0.90	0.0000	0.0000
315	iprec_at_recall_1.00	0.0000	0.0000
315	map	0.0394	0.0211
315	map_cut_10	0.0083	0.0073
315	map_cut_100	0.0165	0.0111
315	map_cut_1000	0.0394	0.0211
315	map_cut_15	0.0090	0.0073
315	map_cut_20	0.0096	0.0079
315	map_cut_200	0.0224	0.0138
315	map_cut_30	0.0108	0.0087
315	map_cut_5	0.0072	0.0072
315	map_cut_500	0.0334	0.0187
315	ndcg	0.2995	0.1064
315	ndcg_cut_10	0.1392	0.0973
315	ndcg_cut_100	0.1029	0.0483
315	ndcg_cut_1000	0.2995	0.1064
315	ndcg_cut_15	0.1229	0.0755
315	ndcg_cut_20	0.1106	0.0677
315	ndcg_cut_200	0.1504	0.0619
315	ndcg_cut_30	0.1003	0.0583
315	ndcg_cut_5	0.1781	0.1555
315	ndcg_cut_500	0.2416	0.0897
315	ndcg_rel	0.2453	0.0796
315	num_nonrel_judged_ret	382.3727	104.7153
315	num_rel	67.0000	0.0000
315	num_rel_ret	32.4273	11.6498
315	num_ret	913.6545	248.6489
315	prefs_avgjg	0.4104	0.1429
315	prefs_avgjg_Rnonrel	0.0249	0.0034
315	prefs_avgjg_Rnonrel_ret	0.0408	0.0119
315	prefs_avgjg_imp	0.6371	0.1196
315	prefs_avgjg_ret	0.4938	0.0991
315	prefs_num_prefs_ful	37122.2727	12926.9704
315	prefs_num_prefs_ful_ret	6741.8545	3277.0308
315	prefs_num_prefs_poss	90450.0000	0.0000
315	prefs_pair	0.4104	0.1429
315	prefs_pair_imp	0.6371	0.1196
315	prefs_pair_ret	0.4938	0.0991
315	prefs_simp	0.4104	0.1429
315	prefs_simp_imp	0.6371	0.1196
315	prefs_simp_ret	0.4938	0.0991
315	recall_10	0.0151	0.0098
315	recall_100	0.0958	0.0451
315	recall_1000	0.4840	0.1739
315	recall_15	0.0201	0.0113
315	recall_20	0.0238	0.0148
315	recall_200	0.1761	0.0730
315	recall_30	0.0337	0.0202
315	recall_5	0.0102	0.0080
315	recall_500	0.3555	0.1319
315	recip_rank	0.4983	0.4188
315	relative_P_10	0.1009	0.0654
315	relative_P_100	0.0958	0.0451
315	relative_P_1000	0.4840	0.1739
315	relative_P_15	0.0897	0.0504
315	relative_P_20	0.0795	0.0497
315	relative_P_200	0.1761	0.0730
315	relative_P_30	0.0752	0.0450
315	relative_P_5	0.1364	0.1076
315	relative_P_500	0.3555	0.1319
315	set_F	   nan	   nan
315	set_P	0.0368	0.0140
315	set_map	0.0188	0.0090
315	set_recall	0.4840	0.1739
315	set_relative_P	0.4840	0.1739
315	success_1	0.4000	0.4899
315	success_10	0.8091	0.3930
315	success_5	0.6455	0.4784
315	utility	-848.8000	235.7701
316	11pt_avg	0.4673	0.2202
316	G	0.3131	0.1322
316	P_10	0.6900	0.2601
316	P_100	0.1963	0.0741
316	P_1000	0.0226	0.0065
316	P_15	0.6624	0.2690
316	P_20	0.6423	0.2751
316	P_200	0.1029	0.0357
316	P_30	0.5694	0.2684
316	P_5	0.7436	0.2712
316	P_500	0.0435	0.0133
316	Rndcg	0.6116	0.2168
316	Rprec	0.5158	0.2379
316	Rprec_mult_0.20	0.7091	0.2619
316	Rprec_mult_0.40	0.6669	0.2683
316	Rprec_mult_0.60	0.6385	0.2775
316	Rprec_mult_0.80	0.5877	0.2741
316	Rprec_mult_1.00	0.5158	0.2379
316	Rprec_mult_1.20	0.4395	0.1951
316	Rprec_mult_1.40	0.3839	0.1649
316	Rprec_mult_1.60	0.3411	0.1403
316	Rprec_mult_1.80	0.3048	0.1246
316	Rprec_mult_2.00	0.2794	0.1129
316	binG	0.3131	0.1322
316	bpref	0.4908	0.2287
316	infAP	0.4487	0.2204
316	iprec_at_recall_0.00	0.8951	0.2583
316	iprec_at_recall_0.10	0.8053	0.2858
316	iprec_at_recall_0.20	0.7386	0.3019
316	iprec_at_recall_0.30	0.6348	0.3497
316	iprec_at_recall_0.40	0.5826	0.3718
316	iprec_at_recall_0.50	0.5559	0.3765
316	iprec_at_recall_0.60	0.5154	0.3804
316	iprec_at_recall_0.70	0.3895	0.3934
316	iprec_at_recall_0.80	0.0141	0.0793
316	iprec_at_recall_0.90	0.0085	0.0679
316	iprec_at_recall_1.00	0.0000	0.0000
316	map	0.4487	0.2204
316	map_cut_10	0.1771	0.0762
316	map_cut_100	0.4421	0.2248
316	map_cut_1000	0.4487	0.2204
316	map_cut_15	0.2493	0.1151
316	map_cut_20	0.3175	0.1577
316	map_cut_200	0.4458	0.2227
316	map_cut_30	0.4149	0.2267
316	map_cut_5	0.1001	0.0432
316	map_cut_500	0.4479	0.2209
316	ndcg	0.6481	0.2048
316	ndcg_cut_10	0.7134	0.2570
316	ndcg_cut_100	0.6114	0.2256
316	ndcg_cut_1000	0.6481	0.2048
316	ndcg_cut_15	0.6897	0.2597
316	ndcg_cut_20	0.6717	0.2608
316	ndcg_cut_200	0.6248	0.2203
316	ndcg_cut_30	0.6148	0.2563
316	ndcg_cut_5	0.7557	0.2762
316	ndcg_cut_500	0.6389	0.2101
316	ndcg_rel	0.6857	0.2308
316	num_nonrel_judged_ret	161.8818	88.7402
316	num_rel	34.0000	0.0000
316	num_rel_ret	22.6091	6.5395
316	num_ret	797.0364	377.7505
316	prefs_avgjg	0.6559	0.1916
316	prefs_avgjg_Rnonrel	0.0206	0.0056
316	prefs_avgjg_Rnonrel_ret	0.2083	0.2056
316	prefs_avgjg_imp	0.9106	0.1623
316	prefs_avgjg_ret	0.7985	0.2316
316	prefs_num_prefs_ful	33158.4455	9685.1513
316	prefs_num_prefs_ful_ret	3428.3182	2212.4494
316	prefs_num_prefs_poss	50558.0000	0.0000
316	prefs_pair	0.6559	0.1916
316	prefs_pair_imp	0.9106	0.1623
316	prefs_pair_ret	0.7985	0.2316
316	prefs_simp	0.6559	0.1916
316	prefs_simp_imp	0.9106	0.1623
316	prefs_simp_ret	0.7985	0.2316
316	recall_10	0.2029	0.0765
316	recall_100	0.5773	0.2180
316	recall_1000	0.6650	0.1923
316	recall_15	0.2923	0.1187
316	recall_20	0.3778	0.1618
316	recall_200	0.6053	0.2099
316	recall_30	0.5024	0.2368
316	recall_5	0.1093	0.0399
316	recall_500	0.6396	0.1963
316	recip_rank	0.8469	0.2997
316	relative_P_10	0.6900	0.2601
316	relative_P_100	0.5773	0.2180
316	relative_P_1000	0.6650	0.1923
316	relative_P_15	0.6624	0.2690
316	relative_P_20	0.6423	0.2751
316	relative_P_200	0.6053	0.2099
316	relative_P_30	0.5694	0.2684
316	relative_P_5	0.7436	0.2712
316	relative_P_500	0.6396	0.1963
316	set_F	   nan	   nan
316	set_P	0.1283	0.2724
316	set_map	0.0934	0.2051
316	set_recall	0.6650	0.1923
316	set_relative_P	0.6802	0.1971
316	success_1	0.7727	0.4191
316	success_10	0.9273	0.2597
316	success_5	0.9273	0.2597
316	utility	-751.8182	372.8412
317	11pt_avg	0.5325	0.1584
317	G	0.4964	0.1428
317	P_10	0.6482	0.2035
317	P_100	0.0958	0.0242
317	P_1000	0.0121	0.0023
317	P_15	0.4812	0.1405
317	P_20	0.3850	0.1161
317	P_200	0.0514	0.0119
317	P_30	0.2803	0.0796
317	P_5	0.8636	0.1847
317	P_500	0.0229	0.0047
317	Rndcg	0.6992	0.1263
317	Rprec	0.5084	0.1495
317	Rprec_mult_0.20	0.9636	0.1298
317	Rprec_mult_0.40	0.7955	0.1980
317	Rprec_mult_0.60	0.6798	0.2102
317	Rprec_mult_0.80	0.5712	0.1677
317	Rprec_mult_1.00	0.5084	0.1495
317	Rprec_mult_1.20	0.4417	0.1324
317	Rprec_mult_1.40	0.3850	0.1161
317	Rprec_mult_1.60	0.3494	0.1055
317	Rprec_mult_1.80	0.3168	0.0929
317	Rprec_mult_2.00	0.2987	0.0854
317	binG	0.4964	0.1428
317	bpref	0.5013	0.1603
317	infAP	0.5286	0.1666
317	iprec_at_recall_0.00	1.0000	0.0000
317	iprec_at_recall_0.10	0.9777	0.1227
317	iprec_at_recall_0.20	0.9627	0.1426
317	iprec_at_recall_0.30	0.7670	0.3092
317	iprec_at_recall_0.40	0.6393	0.3717
317	iprec_at_recall_0.50	0.6021	0.3697
317	iprec_at_recall_0.60	0.4731	0.3506
317	iprec_at_recall_0.70	0.3176	0.2763
317	iprec_at_recall_0.80	0.0709	0.0969
317	iprec_at_recall_0.90	0.0330	0.0504
317	iprec_at_recall_1.00	0.0139	0.0263
317	map	0.5286	0.1666
317	map_cut_10	0.4387	0.1507
317	map_cut_100	0.5212	0.1674
317	map_cut_1000	0.5286	0.1666
317	map_cut_15	0.4704	0.1561
317	map_cut_20	0.4883	0.1642
317	map_cut_200	0.5247	0.1675
317	map_cut_30	0.5068	0.1660
317	map_cut_5	0.3067	0.0679
317	map_cut_500	0.5279	0.1669
317	ndcg	0.7702	0.1265
317	ndcg_cut_10	0.7382	0.1642
317	ndcg_cut_100	0.7162	0.1403
317	ndcg_cut_1000	0.7702	0.1265
317	ndcg_cut_15	0.6327	0.1342
317	ndcg_cut_20	0.6532	0.1420
317	ndcg_cut_200	0.7335	0.1374
317	ndcg_cut_30	0.6804	0.1423
317	ndcg_cut_5	0.9023	0.1416
317	ndcg_cut_500	0.7591	0.1294
317	ndcg_rel	0.8176	0.1199
317	num_nonrel_judged_ret	289.1455	116.6822
317	num_rel	14.0000	0.0000
317	num_rel_ret	12.0636	2.3288
317	num_ret	907.8000	249.8116
317	prefs_avgjg	0.8271	0.1581
317	prefs_avgjg_Rnonrel	0.0125	0.0021
317	prefs_avgjg_Rnonrel_ret	0.0619	0.0913
317	prefs_avgjg_imp	0.9310	0.0424
317	prefs_avgjg_ret	0.8532	0.1101
317	prefs_num_prefs_ful	12251.7909	2341.3560
317	prefs_num_prefs_ful_ret	3163.1909	1508.5389
317	prefs_num_prefs_poss	14812.0000	0.0000
317	prefs_pair	0.8271	0.1581
317	prefs_pair_imp	0.9310	0.0424
317	prefs_pair_ret	0.8532	0.1101
317	prefs_simp	0.8271	0.1581
317	prefs_simp_imp	0.9310	0.0424
317	prefs_simp_ret	0.8532	0.1101
317	recall_10	0.4630	0.1454
317	recall_100	0.6844	0.1727
317	recall_1000	0.8617	0.1663
317	recall_15	0.5156	0.1506
317	recall_20	0.5500	0.1659
317	recall_200	0.7344	0.1693
317	recall_30	0.6007	0.1705
317	recall_5	0.3084	0.0660
317	recall_500	0.8195	0.1681
317	recip_rank	1.0000	0.0000
317	relative_P_10	0.6482	0.2035
317	relative_P_100	0.6844	0.1727
317	relative_P_1000	0.8617	0.1663
317	relative_P_15	0.5156	0.1506
317	relative_P_20	0.5500	0.1659
317	relative_P_200	0.7344	0.1693
317	relative_P_30	0.6007	0.1705
317	relative_P_5	0.8636	0.1847
317	relative_P_500	0.8195	0.1681
317	set_F	0.0395	0.0910
317	set_P	0.0279	0.1031
317	set_map	0.0207	0.0659
317	set_recall	0.8617	0.1663
317	set_relative_P	0.8642	0.1641
317	success_1	1.0000	0.0000
317	success_10	1.0000	0.0000
317	success_5	1.0000	0.0000
317	utility	-883.6727	246.0670
318	11pt_avg	0.0628	0.0468
318	G	0.0340	0.0181
318	P_10	0.1455	0.1092
318	P_100	0.0565	0.0546
318	P_1000	0.0232	0.0130
318	P_15	0.1188	0.0869
318	P_20	0.1027	0.0747
318	P_200	0.0475	0.0393
318	P_30	0.0888	0.0688
318	P_5	0.2091	0.1671
318	P_500	0.0321	0.0207
318	Rndcg	0.1196	0.0665
318	Rprec	0.0551	0.0576
318	Rprec_mult_0.20	0.1012	0.0771
318	Rprec_mult_0.40	0.0729	0.0543
318	Rprec_mult_0.60	0.0640	0.0472
318	Rprec_mult_0.80	0.0591	0.0524
318	Rprec_mult_1.00	0.0551	0.0576
318	Rprec_mult_1.20	0.0534	0.0492
318	Rprec_mult_1.40	0.0508	0.0433
318	Rprec_mult_1.60	0.0485	0.0396
318	Rprec_mult_1.80	0.0469	0.0394
318	Rprec_mult_2.00	0.0460	0.0397
318	binG	0.0340	0.0181
318	bpref	0.0592	0.0493
318	infAP	0.0215	0.0232
318	iprec_at_recall_0.00	0.5736	0.3953
318	iprec_at_recall_0.10	0.0516	0.0677
318	iprec_at_recall_0.20	0.0317	0.0638
318	iprec_at_recall_0.30	0.0173	0.0615
318	iprec_at_recall_0.40	0.0085	0.0594
318	iprec_at_recall_0.50	0.0076	0.0592
318	iprec_at_recall_0.60	0.0000	0.0000
318	iprec_at_recall_0.70	0.0000	0.0000
318	iprec_at_recall_0.80	0.0000	0.0000
318	iprec_at_recall_0.90	0.0000	0.0000
318	iprec_at_recall_1.00	0.0000	0.0000
318	map	0.0215	0.0232
318	map_cut_10	0.0077	0.0068
318	map_cut_100	0.0134	0.0159
318	map_cut_1000	0.0215	0.0232
318	map_cut_15	0.0084	0.0073
318	map_cut_20	0.0089	0.0076
318	map_cut_200	0.0163	0.0213
318	map_cut_30	0.0099	0.0086
318	map_cut_5	0.0066	0.0061
318	map_cut_500	0.0194	0.0229
318	ndcg	0.1630	0.0853
318	ndcg_cut_10	0.1915	0.1367
318	ndcg_cut_100	0.0791	0.0562
318	ndcg_cut_1000	0.1630	0.0853
318	ndcg_cut_15	0.1632	0.1132
318	ndcg_cut_20	0.1451	0.0972
318	ndcg_cut_200	0.0958	0.0632
318	ndcg_cut_30	0.1258	0.0860
318	ndcg_cut_5	0.2498	0.1969
318	ndcg_cut_500	0.1303	0.0746
318	ndcg_rel	0.1570	0.0767
318	num_nonrel_judged_ret	215.5000	96.9584
318	num_rel	113.0000	0.0000
318	num_rel_ret	23.1545	12.9770
318	num_ret	931.8182	215.6098
318	prefs_avgjg	0.1856	0.1032
318	prefs_avgjg_Rnonrel	0.0429	0.0077
318	prefs_avgjg_Rnonrel_ret	0.0629	0.0410
318	prefs_avgjg_imp	0.5360	0.1562
318	prefs_avgjg_ret	0.5237	0.1403
318	prefs_num_prefs_ful	26840.4545	14922.4340
318	prefs_num_prefs_ful_ret	2877.0091	2444.1974
318	prefs_num_prefs_poss	144640.0000	0.0000
318	prefs_pair	0.1856	0.1032
318	prefs_pair_imp	0.5360	0.1562
318	prefs_pair_ret	0.5237	0.1403
318	prefs_simp	0.1856	0.1032
318	prefs_simp_imp	0.5360	0.1562
318	prefs_simp_ret	0.5237	0.1403
318	recall_10	0.0128	0.0097
318	recall_100	0.0500	0.0483
318	recall_1000	0.2049	0.1148
318	recall_15	0.0157	0.0115
318	recall_20	0.0182	0.0132
318	recall_200	0.0840	0.0696
318	recall_30	0.0235	0.0183
318	recall_5	0.0092	0.0074
318	recall_500	0.1421	0.0918
318	recip_rank	0.5542	0.4034
318	relative_P_10	0.1455	0.1092
318	relative_P_100	0.0565	0.0546
318	relative_P_1000	0.2049	0.1148
318	relative_P_15	0.1188	0.0869
318	relative_P_20	0.1027	0.0747
318	relative_P_200	0.0840	0.0696
318	relative_P_30	0.0888	0.0688
318	relative_P_5	0.2091	0.1671
318	relative_P_500	0.1421	0.0918
318	set_F	   nan	   nan
318	set_P	0.0243	0.0124
318	set_map	0.0063	0.0062
318	set_recall	0.2049	0.1148
318	set_relative_P	0.2049	0.1148
318	success_1	0.4182	0.4933
318	success_10	0.8182	0.3857
318	success_5	0.7182	0.4499
318	utility	-885.5091	204.8524
319	11pt_avg	0.1347	0.0897
319	G	0.0776	0.0353
319	P_10	0.3109	0.2725
319	P_100	0.2135	0.1325
319	P_1000	0.0780	0.0264
319	P_15	0.2982	0.2560
319	P_20	0.2950	0.2331
319	P_200	0.1721	0.0906
319	P_30	0.2761	0.1988
319	P_5	0.3545	0.3397
319	P_500	0.1147	0.0457
319	Rndcg	0.2904	0.1191
319	Rprec	0.1823	0.0997
319	Rprec_mult_0.20	0.2655	0.1895
319	Rprec_mult_0.40	0.2301	0.1562
319	Rprec_mult_0.60	0.2128	0.1311
319	Rprec_mult_0.80	0.1975	0.1136
319	Rprec_mult_1.00	0.1823	0.0997
319	Rprec_mult_1.20	0.1707	0.0891
319	Rprec_mult_1.40	0.1608	0.0794
319	Rprec_mult_1.60	0.1517	0.0719
319	Rprec_mult_1.80	0.1443	0.0681
319	Rprec_mult_2.00	0.1377	0.0631
319	binG	0.0776	0.0353
319	bpref	0.1690	0.0838
319	infAP	0.1046	0.0830
319	iprec_at_recall_0.00	0.5818	0.3593
319	iprec_at_recall_0.10	0.2878	0.2280
319	iprec_at_recall_0.20	0.2166	0.1906
319	iprec_at_recall_0.30	0.1734	0.1539
319	iprec_at_recall_0.40	0.1186	0.1121
319	iprec_at_recall_0.50	0.0703	0.0955
319	iprec_at_recall_0.60	0.0297	0.0819
319	iprec_at_recall_0.70	0.0038	0.0396
319	iprec_at_recall_0.80	0.0000	0.0000
319	iprec_at_recall_0.90	0.0000	0.0000
319	iprec_at_recall_1.00	0.0000	0.0000
319	map	0.1046	0.0830
319	map_cut_10	0.0129	0.0152
319	map_cut_100	0.0528	0.0622
319	map_cut_1000	0.1046	0.0830
319	map_cut_15	0.0173	0.0210
319	map_cut_20	0.0211	0.0260
319	map_cut_200	0.0711	0.0747
319	map_cut_30	0.0268	0.0331
319	map_cut_5	0.0084	0.0096
319	map_cut_500	0.0922	0.0809
319	ndcg	0.3778	0.1342
319	ndcg_cut_10	0.3257	0.2924
319	ndcg_cut_100	0.2337	0.1504
319	ndcg_cut_1000	0.3778	0.1342
319	ndcg_cut_15	0.3140	0.2723
319	ndcg_cut_20	0.3092	0.2509
319	ndcg_cut_200	0.2178	0.1182
319	ndcg_cut_30	0.2926	0.2209
319	ndcg_cut_5	0.3587	0.3522
319	ndcg_cut_500	0.3071	0.1280
319	ndcg_rel	0.3397	0.1326
319	num_nonrel_judged_ret	315.8091	90.1888
319	num_rel	170.0000	0.0000
319	num_rel_ret	77.9636	26.3783
319	num_ret	931.1455	215.4537
319	prefs_avgjg	0.4088	0.1391
319	prefs_avgjg_Rnonrel	0.0761	0.0128
319	prefs_avgjg_Rnonrel_ret	0.1419	0.0474
319	prefs_avgjg_imp	0.6904	0.0807
319	prefs_avgjg_ret	0.5744	0.0862
319	prefs_num_prefs_ful	89231.3545	30358.5427
319	prefs_num_prefs_ful_ret	15515.7636	8155.6075
319	prefs_num_prefs_poss	218280.0000	0.0000
319	prefs_pair	0.4088	0.1391
319	prefs_pair_imp	0.6904	0.0807
319	prefs_pair_ret	0.5744	0.0862
319	prefs_simp	0.4088	0.1391
319	prefs_simp_imp	0.6904	0.0807
319	prefs_simp_ret	0.5744	0.0862
319	recall_10	0.0183	0.0160
319	recall_100	0.1256	0.0779
319	recall_1000	0.4586	0.1552
319	recall_15	0.0263	0.0226
319	recall_20	0.0347	0.0274
319	recall_200	0.2025	0.1066
319	recall_30	0.0487	0.0351
319	recall_5	0.0104	0.0100
319	recall_500	0.3374	0.1343
319	recip_rank	0.4966	0.4014
319	relative_P_10	0.3109	0.2725
319	relative_P_100	0.2135	0.1325
319	relative_P_1000	0.4586	0.1552
319	relative_P_15	0.2982	0.2560
319	relative_P_20	0.2950	0.2331
319	relative_P_200	0.2025	0.1066
319	relative_P_30	0.2761	0.1988
319	relative_P_5	0.3545	0.3397
319	relative_P_500	0.3374	0.1343
319	set_F	0.1393	0.0370
319	set_P	0.0839	0.0220
319	set_map	0.0407	0.0209
319	set_recall	0.4586	0.1552
319	set_relative_P	0.4586	0.1552
319	success_1	0.3636	0.4810
319	success_10	0.7818	0.4130
319	success_5	0.6545	0.4755
319	utility	-775.2182	183.7595
320	11pt_avg	0.1864	0.2579
320	G	0.2640	0.2272
320	P_10	0.1336	0.1696
320	P_100	0.0382	0.0162
320	P_1000	0.0055	0.0013
320	P_15	0.1139	0.1187
320	P_20	0.0973	0.0919
320	P_200	0.0231	0.0082
320	P_30	0.0764	0.0620
320	P_5	0.1545	0.2785
320	P_500	0.0108	0.0028
320	Rndcg	0.2863	0.2462
320	Rprec	0.1682	0.2720
320	Rprec_mult_0.20	0.1636	0.3098
320	Rprec_mult_0.40	0.1515	0.2830
320	Rprec_mult_0.60	0.1614	0.2812
320	Rprec_mult_0.80	0.1545	0.2785
320	Rprec_mult_1.00	0.1682	0.2720
320	Rprec_mult_1.20	0.1432	0.2056
320	Rprec_mult_1.40	0.1364	0.1869
320	Rprec_mult_1.60	0.1336	0.1696
320	Rprec_mult_1.80	0.1347	0.1559
320	Rprec_mult_2.00	0.1295	0.1446
320	binG	0.2640	0.2272
320	bpref	0.1328	0.2646
320	infAP	0.1767	0.2578
320	iprec_at_recall_0.00	0.2976	0.3246
320	iprec_at_recall_0.10	0.2976	0.3246
320	iprec_at_recall_0.20	0.2224	0.2720
320	iprec_at_recall_0.30	0.2224	0.2720
320	iprec_at_recall_0.40	0.1901	0.2662
320	iprec_at_recall_0.50	0.1901	0.2662
320	iprec_at_recall_0.60	0.1601	0.2643
320	iprec_at_recall_0.70	0.1249	0.2544
320	iprec_at_recall_0.80	0.1249	0.2544
320	iprec_at_recall_0.90	0.1101	0.2532
320	iprec_at_recall_1.00	0.1101	0.2532
320	map	0.1767	0.2578
320	map_cut_10	0.1297	0.2624
320	map_cut_100	0.1694	0.2601
320	map_cut_1000	0.1767	0.2578
320	map_cut_15	0.1417	0.2626
320	map_cut_20	0.1478	0.2638
320	map_cut_200	0.1742	0.2589
320	map_cut_30	0.1541	0.2637
320	map_cut_5	0.0979	0.2228
320	map_cut_500	0.1765	0.2579
320	ndcg	0.4094	0.2261
320	ndcg_cut_10	0.1935	0.2764
320	ndcg_cut_100	0.3426	0.2526
320	ndcg_cut_1000	0.4094	0.2261
320	ndcg_cut_15	0.2236	0.2768
320	ndcg_cut_20	0.2406	0.2781
320	ndcg_cut_200	0.3767	0.2454
320	ndcg_cut_30	0.2628	0.2767
320	ndcg_cut_5	0.1544	0.2817
320	ndcg_cut_500	0.4055	0.2292
320	ndcg_rel	0.3229	0.2412
320	num_nonrel_judged_ret	375.7182	137.8418
320	num_rel	6.0000	0.0000
320	num_rel_ret	5.5091	1.3467
320	num_ret	913.6727	248.5822
320	prefs_avgjg	0.8464	0.2147
320	prefs_avgjg_Rnonrel	0.0034	0.0017
320	prefs_avgjg_Rnonrel_ret	0.0179	0.0417
320	prefs_avgjg_imp	0.8779	0.1668
320	prefs_avgjg_ret	0.7871	0.1958
320	prefs_num_prefs_ful	4844.9636	1228.7916
320	prefs_num_prefs_ful_ret	1772.6273	819.7684
320	prefs_num_prefs_poss	5724.0000	0.0000
320	prefs_pair	0.8464	0.2147
320	prefs_pair_imp	0.8779	0.1668
320	prefs_pair_ret	0.7871	0.1958
320	prefs_simp	0.8464	0.2147
320	prefs_simp_imp	0.8779	0.1668
320	prefs_simp_ret	0.7871	0.1958
320	recall_10	0.2227	0.2827
320	recall_100	0.6364	0.2699
320	recall_1000	0.9182	0.2245
320	recall_15	0.2848	0.2967
320	recall_20	0.3242	0.3064
320	recall_200	0.7697	0.2725
320	recall_30	0.3818	0.3101
320	recall_5	0.1288	0.2321
320	recall_500	0.8985	0.2337
320	recip_rank	0.2744	0.3311
320	relative_P_10	0.2227	0.2827
320	relative_P_100	0.6364	0.2699
320	relative_P_1000	0.9182	0.2245
320	relative_P_15	0.2848	0.2967
320	relative_P_20	0.3242	0.3064
320	relative_P_200	0.7697	0.2725
320	relative_P_30	0.3818	0.3101
320	relative_P_5	0.1545	0.2785
320	relative_P_500	0.8985	0.2337
320	set_F	   nan	   nan
320	set_P	0.0062	0.0020
320	set_map	0.0057	0.0016
320	set_recall	0.9182	0.2245
320	set_relative_P	0.9182	0.2245
320	success_1	0.1455	0.3526
320	success_10	0.5545	0.4970
320	success_5	0.3636	0.4810
320	utility	-902.6545	246.0744
321	11pt_avg	0.1846	0.1046
321	G	0.0913	0.0504
321	P_10	0.6145	0.3239
321	P_100	0.3098	0.1722
321	P_1000	0.0827	0.0371
321	P_15	0.5636	0.3019
321	P_20	0.5259	0.2863
321	P_200	0.2231	0.1162
321	P_30	0.4724	0.2527
321	P_5	0.6745	0.3515
321	P_500	0.1322	0.0628
321	Rndcg	0.3340	0.1563
321	Rprec	0.2215	0.1150
321	Rprec_mult_0.20	0.4322	0.2372
321	Rprec_mult_0.40	0.3376	0.1837
321	Rprec_mult_0.60	0.2826	0.1541
321	Rprec_mult_0.80	0.2472	0.1304
321	Rprec_mult_1.00	0.2215	0.1150
321	Rprec_mult_1.20	0.2060	0.1029
321	Rprec_mult_1.40	0.1884	0.0916
321	Rprec_mult_1.60	0.1748	0.0841
321	Rprec_mult_1.80	0.1622	0.0774
321	Rprec_mult_2.00	0.1519	0.0719
321	binG	0.0913	0.0504
321	bpref	0.2456	0.1399
321	infAP	0.1515	0.1058
321	iprec_at_recall_0.00	0.8361	0.3096
321	iprec_at_recall_0.10	0.4501	0.2953
321	iprec_at_recall_0.20	0.3046	0.2303
321	iprec_at_recall_0.30	0.2087	0.1843
321	iprec_at_recall_0.40	0.1349	0.1354
321	iprec_at_recall_0.50	0.0646	0.1055
321	iprec_at_recall_0.60	0.0282	0.0823
321	iprec_at_recall_0.70	0.0031	0.0226
321	iprec_at_recall_0.80	0.0000	0.0000
321	iprec_at_recall_0.90	0.0000	0.0000
321	iprec_at_recall_1.00	0.0000	0.0000
321	map	0.1515	0.1058
321	map_cut_10	0.0266	0.0169
321	map_cut_100	0.0967	0.0742
321	map_cut_1000	0.1515	0.1058
321	map_cut_15	0.0354	0.0233
321	map_cut_20	0.0428	0.0292
321	map_cut_200	0.1187	0.0884
321	map_cut_30	0.0544	0.0383
321	map_cut_5	0.0152	0.0092
321	map_cut_500	0.1414	0.1013
321	ndcg	0.3952	0.1786
321	ndcg_cut_10	0.6397	0.3242
321	ndcg_cut_100	0.3658	0.1932
321	ndcg_cut_1000	0.3952	0.1786
321	ndcg_cut_15	0.6000	0.3073
321	ndcg_cut_20	0.5687	0.2945
321	ndcg_cut_200	0.2746	0.1378
321	ndcg_cut_30	0.5219	0.2674
321	ndcg_cut_5	0.6847	0.3496
321	ndcg_cut_500	0.3454	0.1634
321	ndcg_rel	0.4041	0.1869
321	num_nonrel_judged_ret	224.0727	108.0991
321	num_rel	203.0000	0.0000
321	num_rel_ret	82.6909	37.1272
321	num_ret	920.1091	228.6798
321	prefs_avgjg	0.3761	0.1707
321	prefs_avgjg_Rnonrel	0.1017	0.0284
321	prefs_avgjg_Rnonrel_ret	0.2488	0.1569
321	prefs_avgjg_imp	0.6971	0.1770
321	prefs_avgjg_ret	0.6120	0.1131
321	prefs_num_prefs_ful	89019.8636	40395.5875
321	prefs_num_prefs_ful_ret	13215.5182	8696.2063
321	prefs_num_prefs_poss	236698.0000	0.0000
321	prefs_pair	0.3761	0.1707
321	prefs_pair_imp	0.6971	0.1770
321	prefs_pair_ret	0.6120	0.1131
321	prefs_simp	0.3761	0.1707
321	prefs_simp_imp	0.6971	0.1770
321	prefs_simp_ret	0.6120	0.1131
321	recall_10	0.0303	0.0160
321	recall_100	0.1526	0.0848
321	recall_1000	0.4073	0.1829
321	recall_15	0.0417	0.0223
321	recall_20	0.0518	0.0282
321	recall_200	0.2198	0.1145
321	recall_30	0.0698	0.0373
321	recall_5	0.0166	0.0086
321	recall_500	0.3256	0.1547
321	recip_rank	0.7992	0.3429
321	relative_P_10	0.6145	0.3239
321	relative_P_100	0.3098	0.1722
321	relative_P_1000	0.4073	0.1829
321	relative_P_15	0.5636	0.3019
321	relative_P_20	0.5259	0.2863
321	relative_P_200	0.2231	0.1162
321	relative_P_30	0.4724	0.2527
321	relative_P_5	0.6745	0.3515
321	relative_P_500	0.3256	0.1547
321	set_F	0.1517	0.0658
321	set_P	0.0978	0.0514
321	set_map	0.0446	0.0261
321	set_recall	0.4073	0.1829
321	set_relative_P	0.4073	0.1829
321	success_1	0.7273	0.4454
321	success_10	0.9091	0.2875
321	success_5	0.8909	0.3118
321	utility	-754.7273	217.7274
322	11pt_avg	0.0446	0.0572
322	G	0.0624	0.0452
322	P_10	0.0918	0.1169
322	P_100	0.0391	0.0395
322	P_1000	0.0128	0.0081
322	P_15	0.0752	0.0858
322	P_20	0.0686	0.0716
322	P_200	0.0295	0.0262
322	P_30	0.0570	0.0609
322	P_5	0.1055	0.1494
322	P_500	0.0188	0.0140
322	Rndcg	0.1373	0.1063
322	Rprec	0.0548	0.0597
322	Rprec_mult_0.20	0.1013	0.1353
322	Rprec_mult_0.40	0.0779	0.0906
322	Rprec_mult_0.60	0.0671	0.0701
322	Rprec_mult_0.80	0.0584	0.0638
322	Rprec_mult_1.00	0.0548	0.0597
322	Rprec_mult_1.20	0.0515	0.0589
322	Rprec_mult_1.40	0.0483	0.0598
322	Rprec_mult_1.60	0.0469	0.0619
322	Rprec_mult_1.80	0.0453	0.0567
322	Rprec_mult_2.00	0.0466	0.0525
322	binG	0.0624	0.0452
322	bpref	0.0461	0.0505
322	infAP	0.0322	0.0459
322	iprec_at_recall_0.00	0.2613	0.2932
322	iprec_at_recall_0.10	0.0756	0.1181
322	iprec_at_recall_0.20	0.0424	0.0704
322	iprec_at_recall_0.30	0.0350	0.0651
322	iprec_at_recall_0.40	0.0294	0.0622
322	iprec_at_recall_0.50	0.0225	0.0593
322	iprec_at_recall_0.60	0.0148	0.0556
322	iprec_at_recall_0.70	0.0093	0.0508
322	iprec_at_recall_0.80	0.0004	0.0046
322	iprec_at_recall_0.90	0.0000	0.0000
322	iprec_at_recall_1.00	0.0000	0.0000
322	map	0.0322	0.0459
322	map_cut_10	0.0123	0.0212
322	map_cut_100	0.0230	0.0412
322	map_cut_1000	0.0322	0.0459
322	map_cut_15	0.0133	0.0217
322	map_cut_20	0.0144	0.0231
322	map_cut_200	0.0266	0.0442
322	map_cut_30	0.0159	0.0259
322	map_cut_5	0.0090	0.0155
322	map_cut_500	0.0302	0.0455
322	ndcg	0.2077	0.1453
322	ndcg_cut_10	0.0993	0.1307
322	ndcg_cut_100	0.1015	0.1015
322	ndcg_cut_1000	0.2077	0.1453
322	ndcg_cut_15	0.0864	0.1049
322	ndcg_cut_20	0.0801	0.0921
322	ndcg_cut_200	0.1294	0.1181
322	ndcg_cut_30	0.0693	0.0784
322	ndcg_cut_5	0.1104	0.1618
322	ndcg_cut_500	0.1722	0.1355
322	ndcg_rel	0.1773	0.1209
322	num_nonrel_judged_ret	272.5455	133.3061
322	num_rel	34.0000	0.0000
322	num_rel_ret	12.7545	8.1074
322	num_ret	922.5455	223.3075
322	prefs_avgjg	0.3387	0.2163
322	prefs_avgjg_Rnonrel	0.0120	0.0012
322	prefs_avgjg_Rnonrel_ret	0.0217	0.0135
322	prefs_avgjg_imp	0.6494	0.1887
322	prefs_avgjg_ret	0.5376	0.1881
322	prefs_num_prefs_ful	16927.1273	10811.3855
322	prefs_num_prefs_ful_ret	2453.0273	2347.1048
322	prefs_num_prefs_poss	49980.0000	0.0000
322	prefs_pair	0.3387	0.2163
322	prefs_pair_imp	0.6494	0.1887
322	prefs_pair_ret	0.5376	0.1881
322	prefs_simp	0.3387	0.2163
322	prefs_simp_imp	0.6494	0.1887
322	prefs_simp_ret	0.5376	0.1881
322	recall_10	0.0270	0.0344
322	recall_100	0.1150	0.1161
322	recall_1000	0.3751	0.2385
322	recall_15	0.0331	0.0379
322	recall_20	0.0404	0.0421
322	recall_200	0.1733	0.1543
322	recall_30	0.0503	0.0537
322	recall_5	0.0155	0.0220
322	recall_500	0.2770	0.2054
322	recip_rank	0.2475	0.2883
322	relative_P_10	0.0918	0.1169
322	relative_P_100	0.1150	0.1161
322	relative_P_1000	0.3751	0.2385
322	relative_P_15	0.0752	0.0858
322	relative_P_20	0.0686	0.0716
322	relative_P_200	0.1733	0.1543
322	relative_P_30	0.0570	0.0609
322	relative_P_5	0.1055	0.1494
322	relative_P_500	0.2770	0.2054
322	set_F	   nan	   nan
322	set_P	0.0134	0.0076
322	set_map	0.0068	0.0061
322	set_recall	0.3751	0.2385
322	set_relative_P	0.3751	0.2385
322	success_1	0.0818	0.2741
322	success_10	0.5455	0.4979
322	success_5	0.4000	0.4899
322	utility	-897.0364	216.4073
323	11pt_avg	0.2403	0.1079
323	G	0.1526	0.0601
323	P_10	0.5964	0.2327
323	P_100	0.2096	0.0852
323	P_1000	0.0289	0.0081
323	P_15	0.5194	0.2258
323	P_20	0.4723	0.2247
323	P_200	0.1220	0.0416
323	P_30	0.3936	0.1984
323	P_5	0.7073	0.2496
323	P_500	0.0540	0.0164
323	Rndcg	0.4136	0.1447
323	Rprec	0.2791	0.1411
323	Rprec_mult_0.20	0.5392	0.2250
323	Rprec_mult_0.40	0.4262	0.2111
323	Rprec_mult_0.60	0.3627	0.1834
323	Rprec_mult_0.80	0.3148	0.1596
323	Rprec_mult_1.00	0.2791	0.1411
323	Rprec_mult_1.20	0.2552	0.1147
323	Rprec_mult_1.40	0.2336	0.0992
323	Rprec_mult_1.60	0.2132	0.0868
323	Rprec_mult_1.80	0.1943	0.0783
323	Rprec_mult_2.00	0.1791	0.0694
323	binG	0.1526	0.0601
323	bpref	0.2447	0.1221
323	infAP	0.2115	0.1130
323	iprec_at_recall_0.00	0.9357	0.2233
323	iprec_at_recall_0.10	0.5989	0.2803
323	iprec_at_recall_0.20	0.4308	0.2748
323	iprec_at_recall_0.30	0.3302	0.2506
323	iprec_at_recall_0.40	0.2288	0.2221
323	iprec_at_recall_0.50	0.1165	0.1560
323	iprec_at_recall_0.60	0.0019	0.0097
323	iprec_at_recall_0.70	0.0000	0.0000
323	iprec_at_recall_0.80	0.0000	0.0000
323	iprec_at_recall_0.90	0.0000	0.0000
323	iprec_at_recall_1.00	0.0000	0.0000
323	map	0.2115	0.1130
323	map_cut_10	0.0836	0.0368
323	map_cut_100	0.1974	0.1134
323	map_cut_1000	0.2115	0.1130
323	map_cut_15	0.1043	0.0519
323	map_cut_20	0.1221	0.0666
323	map_cut_200	0.2064	0.1133
323	map_cut_30	0.1441	0.0846
323	map_cut_5	0.0530	0.0210
323	map_cut_500	0.2102	0.1130
323	ndcg	0.4685	0.1428
323	ndcg_cut_10	0.6543	0.2228
323	ndcg_cut_100	0.4011	0.1487
323	ndcg_cut_1000	0.4685	0.1428
323	ndcg_cut_15	0.5890	0.2152
323	ndcg_cut_20	0.5458	0.2135
323	ndcg_cut_200	0.4335	0.1455
323	ndcg_cut_30	0.4742	0.1962
323	ndcg_cut_5	0.7444	0.2378
323	ndcg_cut_500	0.4551	0.1440
323	ndcg_rel	0.5020	0.1644
323	num_nonrel_judged_ret	334.3545	97.5950
323	num_rel	61.0000	0.0000
323	num_rel_ret	28.8727	8.1298
323	num_ret	905.0727	261.4802
323	prefs_avgjg	0.4500	0.1290
323	prefs_avgjg_Rnonrel	0.0343	0.0072
323	prefs_avgjg_Rnonrel_ret	0.0714	0.0504
323	prefs_avgjg_imp	0.7163	0.1279
323	prefs_avgjg_ret	0.7876	0.1534
323	prefs_num_prefs_ful	33765.1818	9680.8558
323	prefs_num_prefs_ful_ret	8549.5091	3993.3704
323	prefs_num_prefs_poss	75030.0000	0.0000
323	prefs_pair	0.4500	0.1290
323	prefs_pair_imp	0.7163	0.1279
323	prefs_pair_ret	0.7876	0.1534
323	prefs_simp	0.4500	0.1290
323	prefs_simp_imp	0.7163	0.1279
323	prefs_simp_ret	0.7876	0.1534
323	recall_10	0.0978	0.0381
323	recall_100	0.3437	0.1397
323	recall_1000	0.4733	0.1333
323	recall_15	0.1277	0.0555
323	recall_20	0.1548	0.0737
323	recall_200	0.3999	0.1363
323	recall_30	0.1936	0.0976
323	recall_5	0.0580	0.0205
323	recall_500	0.4429	0.1344
323	recip_rank	0.9243	0.2391
323	relative_P_10	0.5964	0.2327
323	relative_P_100	0.3437	0.1397
323	relative_P_1000	0.4733	0.1333
323	relative_P_15	0.5194	0.2258
323	relative_P_20	0.4723	0.2247
323	relative_P_200	0.3999	0.1363
323	relative_P_30	0.3936	0.1984
323	relative_P_5	0.7073	0.2496
323	relative_P_500	0.4429	0.1344
323	set_F	   nan	   nan
323	set_P	0.0378	0.0456
323	set_map	0.0182	0.0201
323	set_recall	0.4733	0.1333
323	set_relative_P	0.4737	0.1333
323	success_1	0.9000	0.3000
323	success_10	0.9455	0.2271
323	success_5	0.9455	0.2271
323	utility	-847.3273	251.6849
324	11pt_avg	0.4896	0.1495
324	G	0.2236	0.0705
324	P_10	0.8700	0.1529
324	P_100	0.6381	0.1594
324	P_1000	0.1225	0.0306
324	P_15	0.8558	0.1569
324	P_20	0.8445	0.1566
324	P_200	0.4495	0.1191
324	P_30	0.8212	0.1531
324	P_5	0.8855	0.1736
324	P_500	0.2201	0.0545
324	Rndcg	0.6545	0.1472
324	Rprec	0.5128	0.1375
324	Rprec_mult_0.20	0.8108	0.1553
324	Rprec_mult_0.40	0.7235	0.1636
324	Rprec_mult_0.60	0.6442	0.1593
324	Rprec_mult_0.80	0.5751	0.1528
324	Rprec_mult_1.00	0.5128	0.1375
324	Rprec_mult_1.20	0.4592	0.1222
324	Rprec_mult_1.40	0.4131	0.1076
324	Rprec_mult_1.60	0.3741	0.0949
324	Rprec_mult_1.80	0.3426	0.0864
324	Rprec_mult_2.00	0.3163	0.0800
324	binG	0.2236	0.0705
324	bpref	0.5333	0.1353
324	infAP	0.4819	0.1608
324	iprec_at_recall_0.00	0.9662	0.1279
324	iprec_at_recall_0.10	0.8707	0.1615
324	iprec_at_recall_0.20	0.7832	0.2136
324	iprec_at_recall_0.30	0.7022	0.2311
324	iprec_at_recall_0.40	0.6161	0.2449
324	iprec_at_recall_0.50	0.5338	0.2434
324	iprec_at_recall_0.60	0.4258	0.2488
324	iprec_at_recall_0.70	0.2889	0.2330
324	iprec_at_recall_0.80	0.1488	0.1642
324	iprec_at_recall_0.90	0.0495	0.0943
324	iprec_at_recall_1.00	0.0000	0.0000
324	map	0.4819	0.1608
324	map_cut_10	0.0501	0.0118
324	map_cut_100	0.3272	0.1083
324	map_cut_1000	0.4819	0.1608
324	map_cut_15	0.0732	0.0178
324	map_cut_20	0.0955	0.0237
324	map_cut_200	0.4242	0.1513
324	map_cut_30	0.1371	0.0346
324	map_cut_5	0.0260	0.0070
324	map_cut_500	0.4681	0.1590
324	ndcg	0.7346	0.1640
324	ndcg_cut_10	0.8730	0.1583
324	ndcg_cut_100	0.6846	0.1536
324	ndcg_cut_1000	0.7346	0.1640
324	ndcg_cut_15	0.8629	0.1570
324	ndcg_cut_20	0.8543	0.1558
324	ndcg_cut_200	0.6075	0.1447
324	ndcg_cut_30	0.8359	0.1525
324	ndcg_cut_5	0.8820	0.1831
324	ndcg_cut_500	0.6902	0.1554
324	ndcg_rel	0.7287	0.1506
324	num_nonrel_judged_ret	214.5273	68.0936
324	num_rel	161.0000	0.0000
324	num_rel_ret	122.5000	30.5628
324	num_ret	916.0909	240.2077
324	prefs_avgjg	0.7003	0.1708
324	prefs_avgjg_Rnonrel	0.1954	0.0409
324	prefs_avgjg_Rnonrel_ret	0.4211	0.1024
324	prefs_avgjg_imp	0.8431	0.0938
324	prefs_avgjg_ret	0.7559	0.1024
324	prefs_num_prefs_ful	74531.2909	18173.7218
324	prefs_num_prefs_ful_ret	21672.5000	8887.6337
324	prefs_num_prefs_poss	106421.0000	0.0000
324	prefs_pair	0.7003	0.1708
324	prefs_pair_imp	0.8431	0.0938
324	prefs_pair_ret	0.7559	0.1024
324	prefs_simp	0.7003	0.1708
324	prefs_simp_imp	0.8431	0.0938
324	prefs_simp_ret	0.7559	0.1024
324	recall_10	0.0540	0.0095
324	recall_100	0.3963	0.0990
324	recall_1000	0.7609	0.1898
324	recall_15	0.0797	0.0146
324	recall_20	0.1049	0.0194
324	recall_200	0.5584	0.1480
324	recall_30	0.1530	0.0285
324	recall_5	0.0275	0.0054
324	recall_500	0.6837	0.1694
324	recip_rank	0.9143	0.2090
324	relative_P_10	0.8700	0.1529
324	relative_P_100	0.6381	0.1594
324	relative_P_1000	0.7609	0.1898
324	relative_P_15	0.8558	0.1569
324	relative_P_20	0.8445	0.1566
324	relative_P_200	0.5584	0.1480
324	relative_P_30	0.8212	0.1531
324	relative_P_5	0.8855	0.1736
324	relative_P_500	0.6837	0.1694
324	set_F	   nan	   nan
324	set_P	0.1444	0.0561
324	set_map	0.1087	0.0383
324	set_recall	0.7609	0.1898
324	set_relative_P	0.7614	0.1881
324	success_1	0.8455	0.3615
324	success_10	0.9818	0.1336
324	success_5	0.9818	0.1336
324	utility	-671.0909	202.1293
325	11pt_avg	0.1594	0.0907
325	G	0.1658	0.0674
325	P_10	0.2536	0.1736
325	P_100	0.1026	0.0406
325	P_1000	0.0183	0.0055
325	P_15	0.2339	0.1471
325	P_20	0.2068	0.1125
325	P_200	0.0639	0.0239
325	P_30	0.1697	0.0872
325	P_5	0.2709	0.2466
325	P_500	0.0327	0.0105
325	Rndcg	0.3363	0.1413
325	Rprec	0.1883	0.0969
325	Rprec_mult_0.20	0.2709	0.2466
325	Rprec_mult_0.40	0.2536	0.1736
325	Rprec_mult_0.60	0.2339	0.1471
325	Rprec_mult_0.80	0.2068	0.1125
325	Rprec_mult_1.00	0.1883	0.0969
325	Rprec_mult_1.20	0.1705	0.0867
325	Rprec_mult_1.40	0.1580	0.0798
325	Rprec_mult_1.60	0.1489	0.0722
325	Rprec_mult_1.80	0.1434	0.0697
325	Rprec_mult_2.00	0.1405	0.0652
325	binG	0.1658	0.0674
325	bpref	0.1415	0.0822
325	infAP	0.1409	0.0828
325	iprec_at_recall_0.00	0.5034	0.3539
325	iprec_at_recall_0.10	0.3665	0.2420
325	iprec_at_recall_0.20	0.2952	0.2027
325	iprec_at_recall_0.30	0.1697	0.1017
325	iprec_at_recall_0.40	0.1460	0.0785
325	iprec_at_recall_0.50	0.1098	0.0692
325	iprec_at_recall_0.60	0.0730	0.0606
325	iprec_at_recall_0.70	0.0550	0.0458
325	iprec_at_recall_0.80	0.0288	0.0280
325	iprec_at_recall_0.90	0.0059	0.0120
325	iprec_at_recall_1.00	0.0000	0.0000
325	map	0.1409	0.0828
325	map_cut_10	0.0568	0.0573
325	map_cut_100	0.1208	0.0781
325	map_cut_1000	0.1409	0.0828
325	map_cut_15	0.0709	0.0647
325	map_cut_20	0.0776	0.0648
325	map_cut_200	0.1312	0.0819
325	map_cut_30	0.0870	0.0680
325	map_cut_5	0.0366	0.0431
325	map_cut_500	0.1387	0.0827
325	ndcg	0.4626	0.1670
325	ndcg_cut_10	0.2583	0.1945
325	ndcg_cut_100	0.3366	0.1496
325	ndcg_cut_1000	0.4626	0.1670
325	ndcg_cut_15	0.2440	0.1690
325	ndcg_cut_20	0.2243	0.1383
325	ndcg_cut_200	0.3814	0.1619
325	ndcg_cut_30	0.2249	0.1295
325	ndcg_cut_5	0.2677	0.2574
325	ndcg_cut_500	0.4361	0.1646
325	ndcg_rel	0.3720	0.1575
325	num_nonrel_judged_ret	306.4727	103.2794
325	num_rel	24.0000	0.0000
325	num_rel_ret	18.3455	5.5357
325	num_ret	913.7636	248.2495
325	prefs_avgjg	0.6975	0.2084
325	prefs_avgjg_Rnonrel	0.0129	0.0020
325	prefs_avgjg_Rnonrel_ret	0.0349	0.0109
325	prefs_avgjg_imp	0.8308	0.1487
325	prefs_avgjg_ret	0.6606	0.1521
325	prefs_num_prefs_ful	18816.9636	5621.0623
325	prefs_num_prefs_ful_ret	4360.3727	1902.1183
325	prefs_num_prefs_poss	26976.0000	0.0000
325	prefs_pair	0.6975	0.2084
325	prefs_pair_imp	0.8308	0.1487
325	prefs_pair_ret	0.6606	0.1521
325	prefs_simp	0.6975	0.2084
325	prefs_simp_imp	0.8308	0.1487
325	prefs_simp_ret	0.6606	0.1521
325	recall_10	0.1057	0.0723
325	recall_100	0.4276	0.1692
325	recall_1000	0.7644	0.2307
325	recall_15	0.1462	0.0919
325	recall_20	0.1723	0.0938
325	recall_200	0.5326	0.1994
325	recall_30	0.2121	0.1090
325	recall_5	0.0564	0.0514
325	recall_500	0.6818	0.2187
325	recip_rank	0.4352	0.3729
325	relative_P_10	0.2536	0.1736
325	relative_P_100	0.4276	0.1692
325	relative_P_1000	0.7644	0.2307
325	relative_P_15	0.2339	0.1471
325	relative_P_20	0.2068	0.1125
325	relative_P_200	0.5326	0.1994
325	relative_P_30	0.2121	0.1090
325	relative_P_5	0.2709	0.2466
325	relative_P_500	0.6818	0.2187
325	set_F	   nan	   nan
325	set_P	0.0196	0.0055
325	set_map	0.0157	0.0053
325	set_recall	0.7644	0.2307
325	set_relative_P	0.7644	0.2307
325	success_1	0.2727	0.4454
325	success_10	0.8364	0.3699
325	success_5	0.6727	0.4692
325	utility	-877.0727	238.0115
326	11pt_avg	0.5389	0.1863
326	G	0.3582	0.1385
326	P_10	0.7836	0.2641
326	P_100	0.3066	0.0929
326	P_1000	0.0395	0.0104
326	P_15	0.7636	0.2310
326	P_20	0.7286	0.2197
326	P_200	0.1688	0.0472
326	P_30	0.6703	0.2038
326	P_5	0.8418	0.2574
326	P_500	0.0751	0.0200
326	Rndcg	0.6958	0.1867
326	Rprec	0.5443	0.1678
326	Rprec_mult_0.20	0.7836	0.2641
326	Rprec_mult_0.40	0.7359	0.2239
326	Rprec_mult_0.60	0.6808	0.2077
326	Rprec_mult_0.80	0.6145	0.1907
326	Rprec_mult_1.00	0.5443	0.1678
326	Rprec_mult_1.20	0.4805	0.1476
326	Rprec_mult_1.40	0.4323	0.1325
326	Rprec_mult_1.60	0.3923	0.1199
326	Rprec_mult_1.80	0.3573	0.1082
326	Rprec_mult_2.00	0.3293	0.1000
326	binG	0.3582	0.1385
326	bpref	0.5333	0.1760
326	infAP	0.5329	0.2018
326	iprec_at_recall_0.00	0.9525	0.1533
326	iprec_at_recall_0.10	0.8555	0.2425
326	iprec_at_recall_0.20	0.7846	0.2978
326	iprec_at_recall_0.30	0.7559	0.2901
326	iprec_at_recall_0.40	0.6985	0.2762
326	iprec_at_recall_0.50	0.6464	0.2706
326	iprec_at_recall_0.60	0.5343	0.2710
326	iprec_at_recall_0.70	0.3713	0.2412
326	iprec_at_recall_0.80	0.2312	0.1737
326	iprec_at_recall_0.90	0.0892	0.1003
326	iprec_at_recall_1.00	0.0090	0.0248
326	map	0.5329	0.2018
326	map_cut_10	0.1586	0.0676
326	map_cut_100	0.5041	0.1986
326	map_cut_1000	0.5329	0.2018
326	map_cut_15	0.2242	0.0935
326	map_cut_20	0.2798	0.1163
326	map_cut_200	0.5199	0.2002
326	map_cut_30	0.3725	0.1522
326	map_cut_5	0.0870	0.0324
326	map_cut_500	0.5303	0.2017
326	ndcg	0.7794	0.1999
326	ndcg_cut_10	0.8048	0.2540
326	ndcg_cut_100	0.6888	0.1967
326	ndcg_cut_1000	0.7794	0.1999
326	ndcg_cut_15	0.7865	0.2311
326	ndcg_cut_20	0.7593	0.2226
326	ndcg_cut_200	0.7243	0.1963
326	ndcg_cut_30	0.7119	0.2078
326	ndcg_cut_5	0.8477	0.2488
326	ndcg_cut_500	0.7620	0.1991
326	ndcg_rel	0.7544	0.2036
326	num_nonrel_judged_ret	272.9000	102.1929
326	num_rel	46.0000	0.0000
326	num_rel_ret	39.5455	10.3832
326	num_ret	914.4000	245.9586
326	prefs_avgjg	0.8063	0.2108
326	prefs_avgjg_Rnonrel	0.0590	0.0138
326	prefs_avgjg_Rnonrel_ret	0.1629	0.0860
326	prefs_avgjg_imp	0.9117	0.0406
326	prefs_avgjg_ret	0.8166	0.1112
326	prefs_num_prefs_ful	27150.3455	7098.9773
326	prefs_num_prefs_ful_ret	9961.2818	4269.6750
326	prefs_num_prefs_poss	33672.0000	0.0000
326	prefs_pair	0.8063	0.2108
326	prefs_pair_imp	0.9117	0.0406
326	prefs_pair_ret	0.8166	0.1112
326	prefs_simp	0.8063	0.2108
326	prefs_simp_imp	0.9117	0.0406
326	prefs_simp_ret	0.8166	0.1112
326	recall_10	0.1704	0.0574
326	recall_100	0.6666	0.2019
326	recall_1000	0.8597	0.2257
326	recall_15	0.2490	0.0753
326	recall_20	0.3168	0.0955
326	recall_200	0.7338	0.2053
326	recall_30	0.4372	0.1329
326	recall_5	0.0915	0.0280
326	recall_500	0.8164	0.2177
326	recip_rank	0.9257	0.2116
326	relative_P_10	0.7836	0.2641
326	relative_P_100	0.6666	0.2019
326	relative_P_1000	0.8597	0.2257
326	relative_P_15	0.7636	0.2310
326	relative_P_20	0.7286	0.2197
326	relative_P_200	0.7338	0.2053
326	relative_P_30	0.6703	0.2038
326	relative_P_5	0.8418	0.2574
326	relative_P_500	0.8164	0.2177
326	set_F	0.0896	0.0679
326	set_P	0.0527	0.0746
326	set_map	0.0430	0.0400
326	set_recall	0.8597	0.2257
326	set_relative_P	0.8606	0.2245
326	success_1	0.8818	0.3228
326	success_10	0.9818	0.1336
326	success_5	0.9727	0.1629
326	utility	-835.3091	227.8978
327	11pt_avg	0.1359	0.1016
327	G	0.1900	0.0934
327	P_10	0.1500	0.1025
327	P_100	0.0577	0.0297
327	P_1000	0.0089	0.0033
327	P_15	0.1333	0.0899
327	P_20	0.1259	0.0783
327	P_200	0.0355	0.0167
327	P_30	0.1027	0.0623
327	P_5	0.1891	0.1637
327	P_500	0.0169	0.0068
327	Rndcg	0.2899	0.1543
327	Rprec	0.1463	0.0974
327	Rprec_mult_0.20	0.2060	0.2246
327	Rprec_mult_0.40	0.1891	0.1637
327	Rprec_mult_0.60	0.1572	0.1187
327	Rprec_mult_0.80	0.1475	0.1050
327	Rprec_mult_1.00	0.1463	0.0974
327	Rprec_mult_1.20	0.1390	0.0972
327	Rprec_mult_1.40	0.1364	0.0904
327	Rprec_mult_1.60	0.1308	0.0833
327	Rprec_mult_1.80	0.1259	0.0783
327	Rprec_mult_2.00	0.1198	0.0750
327	binG	0.1900	0.0934
327	bpref	0.1026	0.0776
327	infAP	0.1300	0.0987
327	iprec_at_recall_0.00	0.4344	0.3666
327	iprec_at_recall_0.10	0.2489	0.2083
327	iprec_at_recall_0.20	0.1844	0.1703
327	iprec_at_recall_0.30	0.1580	0.1373
327	iprec_at_recall_0.40	0.1220	0.0946
327	iprec_at_recall_0.50	0.0967	0.0755
327	iprec_at_recall_0.60	0.0760	0.0633
327	iprec_at_recall_0.70	0.0635	0.0571
327	iprec_at_recall_0.80	0.0490	0.0464
327	iprec_at_recall_0.90	0.0390	0.0401
327	iprec_at_recall_1.00	0.0227	0.0270
327	map	0.1300	0.0987
327	map_cut_10	0.0630	0.0652
327	map_cut_100	0.1190	0.0974
327	map_cut_1000	0.1300	0.0987
327	map_cut_15	0.0739	0.0743
327	map_cut_20	0.0830	0.0780
327	map_cut_200	0.1258	0.0991
327	map_cut_30	0.0916	0.0836
327	map_cut_5	0.0507	0.0633
327	map_cut_500	0.1295	0.0991
327	ndcg	0.4158	0.1931
327	ndcg_cut_10	0.1674	0.1287
327	ndcg_cut_100	0.3331	0.1924
327	ndcg_cut_1000	0.4158	0.1931
327	ndcg_cut_15	0.1853	0.1404
327	ndcg_cut_20	0.2108	0.1472
327	ndcg_cut_200	0.3717	0.1999
327	ndcg_cut_30	0.2356	0.1601
327	ndcg_cut_5	0.1994	0.1925
327	ndcg_cut_500	0.4057	0.1982
327	ndcg_rel	0.3283	0.1756
327	num_nonrel_judged_ret	249.5273	95.0183
327	num_rel	11.0000	0.0000
327	num_rel_ret	8.8909	3.3230
327	num_ret	913.9091	247.7199
327	prefs_avgjg	0.7670	0.2874
327	prefs_avgjg_Rnonrel	0.0046	0.0007
327	prefs_avgjg_Rnonrel_ret	0.0186	0.0082
327	prefs_avgjg_imp	0.8524	0.2457
327	prefs_avgjg_ret	0.6714	0.2337
327	prefs_num_prefs_ful	11146.0000	4176.1574
327	prefs_num_prefs_ful_ret	1884.2545	986.4183
327	prefs_num_prefs_poss	14531.0000	0.0000
327	prefs_pair	0.7670	0.2874
327	prefs_pair_imp	0.8524	0.2457
327	prefs_pair_ret	0.6714	0.2337
327	prefs_simp	0.7670	0.2874
327	prefs_simp_imp	0.8524	0.2457
327	prefs_simp_ret	0.6714	0.2337
327	recall_10	0.1364	0.0931
327	recall_100	0.5248	0.2696
327	recall_1000	0.8083	0.3021
327	recall_15	0.1818	0.1226
327	recall_20	0.2289	0.1423
327	recall_200	0.6455	0.3037
327	recall_30	0.2801	0.1699
327	recall_5	0.0859	0.0744
327	recall_500	0.7669	0.3093
327	recip_rank	0.4219	0.3709
327	relative_P_10	0.1500	0.1025
327	relative_P_100	0.5248	0.2696
327	relative_P_1000	0.8083	0.3021
327	relative_P_15	0.1818	0.1226
327	relative_P_20	0.2289	0.1423
327	relative_P_200	0.6455	0.3037
327	relative_P_30	0.2801	0.1699
327	relative_P_5	0.1891	0.1637
327	relative_P_500	0.7669	0.3093
327	set_F	   nan	   nan
327	set_P	0.0092	0.0033
327	set_map	0.0083	0.0036
327	set_recall	0.8083	0.3021
327	set_relative_P	0.8083	0.3021
327	success_1	0.2636	0.4406
327	success_10	0.7909	0.4067
327	success_5	0.6818	0.4658
327	utility	-896.1273	242.1727
328	11pt_avg	0.5122	0.1957
328	G	0.4739	0.1514
328	P_10	0.4564	0.1756
328	P_100	0.0585	0.0143
328	P_1000	0.0075	0.0010
328	P_15	0.3285	0.1171
328	P_20	0.2536	0.0868
328	P_200	0.0317	0.0060
328	P_30	0.1739	0.0573
328	P_5	0.6000	0.2256
328	P_500	0.0140	0.0020
328	Rndcg	0.6669	0.1831
328	Rprec	0.5318	0.2067
328	Rprec_mult_0.20	0.7409	0.3214
328	Rprec_mult_0.40	0.5977	0.2289
328	Rprec_mult_0.60	0.6000	0.2256
328	Rprec_mult_0.80	0.5675	0.2225
328	Rprec_mult_1.00	0.5318	0.2067
328	Rprec_mult_1.20	0.4564	0.1756
328	Rprec_mult_1.40	0.4007	0.1505
328	Rprec_mult_1.60	0.3727	0.1381
328	Rprec_mult_1.80	0.3285	0.1171
328	Rprec_mult_2.00	0.3102	0.1099
328	binG	0.4739	0.1514
328	bpref	0.4965	0.2114
328	infAP	0.5007	0.2071
328	iprec_at_recall_0.00	0.9297	0.2234
328	iprec_at_recall_0.10	0.9297	0.2234
328	iprec_at_recall_0.20	0.8063	0.2739
328	iprec_at_recall_0.30	0.6988	0.2839
328	iprec_at_recall_0.40	0.5719	0.3097
328	iprec_at_recall_0.50	0.5719	0.3097
328	iprec_at_recall_0.60	0.4807	0.3333
328	iprec_at_recall_0.70	0.3948	0.3423
328	iprec_at_recall_0.80	0.1870	0.2738
328	iprec_at_recall_0.90	0.0316	0.0669
328	iprec_at_recall_1.00	0.0316	0.0669
328	map	0.5007	0.2071
328	map_cut_10	0.4584	0.2087
328	map_cut_100	0.4956	0.2091
328	map_cut_1000	0.5007	0.2071
328	map_cut_15	0.4784	0.2131
328	map_cut_20	0.4838	0.2129
328	map_cut_200	0.4981	0.2081
328	map_cut_30	0.4879	0.2130
328	map_cut_5	0.3270	0.1385
328	map_cut_500	0.5000	0.2072
328	ndcg	0.7389	0.1671
328	ndcg_cut_10	0.6182	0.2106
328	ndcg_cut_100	0.6872	0.1876
328	ndcg_cut_1000	0.7389	0.1671
328	ndcg_cut_15	0.6429	0.2094
328	ndcg_cut_20	0.6516	0.2075
328	ndcg_cut_200	0.7042	0.1784
328	ndcg_cut_30	0.6595	0.2055
328	ndcg_cut_5	0.6537	0.2225
328	ndcg_cut_500	0.7246	0.1693
328	ndcg_rel	0.7379	0.1848
328	num_nonrel_judged_ret	333.9091	96.5085
328	num_rel	8.0000	0.0000
328	num_rel_ret	7.5364	0.9599
328	num_ret	913.7818	248.1831
328	prefs_avgjg	0.8878	0.1154
328	prefs_avgjg_Rnonrel	0.0074	0.0017
328	prefs_avgjg_Rnonrel_ret	0.0368	0.1036
328	prefs_avgjg_imp	0.9306	0.0485
328	prefs_avgjg_ret	0.8120	0.1425
328	prefs_num_prefs_ful	7087.9636	921.3035
328	prefs_num_prefs_ful_ret	2153.1091	800.1427
328	prefs_num_prefs_poss	7984.0000	0.0000
328	prefs_pair	0.8878	0.1154
328	prefs_pair_imp	0.9306	0.0485
328	prefs_pair_ret	0.8120	0.1425
328	prefs_simp	0.8878	0.1154
328	prefs_simp_imp	0.9306	0.0485
328	prefs_simp_ret	0.8120	0.1425
328	recall_10	0.5705	0.2195
328	recall_100	0.7318	0.1790
328	recall_1000	0.9420	0.1200
328	recall_15	0.6159	0.2196
328	recall_20	0.6341	0.2170
328	recall_200	0.7920	0.1501
328	recall_30	0.6523	0.2148
328	recall_5	0.3750	0.1410
328	recall_500	0.8750	0.1250
328	recip_rank	0.9191	0.2380
328	relative_P_10	0.5705	0.2195
328	relative_P_100	0.7318	0.1790
328	relative_P_1000	0.9420	0.1200
328	relative_P_15	0.6159	0.2196
328	relative_P_20	0.6341	0.2170
328	relative_P_200	0.7920	0.1501
328	relative_P_30	0.6523	0.2148
328	relative_P_5	0.6000	0.2256
328	relative_P_500	0.8750	0.1250
328	set_F	0.0334	0.1148
328	set_P	0.0247	0.1158
328	set_map	0.0220	0.1012
328	set_recall	0.9420	0.1200
328	set_relative_P	0.9420	0.1200
328	success_1	0.8909	0.3118
328	success_10	0.9727	0.1629
328	success_5	0.9545	0.2083
328	utility	-898.7091	246.8252
329	11pt_avg	0.3214	0.1091
329	G	0.2497	0.0796
329	P_10	0.6509	0.2101
329	P_100	0.1571	0.0461
329	P_1000	0.0236	0.0059
329	P_15	0.5339	0.1721
329	P_20	0.4727	0.1525
329	P_200	0.0896	0.0245
329	P_30	0.3679	0.1188
329	P_5	0.7982	0.2494
329	P_500	0.0416	0.0109
329	Rndcg	0.5197	0.1280
329	Rprec	0.3348	0.1083
329	Rprec_mult_0.20	0.7260	0.2280
329	Rprec_mult_0.40	0.5481	0.1768
329	Rprec_mult_0.60	0.4602	0.1463
329	Rprec_mult_0.80	0.3838	0.1237
329	Rprec_mult_1.00	0.3348	0.1083
329	Rprec_mult_1.20	0.2976	0.0961
329	Rprec_mult_1.40	0.2651	0.0829
329	Rprec_mult_1.60	0.2391	0.0745
329	Rprec_mult_1.80	0.2202	0.0665
329	Rprec_mult_2.00	0.2035	0.0602
329	binG	0.2497	0.0796
329	bpref	0.3083	0.0974
329	infAP	0.2949	0.1152
329	iprec_at_recall_0.00	0.9522	0.1735
329	iprec_at_recall_0.10	0.8418	0.2454
329	iprec_at_recall_0.20	0.6796	0.2794
329	iprec_at_recall_0.30	0.4481	0.2593
329	iprec_at_recall_0.40	0.2978	0.2146
329	iprec_at_recall_0.50	0.1624	0.1621
329	iprec_at_recall_0.60	0.0950	0.1145
329	iprec_at_recall_0.70	0.0389	0.0543
329	iprec_at_recall_0.80	0.0169	0.0404
329	iprec_at_recall_0.90	0.0025	0.0095
329	iprec_at_recall_1.00	0.0000	0.0000
329	map	0.2949	0.1152
329	map_cut_10	0.1682	0.0658
329	map_cut_100	0.2787	0.1125
329	map_cut_1000	0.2949	0.1152
329	map_cut_15	0.1968	0.0797
329	map_cut_20	0.2203	0.0905
329	map_cut_200	0.2867	0.1139
329	map_cut_30	0.2418	0.1007
329	map_cut_5	0.1096	0.0390
329	map_cut_500	0.2923	0.1149
329	ndcg	0.5997	0.1387
329	ndcg_cut_10	0.7155	0.2060
329	ndcg_cut_100	0.5063	0.1301
329	ndcg_cut_1000	0.5997	0.1387
329	ndcg_cut_15	0.6224	0.1773
329	ndcg_cut_20	0.5667	0.1611
329	ndcg_cut_200	0.5368	0.1316
329	ndcg_cut_30	0.4723	0.1331
329	ndcg_cut_5	0.8274	0.2400
329	ndcg_cut_500	0.5711	0.1356
329	ndcg_rel	0.6237	0.1456
329	num_nonrel_judged_ret	352.6182	122.2636
329	num_rel	35.0000	0.0000
329	num_rel_ret	23.5636	5.9307
329	num_ret	914.7636	244.6800
329	prefs_avgjg	0.6306	0.1530
329	prefs_avgjg_Rnonrel	0.0227	0.0028
329	prefs_avgjg_Rnonrel_ret	0.0660	0.0584
329	prefs_avgjg_imp	0.8312	0.0484
329	prefs_avgjg_ret	0.7852	0.0947
329	prefs_num_prefs_ful	26241.4545	6368.1222
329	prefs_num_prefs_ful_ret	7162.3364	3630.1477
329	prefs_num_prefs_poss	41615.0000	0.0000
329	prefs_pair	0.6306	0.1530
329	prefs_pair_imp	0.8312	0.0484
329	prefs_pair_ret	0.7852	0.0947
329	prefs_simp	0.6306	0.1530
329	prefs_simp_imp	0.8312	0.0484
329	prefs_simp_ret	0.7852	0.0947
329	recall_10	0.1860	0.0600
329	recall_100	0.4488	0.1316
329	recall_1000	0.6732	0.1695
329	recall_15	0.2288	0.0738
329	recall_20	0.2701	0.0871
329	recall_200	0.5122	0.1398
329	recall_30	0.3153	0.1019
329	recall_5	0.1140	0.0356
329	recall_500	0.5945	0.1563
329	recip_rank	0.9421	0.2014
329	relative_P_10	0.6509	0.2101
329	relative_P_100	0.4488	0.1316
329	relative_P_1000	0.6732	0.1695
329	relative_P_15	0.5339	0.1721
329	relative_P_20	0.4727	0.1525
329	relative_P_200	0.5122	0.1398
329	relative_P_30	0.3679	0.1188
329	relative_P_5	0.7982	0.2494
329	relative_P_500	0.5945	0.1563
329	set_F	0.0555	0.0370
329	set_P	0.0306	0.0298
329	set_map	0.0196	0.0131
329	set_recall	0.6732	0.1695
329	set_relative_P	0.6732	0.1695
329	success_1	0.9182	0.2741
329	success_10	0.9909	0.0949
329	success_5	0.9545	0.2083
329	utility	-867.6364	236.3514
330	11pt_avg	0.1330	0.0783
330	G	0.1174	0.0433
330	P_10	0.2036	0.1589
330	P_100	0.1322	0.0659
330	P_1000	0.0431	0.0135
330	P_15	0.2024	0.1438
330	P_20	0.1964	0.1291
330	P_200	0.1058	0.0444
330	P_30	0.1858	0.1077
330	P_5	0.2091	0.2078
330	P_500	0.0701	0.0241
330	Rndcg	0.3127	0.1225
330	Rprec	0.1538	0.0876
330	Rprec_mult_0.20	0.2030	0.1563
330	Rprec_mult_0.40	0.1886	0.1185
330	Rprec_mult_0.60	0.1831	0.1069
330	Rprec_mult_0.80	0.1644	0.0988
330	Rprec_mult_1.00	0.1538	0.0876
330	Rprec_mult_1.20	0.1462	0.0797
330	Rprec_mult_1.40	0.1417	0.0750
330	Rprec_mult_1.60	0.1344	0.0687
330	Rprec_mult_1.80	0.1301	0.0637
330	Rprec_mult_2.00	0.1243	0.0606
330	binG	0.1174	0.0433
330	bpref	0.1091	0.0705
330	infAP	0.1080	0.0681
330	iprec_at_recall_0.00	0.4695	0.3151
330	iprec_at_recall_0.10	0.2360	0.1617
330	iprec_at_recall_0.20	0.1819	0.1275
330	iprec_at_recall_0.30	0.1490	0.0994
330	iprec_at_recall_0.40	0.1205	0.0738
330	iprec_at_recall_0.50	0.1035	0.0647
330	iprec_at_recall_0.60	0.0839	0.0597
330	iprec_at_recall_0.70	0.0653	0.0506
330	iprec_at_recall_0.80	0.0427	0.0421
330	iprec_at_recall_0.90	0.0109	0.0318
330	iprec_at_recall_1.00	0.0000	0.0000
330	map	0.1080	0.0681
330	map_cut_10	0.0163	0.0183
330	map_cut_100	0.0587	0.0516
330	map_cut_1000	0.1080	0.0681
330	map_cut_15	0.0216	0.0243
330	map_cut_20	0.0258	0.0282
330	map_cut_200	0.0767	0.0620
330	map_cut_30	0.0327	0.0334
330	map_cut_5	0.0107	0.0135
330	map_cut_500	0.0997	0.0669
330	ndcg	0.4588	0.1569
330	ndcg_cut_10	0.2075	0.1647
330	ndcg_cut_100	0.2099	0.1100
330	ndcg_cut_1000	0.4588	0.1569
330	ndcg_cut_15	0.2059	0.1492
330	ndcg_cut_20	0.2012	0.1366
330	ndcg_cut_200	0.2853	0.1300
330	ndcg_cut_30	0.1926	0.1192
330	ndcg_cut_5	0.2133	0.2140
330	ndcg_cut_500	0.4002	0.1494
330	ndcg_rel	0.3407	0.1169
330	num_nonrel_judged_ret	434.8636	123.6199
330	num_rel	60.0000	0.0000
330	num_rel_ret	43.1182	13.4757
330	num_ret	913.8000	248.1168
330	prefs_avgjg	0.6167	0.1933
330	prefs_avgjg_Rnonrel	0.0279	0.0044
330	prefs_avgjg_Rnonrel_ret	0.0554	0.0174
330	prefs_avgjg_imp	0.7545	0.0932
330	prefs_avgjg_ret	0.6049	0.1186
330	prefs_num_prefs_ful	45032.6182	14114.1225
330	prefs_num_prefs_ful_ret	12723.1727	5968.6609
330	prefs_num_prefs_poss	73020.0000	0.0000
330	prefs_pair	0.6167	0.1933
330	prefs_pair_imp	0.7545	0.0932
330	prefs_pair_ret	0.6049	0.1186
330	prefs_simp	0.6167	0.1933
330	prefs_simp_imp	0.7545	0.0932
330	prefs_simp_ret	0.6049	0.1186
330	recall_10	0.0339	0.0265
330	recall_100	0.2203	0.1099
330	recall_1000	0.7186	0.2246
330	recall_15	0.0506	0.0360
330	recall_20	0.0655	0.0430
330	recall_200	0.3526	0.1481
330	recall_30	0.0929	0.0539
330	recall_5	0.0174	0.0173
330	recall_500	0.5841	0.2010
330	recip_rank	0.4170	0.3389
330	relative_P_10	0.2036	0.1589
330	relative_P_100	0.2203	0.1099
330	relative_P_1000	0.7186	0.2246
330	relative_P_15	0.2024	0.1438
330	relative_P_20	0.1964	0.1291
330	relative_P_200	0.3526	0.1481
330	relative_P_30	0.1858	0.1077
330	relative_P_5	0.2091	0.2078
330	relative_P_500	0.5841	0.2010
330	set_F	0.0897	0.0306
330	set_P	0.0503	0.0202
330	set_map	0.0363	0.0150
330	set_recall	0.7186	0.2246
330	set_relative_P	0.7204	0.2195
330	success_1	0.2091	0.4067
330	success_10	0.8182	0.3857
330	success_5	0.6182	0.4858
330	utility	-827.5636	229.5105
331	11pt_avg	0.1962	0.1395
331	G	0.0994	0.0649
331	P_10	0.5609	0.3575
331	P_100	0.3279	0.1973
331	P_1000	0.0959	0.0480
331	P_15	0.5382	0.3437
331	P_20	0.5173	0.3247
331	P_200	0.2458	0.1464
331	P_30	0.4779	0.3005
331	P_5	0.5764	0.3970
331	P_500	0.1494	0.0819
331	Rndcg	0.3507	0.1856
331	Rprec	0.2384	0.1415
331	Rprec_mult_0.20	0.4370	0.2732
331	Rprec_mult_0.40	0.3473	0.2104
331	Rprec_mult_0.60	0.2974	0.1765
331	Rprec_mult_0.80	0.2626	0.1575
331	Rprec_mult_1.00	0.2384	0.1415
331	Rprec_mult_1.20	0.2161	0.1251
331	Rprec_mult_1.40	0.1993	0.1145
331	Rprec_mult_1.60	0.1857	0.1051
331	Rprec_mult_1.80	0.1747	0.0978
331	Rprec_mult_2.00	0.1644	0.0913
331	binG	0.0994	0.0649
331	bpref	0.2859	0.1394
331	infAP	0.1731	0.1392
331	iprec_at_recall_0.00	0.7196	0.3710
331	iprec_at_recall_0.10	0.4652	0.3260
331	iprec_at_recall_0.20	0.3325	0.2631
331	iprec_at_recall_0.30	0.2288	0.2252
331	iprec_at_recall_0.40	0.1649	0.1871
331	iprec_at_recall_0.50	0.1204	0.1585
331	iprec_at_recall_0.60	0.0734	0.1362
331	iprec_at_recall_0.70	0.0518	0.1147
331	iprec_at_recall_0.80	0.0016	0.0166
331	iprec_at_recall_0.90	0.0000	0.0000
331	iprec_at_recall_1.00	0.0000	0.0000
331	map	0.1731	0.1392
331	map_cut_10	0.0225	0.0179
331	map_cut_100	0.0997	0.0856
331	map_cut_1000	0.1731	0.1392
331	map_cut_15	0.0315	0.0257
331	map_cut_20	0.0393	0.0324
331	map_cut_200	0.1293	0.1128
331	map_cut_30	0.0525	0.0441
331	map_cut_5	0.0122	0.0098
331	map_cut_500	0.1588	0.1327
331	ndcg	0.4206	0.2123
331	ndcg_cut_10	0.5667	0.3685
331	ndcg_cut_100	0.3705	0.2240
331	ndcg_cut_1000	0.4206	0.2123
331	ndcg_cut_15	0.5501	0.3549
331	ndcg_cut_20	0.5341	0.3389
331	ndcg_cut_200	0.2884	0.1697
331	ndcg_cut_30	0.5029	0.3177
331	ndcg_cut_5	0.5774	0.4038
331	ndcg_cut_500	0.3592	0.1968
331	ndcg_rel	0.4133	0.2090
331	num_nonrel_judged_ret	192.9636	67.7790
331	num_rel	213.0000	0.0000
331	num_rel_ret	95.9364	47.9845
331	num_ret	931.8182	215.6098
331	prefs_avgjg	0.4200	0.2081
331	prefs_avgjg_Rnonrel	0.1138	0.0299
331	prefs_avgjg_Rnonrel_ret	0.2957	0.1252
331	prefs_avgjg_imp	0.7554	0.1179
331	prefs_avgjg_ret	0.5990	0.1202
331	prefs_num_prefs_ful	104487.2545	51763.6127
331	prefs_num_prefs_ful_ret	13423.9909	9833.7391
331	prefs_num_prefs_poss	248784.0000	0.0000
331	prefs_pair	0.4200	0.2081
331	prefs_pair_imp	0.7554	0.1179
331	prefs_pair_ret	0.5990	0.1202
331	prefs_simp	0.4200	0.2081
331	prefs_simp_imp	0.7554	0.1179
331	prefs_simp_ret	0.5990	0.1202
331	recall_10	0.0263	0.0168
331	recall_100	0.1539	0.0926
331	recall_1000	0.4504	0.2253
331	recall_15	0.0379	0.0242
331	recall_20	0.0486	0.0305
331	recall_200	0.2308	0.1375
331	recall_30	0.0673	0.0423
331	recall_5	0.0135	0.0093
331	recall_500	0.3507	0.1924
331	recip_rank	0.6739	0.4068
331	relative_P_10	0.5609	0.3575
331	relative_P_100	0.3279	0.1973
331	relative_P_1000	0.4504	0.2253
331	relative_P_15	0.5382	0.3437
331	relative_P_20	0.5173	0.3247
331	relative_P_200	0.2458	0.1464
331	relative_P_30	0.4779	0.3005
331	relative_P_5	0.5764	0.3970
331	relative_P_500	0.3507	0.1924
331	set_F	0.1666	0.0770
331	set_P	0.1054	0.0516
331	set_map	0.0561	0.0430
331	set_recall	0.4504	0.2253
331	set_relative_P	0.4504	0.2253
331	success_1	0.5909	0.4917
331	success_10	0.8455	0.3615
331	success_5	0.7727	0.4191
331	utility	-739.9455	197.5452
332	11pt_avg	0.1423	0.0842
332	G	0.0635	0.0275
332	P_10	0.2655	0.1801
332	P_100	0.2799	0.1107
332	P_1000	0.1014	0.0424
332	P_15	0.2636	0.1721
332	P_20	0.2741	0.1609
332	P_200	0.2364	0.0929
332	P_30	0.2815	0.1509
332	P_5	0.3109	0.2360
332	P_500	0.1571	0.0680
332	Rndcg	0.2942	0.1136
332	Rprec	0.2188	0.0896
332	Rprec_mult_0.20	0.2906	0.1325
332	Rprec_mult_0.40	0.2787	0.1107
332	Rprec_mult_0.60	0.2548	0.1007
332	Rprec_mult_0.80	0.2351	0.0926
332	Rprec_mult_1.00	0.2188	0.0896
332	Rprec_mult_1.20	0.2020	0.0834
332	Rprec_mult_1.40	0.1884	0.0807
332	Rprec_mult_1.60	0.1766	0.0760
332	Rprec_mult_1.80	0.1649	0.0713
332	Rprec_mult_2.00	0.1556	0.0672
332	binG	0.0635	0.0275
332	bpref	0.2103	0.0932
332	infAP	0.1064	0.0772
332	iprec_at_recall_0.00	0.6354	0.3196
332	iprec_at_recall_0.10	0.3068	0.1479
332	iprec_at_recall_0.20	0.2318	0.1609
332	iprec_at_recall_0.30	0.1618	0.1539
332	iprec_at_recall_0.40	0.1075	0.1414
332	iprec_at_recall_0.50	0.0720	0.1266
332	iprec_at_recall_0.60	0.0443	0.1056
332	iprec_at_recall_0.70	0.0057	0.0341
332	iprec_at_recall_0.80	0.0000	0.0000
332	iprec_at_recall_0.90	0.0000	0.0000
332	iprec_at_recall_1.00	0.0000	0.0000
332	map	0.1064	0.0772
332	map_cut_10	0.0062	0.0062
332	map_cut_100	0.0406	0.0329
332	map_cut_1000	0.1064	0.0772
332	map_cut_15	0.0082	0.0082
332	map_cut_20	0.0104	0.0101
332	map_cut_200	0.0633	0.0485
332	map_cut_30	0.0146	0.0138
332	map_cut_5	0.0043	0.0043
332	map_cut_500	0.0930	0.0703
332	ndcg	0.3557	0.1412
332	ndcg_cut_10	0.2909	0.1999
332	ndcg_cut_100	0.2848	0.1199
332	ndcg_cut_1000	0.3557	0.1412
332	ndcg_cut_15	0.2838	0.1871
332	ndcg_cut_20	0.2877	0.1754
332	ndcg_cut_200	0.2484	0.0990
332	ndcg_cut_30	0.2896	0.1621
332	ndcg_cut_5	0.3270	0.2493
332	ndcg_cut_500	0.2977	0.1228
332	ndcg_rel	0.3256	0.1180
332	num_nonrel_judged_ret	268.2091	86.1211
332	num_rel	254.0000	0.0000
332	num_rel_ret	101.4182	42.3697
332	num_ret	916.9273	237.5520
332	prefs_avgjg	0.3489	0.1444
332	prefs_avgjg_Rnonrel	0.1384	0.0254
332	prefs_avgjg_Rnonrel_ret	0.2061	0.0862
332	prefs_avgjg_imp	0.6144	0.1196
332	prefs_avgjg_ret	0.5511	0.0880
332	prefs_num_prefs_ful	87646.5727	36264.0502
332	prefs_num_prefs_ful_ret	16408.1091	9981.9762
332	prefs_num_prefs_poss	251206.0000	0.0000
332	prefs_pair	0.3489	0.1444
332	prefs_pair_imp	0.6144	0.1196
332	prefs_pair_ret	0.5511	0.0880
332	prefs_simp	0.3489	0.1444
332	prefs_simp_imp	0.6144	0.1196
332	prefs_simp_ret	0.5511	0.0880
332	recall_10	0.0104	0.0071
332	recall_100	0.1102	0.0436
332	recall_1000	0.3993	0.1668
332	recall_15	0.0156	0.0102
332	recall_20	0.0216	0.0127
332	recall_200	0.1861	0.0732
332	recall_30	0.0333	0.0178
332	recall_5	0.0061	0.0046
332	recall_500	0.3092	0.1338
332	recip_rank	0.5687	0.3670
332	relative_P_10	0.2655	0.1801
332	relative_P_100	0.2799	0.1107
332	relative_P_1000	0.3993	0.1668
332	relative_P_15	0.2636	0.1721
332	relative_P_20	0.2741	0.1609
332	relative_P_200	0.2364	0.0929
332	relative_P_30	0.2815	0.1509
332	relative_P_5	0.3109	0.2360
332	relative_P_500	0.3092	0.1338
332	set_F	0.1774	0.0699
332	set_P	0.1222	0.0667
332	set_map	0.0527	0.0365
332	set_recall	0.3993	0.1668
332	set_relative_P	0.4018	0.1661
332	success_1	0.3909	0.4880
332	success_10	0.9273	0.2597
332	success_5	0.8273	0.3780
332	utility	-714.0909	221.2014
333	11pt_avg	0.3872	0.0810
333	G	0.2325	0.0515
333	P_10	0.7900	0.1555
333	P_100	0.3076	0.0576
333	P_1000	0.0548	0.0112
333	P_15	0.7242	0.1400
333	P_20	0.6727	0.1277
333	P_200	0.1975	0.0388
333	P_30	0.5642	0.1081
333	P_5	0.7909	0.1487
333	P_500	0.0989	0.0198
333	Rndcg	0.5917	0.0969
333	Rprec	0.3841	0.0705
333	Rprec_mult_0.20	0.7511	0.1492
333	Rprec_mult_0.40	0.6056	0.1153
333	Rprec_mult_0.60	0.4942	0.0911
333	Rprec_mult_0.80	0.4329	0.0780
333	Rprec_mult_1.00	0.3841	0.0705
333	Rprec_mult_1.20	0.3502	0.0641
333	Rprec_mult_1.40	0.3243	0.0583
333	Rprec_mult_1.60	0.2998	0.0565
333	Rprec_mult_1.80	0.2801	0.0517
333	Rprec_mult_2.00	0.2636	0.0505
333	binG	0.2325	0.0515
333	bpref	0.3462	0.0644
333	infAP	0.3615	0.0881
333	iprec_at_recall_0.00	0.9678	0.0951
333	iprec_at_recall_0.10	0.8379	0.1528
333	iprec_at_recall_0.20	0.7088	0.1656
333	iprec_at_recall_0.30	0.5312	0.1623
333	iprec_at_recall_0.40	0.3874	0.1246
333	iprec_at_recall_0.50	0.2910	0.1177
333	iprec_at_recall_0.60	0.2207	0.1101
333	iprec_at_recall_0.70	0.1591	0.0876
333	iprec_at_recall_0.80	0.1047	0.0679
333	iprec_at_recall_0.90	0.0475	0.0526
333	iprec_at_recall_1.00	0.0027	0.0139
333	map	0.3615	0.0881
333	map_cut_10	0.1043	0.0270
333	map_cut_100	0.2963	0.0740
333	map_cut_1000	0.3615	0.0881
333	map_cut_15	0.1404	0.0368
333	map_cut_20	0.1693	0.0438
333	map_cut_200	0.3318	0.0832
333	map_cut_30	0.2042	0.0516
333	map_cut_5	0.0535	0.0149
333	map_cut_500	0.3551	0.0870
333	ndcg	0.7178	0.1242
333	ndcg_cut_10	0.7937	0.1438
333	ndcg_cut_100	0.5246	0.0881
333	ndcg_cut_1000	0.7178	0.1242
333	ndcg_cut_15	0.7486	0.1333
333	ndcg_cut_20	0.7100	0.1252
333	ndcg_cut_200	0.6038	0.1029
333	ndcg_cut_30	0.6264	0.1085
333	ndcg_cut_5	0.7950	0.1488
333	ndcg_cut_500	0.6815	0.1166
333	ndcg_rel	0.6543	0.0998
333	num_nonrel_judged_ret	312.6909	84.7589
333	num_rel	65.0000	0.0000
333	num_rel_ret	54.7545	11.1626
333	num_ret	916.0273	240.3821
333	prefs_avgjg	0.7618	0.1464
333	prefs_avgjg_Rnonrel	0.0557	0.0045
333	prefs_avgjg_Rnonrel_ret	0.1369	0.0338
333	prefs_avgjg_imp	0.8614	0.0290
333	prefs_avgjg_ret	0.7311	0.0623
333	prefs_num_prefs_ful	45208.2364	8686.0732
333	prefs_num_prefs_ful_ret	13232.2455	4837.7189
333	prefs_num_prefs_poss	59345.0000	0.0000
333	prefs_pair	0.7618	0.1464
333	prefs_pair_imp	0.8614	0.0290
333	prefs_pair_ret	0.7311	0.0623
333	prefs_simp	0.7618	0.1464
333	prefs_simp_imp	0.8614	0.0290
333	prefs_simp_ret	0.7311	0.0623
333	recall_10	0.1216	0.0239
333	recall_100	0.4733	0.0887
333	recall_1000	0.8424	0.1717
333	recall_15	0.1671	0.0323
333	recall_20	0.2070	0.0393
333	recall_200	0.6077	0.1195
333	recall_30	0.2604	0.0499
333	recall_5	0.0608	0.0114
333	recall_500	0.7606	0.1522
333	recip_rank	0.9109	0.1970
333	relative_P_10	0.7900	0.1555
333	relative_P_100	0.4733	0.0887
333	relative_P_1000	0.8424	0.1717
333	relative_P_15	0.7242	0.1400
333	relative_P_20	0.6727	0.1277
333	relative_P_200	0.6077	0.1195
333	relative_P_30	0.5642	0.1081
333	relative_P_5	0.7909	0.1487
333	relative_P_500	0.7606	0.1522
333	set_F	0.1185	0.0361
333	set_P	0.0656	0.0261
333	set_map	0.0534	0.0151
333	set_recall	0.8424	0.1717
333	set_relative_P	0.8424	0.1717
333	success_1	0.8273	0.3780
333	success_10	1.0000	0.0000
333	success_5	1.0000	0.0000
333	utility	-806.5182	223.0604
334	11pt_avg	0.5547	0.2289
334	G	0.4977	0.1990
334	P_10	0.4764	0.1949
334	P_100	0.0694	0.0257
334	P_1000	0.0076	0.0021
334	P_15	0.3588	0.1474
334	P_20	0.2909	0.1267
334	P_200	0.0360	0.0121
334	P_30	0.2118	0.0894
334	P_5	0.6673	0.2277
334	P_500	0.0150	0.0042
334	Rndcg	0.6741	0.2125
334	Rprec	0.5152	0.2080
334	Rprec_mult_0.20	0.8682	0.2583
334	Rprec_mult_0.40	0.7455	0.2407
334	Rprec_mult_0.60	0.6227	0.2299
334	Rprec_mult_0.80	0.5466	0.2158
334	Rprec_mult_1.00	0.5152	0.2080
334	Rprec_mult_1.20	0.4413	0.1780
334	Rprec_mult_1.40	0.3909	0.1587
334	Rprec_mult_1.60	0.3588	0.1474
334	Rprec_mult_1.80	0.3278	0.1382
334	Rprec_mult_2.00	0.3167	0.1364
334	binG	0.4977	0.1990
334	bpref	0.5008	0.2157
334	infAP	0.5456	0.2500
334	iprec_at_recall_0.00	0.9355	0.1849
334	iprec_at_recall_0.10	0.9355	0.1849
334	iprec_at_recall_0.20	0.8743	0.2729
334	iprec_at_recall_0.30	0.7864	0.3083
334	iprec_at_recall_0.40	0.6179	0.3873
334	iprec_at_recall_0.50	0.5199	0.3705
334	iprec_at_recall_0.60	0.4448	0.3587
334	iprec_at_recall_0.70	0.3678	0.3234
334	iprec_at_recall_0.80	0.2424	0.2341
334	iprec_at_recall_0.90	0.1887	0.1944
334	iprec_at_recall_1.00	0.1887	0.1944
334	map	0.5456	0.2500
334	map_cut_10	0.4613	0.2144
334	map_cut_100	0.5436	0.2511
334	map_cut_1000	0.5456	0.2500
334	map_cut_15	0.4949	0.2306
334	map_cut_20	0.5164	0.2435
334	map_cut_200	0.5448	0.2508
334	map_cut_30	0.5344	0.2500
334	map_cut_5	0.3461	0.1414
334	map_cut_500	0.5454	0.2501
334	ndcg	0.7455	0.2246
334	ndcg_cut_10	0.6112	0.2109
334	ndcg_cut_100	0.7247	0.2429
334	ndcg_cut_1000	0.7455	0.2246
334	ndcg_cut_15	0.6493	0.2270
334	ndcg_cut_20	0.6736	0.2422
334	ndcg_cut_200	0.7331	0.2368
334	ndcg_cut_30	0.7006	0.2480
334	ndcg_cut_5	0.7241	0.2229
334	ndcg_cut_500	0.7414	0.2266
334	ndcg_rel	0.7593	0.2116
334	num_nonrel_judged_ret	300.4727	99.5851
334	num_rel	9.0000	0.0000
334	num_rel_ret	7.6455	2.0520
334	num_ret	913.7182	248.3793
334	prefs_avgjg	0.8356	0.2304
334	prefs_avgjg_Rnonrel	0.0070	0.0017
334	prefs_avgjg_Rnonrel_ret	0.0318	0.0537
334	prefs_avgjg_imp	0.9435	0.0779
334	prefs_avgjg_ret	0.8944	0.1575
334	prefs_num_prefs_ful	8986.9636	2477.6806
334	prefs_num_prefs_ful_ret	2306.2091	1170.5770
334	prefs_num_prefs_poss	10755.0000	0.0000
334	prefs_pair	0.8356	0.2304
334	prefs_pair_imp	0.9435	0.0779
334	prefs_pair_ret	0.8944	0.1575
334	prefs_simp	0.8356	0.2304
334	prefs_simp_imp	0.9435	0.0779
334	prefs_simp_ret	0.8944	0.1575
334	recall_10	0.5293	0.2166
334	recall_100	0.7707	0.2860
334	recall_1000	0.8495	0.2280
334	recall_15	0.5980	0.2457
334	recall_20	0.6465	0.2816
334	recall_200	0.7990	0.2678
334	recall_30	0.7061	0.2980
334	recall_5	0.3707	0.1265
334	recall_500	0.8313	0.2353
334	recip_rank	0.9200	0.2103
334	relative_P_10	0.5293	0.2166
334	relative_P_100	0.7707	0.2860
334	relative_P_1000	0.8495	0.2280
334	relative_P_15	0.5980	0.2457
334	relative_P_20	0.6465	0.2816
334	relative_P_200	0.7990	0.2678
334	relative_P_30	0.7061	0.2980
334	relative_P_5	0.6673	0.2277
334	relative_P_500	0.8313	0.2353
334	set_F	0.0251	0.0553
334	set_P	0.0197	0.0790
334	set_map	0.0112	0.0258
334	set_recall	0.8495	0.2280
334	set_relative_P	0.8543	0.2197
334	success_1	0.8636	0.3432
334	success_10	0.9818	0.1336
334	success_5	0.9818	0.1336
334	utility	-898.4273	245.8872
335	11pt_avg	0.3543	0.1325
335	G	0.2085	0.0608
335	P_10	0.6627	0.1737
335	P_100	0.3024	0.1024
335	P_1000	0.0516	0.0113
335	P_15	0.6255	0.1798
335	P_20	0.5936	0.1675
335	P_200	0.1883	0.0538
335	P_30	0.5373	0.1591
335	P_5	0.7091	0.2117
335	P_500	0.0927	0.0208
335	Rndcg	0.5619	0.1373
335	Rprec	0.3897	0.1305
335	Rprec_mult_0.20	0.6357	0.1797
335	Rprec_mult_0.40	0.5532	0.1622
335	Rprec_mult_0.60	0.4859	0.1461
335	Rprec_mult_0.80	0.4295	0.1355
335	Rprec_mult_1.00	0.3897	0.1305
335	Rprec_mult_1.20	0.3499	0.1186
335	Rprec_mult_1.40	0.3178	0.1084
335	Rprec_mult_1.60	0.2913	0.0985
335	Rprec_mult_1.80	0.2706	0.0912
335	Rprec_mult_2.00	0.2514	0.0844
335	binG	0.2085	0.0608
335	bpref	0.3640	0.1125
335	infAP	0.3334	0.1387
335	iprec_at_recall_0.00	0.9206	0.1785
335	iprec_at_recall_0.10	0.7039	0.2181
335	iprec_at_recall_0.20	0.5810	0.2309
335	iprec_at_recall_0.30	0.4997	0.2092
335	iprec_at_recall_0.40	0.4015	0.1966
335	iprec_at_recall_0.50	0.3046	0.1903
335	iprec_at_recall_0.60	0.2151	0.1832
335	iprec_at_recall_0.70	0.1465	0.1507
335	iprec_at_recall_0.80	0.0900	0.1042
335	iprec_at_recall_0.90	0.0343	0.0498
335	iprec_at_recall_1.00	0.0000	0.0000
335	map	0.3334	0.1387
335	map_cut_10	0.0825	0.0306
335	map_cut_100	0.2809	0.1268
335	map_cut_1000	0.3334	0.1387
335	map_cut_15	0.1124	0.0427
335	map_cut_20	0.1375	0.0524
335	map_cut_200	0.3094	0.1372
335	map_cut_30	0.1780	0.0694
335	map_cut_5	0.0479	0.0202
335	map_cut_500	0.3274	0.1381
335	ndcg	0.6696	0.1475
335	ndcg_cut_10	0.6912	0.1810
335	ndcg_cut_100	0.4998	0.1478
335	ndcg_cut_1000	0.6696	0.1475
335	ndcg_cut_15	0.6597	0.1765
335	ndcg_cut_20	0.6328	0.1674
335	ndcg_cut_200	0.5663	0.1512
335	ndcg_cut_30	0.5848	0.1583
335	ndcg_cut_5	0.7312	0.2301
335	ndcg_cut_500	0.6337	0.1450
335	ndcg_rel	0.6159	0.1319
335	num_nonrel_judged_ret	280.1455	96.0025
335	num_rel	66.0000	0.0000
335	num_rel_ret	51.6364	11.2797
335	num_ret	917.5273	235.7271
335	prefs_avgjg	0.7180	0.1524
335	prefs_avgjg_Rnonrel	0.0594	0.0079
335	prefs_avgjg_Rnonrel_ret	0.1539	0.0528
335	prefs_avgjg_imp	0.8566	0.0586
335	prefs_avgjg_ret	0.7363	0.0846
335	prefs_num_prefs_ful	41888.5000	8890.1644
335	prefs_num_prefs_ful_ret	11630.7091	5605.6949
335	prefs_num_prefs_poss	58344.0000	0.0000
335	prefs_pair	0.7180	0.1524
335	prefs_pair_imp	0.8566	0.0586
335	prefs_pair_ret	0.7363	0.0846
335	prefs_simp	0.7180	0.1524
335	prefs_simp_imp	0.8566	0.0586
335	prefs_simp_ret	0.7363	0.0846
335	recall_10	0.1004	0.0263
335	recall_100	0.4581	0.1551
335	recall_1000	0.7824	0.1709
335	recall_15	0.1422	0.0409
335	recall_20	0.1799	0.0507
335	recall_200	0.5705	0.1630
335	recall_30	0.2442	0.0723
335	recall_5	0.0537	0.0160
335	recall_500	0.7023	0.1579
335	recip_rank	0.8650	0.2681
335	relative_P_10	0.6627	0.1737
335	relative_P_100	0.4581	0.1551
335	relative_P_1000	0.7824	0.1709
335	relative_P_15	0.6255	0.1798
335	relative_P_20	0.5936	0.1675
335	relative_P_200	0.5705	0.1630
335	relative_P_30	0.5373	0.1591
335	relative_P_5	0.7091	0.2117
335	relative_P_500	0.7023	0.1579
335	set_F	0.1118	0.0345
335	set_P	0.0618	0.0243
335	set_map	0.0471	0.0144
335	set_recall	0.7824	0.1709
335	set_relative_P	0.7824	0.1709
335	success_1	0.7909	0.4067
335	success_10	0.9909	0.0949
335	success_5	0.9818	0.1336
335	utility	-814.2545	221.0593
336	11pt_avg	0.1086	0.1186
336	G	0.1478	0.1051
336	P_10	0.1409	0.1460
336	P_100	0.0368	0.0263
336	P_1000	0.0071	0.0036
336	P_15	0.1170	0.1179
336	P_20	0.0977	0.0923
336	P_200	0.0250	0.0162
336	P_30	0.0797	0.0647
336	P_5	0.1782	0.2024
336	P_500	0.0125	0.0071
336	Rndcg	0.2427	0.1682
336	Rprec	0.1318	0.1350
336	Rprec_mult_0.20	0.2151	0.2403
336	Rprec_mult_0.40	0.1782	0.2024
336	Rprec_mult_0.60	0.1523	0.1611
336	Rprec_mult_0.80	0.1409	0.1460
336	Rprec_mult_1.00	0.1318	0.1350
336	Rprec_mult_1.20	0.1170	0.1179
336	Rprec_mult_1.40	0.1080	0.1045
336	Rprec_mult_1.60	0.0977	0.0923
336	Rprec_mult_1.80	0.0942	0.0866
336	Rprec_mult_2.00	0.0898	0.0785
336	binG	0.1478	0.1051
336	bpref	0.1011	0.1206
336	infAP	0.1008	0.1178
336	iprec_at_recall_0.00	0.4666	0.3936
336	iprec_at_recall_0.10	0.2074	0.2569
336	iprec_at_recall_0.20	0.1698	0.2255
336	iprec_at_recall_0.30	0.0955	0.1700
336	iprec_at_recall_0.40	0.0847	0.1590
336	iprec_at_recall_0.50	0.0672	0.1421
336	iprec_at_recall_0.60	0.0474	0.1247
336	iprec_at_recall_0.70	0.0361	0.0923
336	iprec_at_recall_0.80	0.0132	0.0246
336	iprec_at_recall_0.90	0.0062	0.0155
336	iprec_at_recall_1.00	0.0009	0.0047
336	map	0.1008	0.1178
336	map_cut_10	0.0681	0.0981
336	map_cut_100	0.0927	0.1163
336	map_cut_1000	0.1008	0.1178
336	map_cut_15	0.0761	0.1109
336	map_cut_20	0.0789	0.1138
336	map_cut_200	0.0976	0.1174
336	map_cut_30	0.0835	0.1147
336	map_cut_5	0.0534	0.0738
336	map_cut_500	0.1000	0.1178
336	ndcg	0.3248	0.1910
336	ndcg_cut_10	0.1698	0.1691
336	ndcg_cut_100	0.2405	0.1737
336	ndcg_cut_1000	0.3248	0.1910
336	ndcg_cut_15	0.1694	0.1627
336	ndcg_cut_20	0.1787	0.1638
336	ndcg_cut_200	0.2770	0.1836
336	ndcg_cut_30	0.1970	0.1634
336	ndcg_cut_5	0.2057	0.2251
336	ndcg_cut_500	0.3070	0.1901
336	ndcg_rel	0.2931	0.1882
336	num_nonrel_judged_ret	285.8636	95.4469
336	num_rel	12.0000	0.0000
336	num_rel_ret	7.1273	3.6310
336	num_ret	916.4545	239.0372
336	prefs_avgjg	0.5564	0.2826
336	prefs_avgjg_Rnonrel	0.0044	0.0009
336	prefs_avgjg_Rnonrel_ret	0.0132	0.0091
336	prefs_avgjg_imp	0.7545	0.2458
336	prefs_avgjg_ret	0.6438	0.2394
336	prefs_num_prefs_ful	10056.0545	5106.9601
336	prefs_num_prefs_ful_ret	1607.9636	1028.1525
336	prefs_num_prefs_poss	18072.0000	0.0000
336	prefs_pair	0.5564	0.2826
336	prefs_pair_imp	0.7545	0.2458
336	prefs_pair_ret	0.6438	0.2394
336	prefs_simp	0.5564	0.2826
336	prefs_simp_imp	0.7545	0.2458
336	prefs_simp_ret	0.6438	0.2394
336	recall_10	0.1174	0.1217
336	recall_100	0.3068	0.2190
336	recall_1000	0.5939	0.3026
336	recall_15	0.1462	0.1475
336	recall_20	0.1629	0.1538
336	recall_200	0.4174	0.2705
336	recall_30	0.1992	0.1617
336	recall_5	0.0742	0.0843
336	recall_500	0.5227	0.2969
336	recip_rank	0.4539	0.4012
336	relative_P_10	0.1409	0.1460
336	relative_P_100	0.3068	0.2190
336	relative_P_1000	0.5939	0.3026
336	relative_P_15	0.1462	0.1475
336	relative_P_20	0.1629	0.1538
336	relative_P_200	0.4174	0.2705
336	relative_P_30	0.1992	0.1617
336	relative_P_5	0.1782	0.2024
336	relative_P_500	0.5227	0.2969
336	set_F	   nan	   nan
336	set_P	0.0072	0.0035
336	set_map	0.0053	0.0037
336	set_recall	0.5939	0.3026
336	set_relative_P	0.5939	0.3026
336	success_1	0.3182	0.4658
336	success_10	0.7273	0.4454
336	success_5	0.5818	0.4933
336	utility	-902.2000	234.3476
337	11pt_avg	0.3276	0.0874
337	G	0.1762	0.0437
337	P_10	0.5627	0.1705
337	P_100	0.3373	0.0742
337	P_1000	0.0798	0.0205
337	P_15	0.5309	0.1302
337	P_20	0.5145	0.1255
337	P_200	0.2468	0.0595
337	P_30	0.4761	0.1093
337	P_5	0.6182	0.2538
337	P_500	0.1455	0.0385
337	Rndcg	0.5426	0.1143
337	Rprec	0.3478	0.0757
337	Rprec_mult_0.20	0.5144	0.1261
337	Rprec_mult_0.40	0.4498	0.1001
337	Rprec_mult_0.60	0.4123	0.0863
337	Rprec_mult_0.80	0.3821	0.0814
337	Rprec_mult_1.00	0.3478	0.0757
337	Rprec_mult_1.20	0.3233	0.0720
337	Rprec_mult_1.40	0.3016	0.0687
337	Rprec_mult_1.60	0.2868	0.0676
337	Rprec_mult_1.80	0.2696	0.0639
337	Rprec_mult_2.00	0.2559	0.0613
337	binG	0.1762	0.0437
337	bpref	0.2937	0.0648
337	infAP	0.3028	0.0925
337	iprec_at_recall_0.00	0.8680	0.1968
337	iprec_at_recall_0.10	0.5630	0.1651
337	iprec_at_recall_0.20	0.4732	0.1354
337	iprec_at_recall_0.30	0.3994	0.1169
337	iprec_at_recall_0.40	0.3227	0.1072
337	iprec_at_recall_0.50	0.2676	0.1077
337	iprec_at_recall_0.60	0.2241	0.1068
337	iprec_at_recall_0.70	0.1881	0.1003
337	iprec_at_recall_0.80	0.1459	0.0947
337	iprec_at_recall_0.90	0.1197	0.0835
337	iprec_at_recall_1.00	0.0315	0.0575
337	map	0.3028	0.0925
337	map_cut_10	0.0455	0.0243
337	map_cut_100	0.1869	0.0574
337	map_cut_1000	0.3028	0.0925
337	map_cut_15	0.0600	0.0280
337	map_cut_20	0.0741	0.0324
337	map_cut_200	0.2397	0.0744
337	map_cut_30	0.0969	0.0385
337	map_cut_5	0.0278	0.0162
337	map_cut_500	0.2935	0.0921
337	ndcg	0.6929	0.1556
337	ndcg_cut_10	0.5878	0.1959
337	ndcg_cut_100	0.4029	0.0830
337	ndcg_cut_1000	0.6929	0.1556
337	ndcg_cut_15	0.5608	0.1579
337	ndcg_cut_20	0.5447	0.1451
337	ndcg_cut_200	0.5128	0.1113
337	ndcg_cut_30	0.5113	0.1246
337	ndcg_cut_5	0.6307	0.2621
337	ndcg_cut_500	0.6551	0.1517
337	ndcg_rel	0.5531	0.1129
337	num_nonrel_judged_ret	301.8909	87.4651
337	num_rel	93.0000	0.0000
337	num_rel_ret	79.7818	20.4550
337	num_ret	884.2364	251.4298
337	prefs_avgjg	0.7656	0.1899
337	prefs_avgjg_Rnonrel	0.0695	0.0098
337	prefs_avgjg_Rnonrel_ret	0.1730	0.0335
337	prefs_avgjg_imp	0.8569	0.0493
337	prefs_avgjg_ret	0.6649	0.0713
337	prefs_num_prefs_ful	67708.9000	16792.3608
337	prefs_num_prefs_ful_ret	17385.7273	7066.4429
337	prefs_num_prefs_poss	88443.0000	0.0000
337	prefs_pair	0.7656	0.1899
337	prefs_pair_imp	0.8569	0.0493
337	prefs_pair_ret	0.6649	0.0713
337	prefs_simp	0.7656	0.1899
337	prefs_simp_imp	0.8569	0.0493
337	prefs_simp_ret	0.6649	0.0713
337	recall_10	0.0605	0.0183
337	recall_100	0.3627	0.0798
337	recall_1000	0.8579	0.2199
337	recall_15	0.0856	0.0210
337	recall_20	0.1107	0.0270
337	recall_200	0.5307	0.1280
337	recall_30	0.1536	0.0352
337	recall_5	0.0333	0.0136
337	recall_500	0.7823	0.2072
337	recip_rank	0.7989	0.2906
337	relative_P_10	0.5627	0.1705
337	relative_P_100	0.3627	0.0798
337	relative_P_1000	0.8579	0.2199
337	relative_P_15	0.5309	0.1302
337	relative_P_20	0.5145	0.1255
337	relative_P_200	0.5307	0.1280
337	relative_P_30	0.4761	0.1093
337	relative_P_5	0.6182	0.2538
337	relative_P_500	0.7823	0.2072
337	set_F	0.1694	0.0540
337	set_P	0.1026	0.0529
337	set_map	0.0836	0.0318
337	set_recall	0.8579	0.2199
337	set_relative_P	0.8641	0.2005
337	success_1	0.6636	0.4725
337	success_10	1.0000	0.0000
337	success_5	1.0000	0.0000
337	utility	-724.6727	226.6177
338	11pt_avg	0.4843	0.1392
338	G	0.5004	0.1140
338	P_10	0.2473	0.0583
338	P_100	0.0317	0.0055
338	P_1000	0.0038	0.0004
338	P_15	0.1782	0.0350
338	P_20	0.1391	0.0247
338	P_200	0.0179	0.0029
338	P_30	0.0976	0.0172
338	P_5	0.4018	0.1062
338	P_500	0.0076	0.0010
338	Rndcg	0.6026	0.1409
338	Rprec	0.4523	0.1488
338	Rprec_mult_0.20	0.7091	0.4542
338	Rprec_mult_0.40	0.6273	0.2972
338	Rprec_mult_0.60	0.4939	0.1893
338	Rprec_mult_0.80	0.4523	0.1488
338	Rprec_mult_1.00	0.4523	0.1488
338	Rprec_mult_1.20	0.4018	0.1062
338	Rprec_mult_1.40	0.3712	0.0996
338	Rprec_mult_1.60	0.3273	0.0869
338	Rprec_mult_1.80	0.2932	0.0724
338	Rprec_mult_2.00	0.2932	0.0724
338	binG	0.5004	0.1140
338	bpref	0.4119	0.1433
338	infAP	0.4637	0.1412
338	iprec_at_recall_0.00	0.8578	0.2329
338	iprec_at_recall_0.10	0.8578	0.2329
338	iprec_at_recall_0.20	0.8578	0.2329
338	iprec_at_recall_0.30	0.6586	0.2724
338	iprec_at_recall_0.40	0.6586	0.2724
338	iprec_at_recall_0.50	0.6586	0.2724
338	iprec_at_recall_0.60	0.3222	0.2177
338	iprec_at_recall_0.70	0.3222	0.2177
338	iprec_at_recall_0.80	0.0445	0.0545
338	iprec_at_recall_0.90	0.0445	0.0545
338	iprec_at_recall_1.00	0.0445	0.0545
338	map	0.4637	0.1412
338	map_cut_10	0.4347	0.1416
338	map_cut_100	0.4598	0.1424
338	map_cut_1000	0.4637	0.1412
338	map_cut_15	0.4455	0.1420
338	map_cut_20	0.4503	0.1405
338	map_cut_200	0.4628	0.1418
338	map_cut_30	0.4553	0.1423
338	map_cut_5	0.3888	0.1503
338	map_cut_500	0.4637	0.1413
338	ndcg	0.6946	0.1230
338	ndcg_cut_10	0.6007	0.1399
338	ndcg_cut_100	0.6599	0.1365
338	ndcg_cut_1000	0.6946	0.1230
338	ndcg_cut_15	0.6210	0.1384
338	ndcg_cut_20	0.6311	0.1340
338	ndcg_cut_200	0.6825	0.1319
338	ndcg_cut_30	0.6431	0.1367
338	ndcg_cut_5	0.5408	0.1501
338	ndcg_cut_500	0.6934	0.1248
338	ndcg_rel	0.7048	0.1840
338	num_nonrel_judged_ret	276.1182	103.9244
338	num_rel	4.0000	0.0000
338	num_rel_ret	3.8364	0.4375
338	num_ret	914.1636	246.8016
338	prefs_avgjg	0.9367	0.1031
338	prefs_avgjg_Rnonrel	0.0025	0.0005
338	prefs_avgjg_Rnonrel_ret	0.0147	0.0128
338	prefs_avgjg_imp	0.9733	0.0154
338	prefs_avgjg_ret	0.8943	0.0813
338	prefs_num_prefs_ful	4593.7000	505.3992
338	prefs_num_prefs_ful_ret	980.6455	416.4429
338	prefs_num_prefs_poss	4904.0000	0.0000
338	prefs_pair	0.9367	0.1031
338	prefs_pair_imp	0.9733	0.0154
338	prefs_pair_ret	0.8943	0.0813
338	prefs_simp	0.9367	0.1031
338	prefs_simp_imp	0.9733	0.0154
338	prefs_simp_ret	0.8943	0.0813
338	recall_10	0.6182	0.1458
338	recall_100	0.7932	0.1384
338	recall_1000	0.9591	0.1094
338	recall_15	0.6682	0.1310
338	recall_20	0.6955	0.1233
338	recall_200	0.8955	0.1445
338	recall_30	0.7318	0.1293
338	recall_5	0.5023	0.1327
338	recall_500	0.9523	0.1192
338	recip_rank	0.8365	0.2620
338	relative_P_10	0.6182	0.1458
338	relative_P_100	0.7932	0.1384
338	relative_P_1000	0.9591	0.1094
338	relative_P_15	0.6682	0.1310
338	relative_P_20	0.6955	0.1233
338	relative_P_200	0.8955	0.1445
338	relative_P_30	0.7318	0.1293
338	relative_P_5	0.5023	0.1327
338	relative_P_500	0.9523	0.1192
338	set_F	0.0124	0.0235
338	set_P	0.0064	0.0134
338	set_map	0.0057	0.0099
338	set_recall	0.9591	0.1094
338	set_relative_P	0.9591	0.1094
338	success_1	0.7091	0.4542
338	success_10	0.9909	0.0949
338	success_5	0.9909	0.0949
338	utility	-906.4909	246.1099
339	11pt_avg	0.3543	0.1230
339	G	0.3105	0.0907
339	P_10	0.3536	0.1142
339	P_100	0.0847	0.0117
339	P_1000	0.0096	0.0008
339	P_15	0.3261	0.0845
339	P_20	0.2791	0.0662
339	P_200	0.0450	0.0046
339	P_30	0.2164	0.0433
339	P_5	0.3473	0.2048
339	P_500	0.0185	0.0018
339	Rndcg	0.4730	0.1232
339	Rprec	0.3536	0.1142
339	Rprec_mult_0.20	0.2909	0.3118
339	Rprec_mult_0.40	0.3545	0.2345
339	Rprec_mult_0.60	0.3409	0.1789
339	Rprec_mult_0.80	0.3398	0.1371
339	Rprec_mult_1.00	0.3536	0.1142
339	Rprec_mult_1.20	0.3508	0.1049
339	Rprec_mult_1.40	0.3318	0.0854
339	Rprec_mult_1.60	0.3119	0.0793
339	Rprec_mult_1.80	0.2924	0.0709
339	Rprec_mult_2.00	0.2791	0.0662
339	binG	0.3105	0.0907
339	bpref	0.2687	0.1233
339	infAP	0.3088	0.1181
339	iprec_at_recall_0.00	0.5943	0.2606
339	iprec_at_recall_0.10	0.5943	0.2606
339	iprec_at_recall_0.20	0.5145	0.1875
339	iprec_at_recall_0.30	0.4484	0.1695
339	iprec_at_recall_0.40	0.4275	0.1593
339	iprec_at_recall_0.50	0.3841	0.1597
339	iprec_at_recall_0.60	0.3216	0.1446
339	iprec_at_recall_0.70	0.2772	0.1482
339	iprec_at_recall_0.80	0.1956	0.1173
339	iprec_at_recall_0.90	0.0989	0.0710
339	iprec_at_recall_1.00	0.0406	0.0427
339	map	0.3088	0.1181
339	map_cut_10	0.1755	0.1184
339	map_cut_100	0.3039	0.1191
339	map_cut_1000	0.3088	0.1181
339	map_cut_15	0.2270	0.1246
339	map_cut_20	0.2491	0.1254
339	map_cut_200	0.3075	0.1185
339	map_cut_30	0.2728	0.1207
339	map_cut_5	0.1044	0.0995
339	map_cut_500	0.3083	0.1183
339	ndcg	0.6054	0.1124
339	ndcg_cut_10	0.3405	0.1392
339	ndcg_cut_100	0.5746	0.1218
339	ndcg_cut_1000	0.6054	0.1124
339	ndcg_cut_15	0.4196	0.1396
339	ndcg_cut_20	0.4553	0.1409
339	ndcg_cut_200	0.5914	0.1180
339	ndcg_cut_30	0.4979	0.1301
339	ndcg_cut_5	0.3318	0.2184
339	ndcg_cut_500	0.5982	0.1168
339	ndcg_rel	0.4808	0.1501
339	num_nonrel_judged_ret	362.6182	92.3415
339	num_rel	10.0000	0.0000
339	num_rel_ret	9.5727	0.7915
339	num_ret	915.1455	243.3618
339	prefs_avgjg	0.9199	0.0723
339	prefs_avgjg_Rnonrel	0.0077	0.0013
339	prefs_avgjg_Rnonrel_ret	0.0197	0.0061
339	prefs_avgjg_imp	0.9503	0.0231
339	prefs_avgjg_ret	0.8959	0.0701
339	prefs_num_prefs_ful	8481.3545	666.4308
339	prefs_num_prefs_ful_ret	3186.1091	964.2212
339	prefs_num_prefs_poss	9220.0000	0.0000
339	prefs_pair	0.9199	0.0723
339	prefs_pair_imp	0.9503	0.0231
339	prefs_pair_ret	0.8959	0.0701
339	prefs_simp	0.9199	0.0723
339	prefs_simp_imp	0.9503	0.0231
339	prefs_simp_ret	0.8959	0.0701
339	recall_10	0.3536	0.1142
339	recall_100	0.8473	0.1173
339	recall_1000	0.9573	0.0792
339	recall_15	0.4891	0.1267
339	recall_20	0.5582	0.1324
339	recall_200	0.9009	0.0919
339	recall_30	0.6491	0.1299
339	recall_5	0.1736	0.1024
339	recall_500	0.9264	0.0881
339	recip_rank	0.5090	0.3092
339	relative_P_10	0.3536	0.1142
339	relative_P_100	0.8473	0.1173
339	relative_P_1000	0.9573	0.0792
339	relative_P_15	0.4891	0.1267
339	relative_P_20	0.5582	0.1324
339	relative_P_200	0.9009	0.0919
339	relative_P_30	0.6491	0.1299
339	relative_P_5	0.3473	0.2048
339	relative_P_500	0.9264	0.0881
339	set_F	0.0253	0.0188
339	set_P	0.0130	0.0104
339	set_map	0.0117	0.0065
339	set_recall	0.9573	0.0792
339	set_relative_P	0.9573	0.0792
339	success_1	0.2545	0.4356
339	success_10	1.0000	0.0000
339	success_5	0.8545	0.3526
339	utility	-896.0000	242.0486
340	11pt_avg	0.1280	0.0805
340	G	0.0933	0.0551
340	P_10	0.3964	0.2400
340	P_100	0.1152	0.0669
340	P_1000	0.0261	0.0118
340	P_15	0.3273	0.2031
340	P_20	0.2864	0.1803
340	P_200	0.0747	0.0441
340	P_30	0.2303	0.1420
340	P_5	0.5218	0.3028
340	P_500	0.0411	0.0206
340	Rndcg	0.2671	0.1327
340	Rprec	0.1444	0.0850
340	Rprec_mult_0.20	0.3403	0.2079
340	Rprec_mult_0.40	0.2390	0.1500
340	Rprec_mult_0.60	0.1885	0.1136
340	Rprec_mult_0.80	0.1643	0.0969
340	Rprec_mult_1.00	0.1444	0.0850
340	Rprec_mult_1.20	0.1273	0.0756
340	Rprec_mult_1.40	0.1160	0.0682
340	Rprec_mult_1.60	0.1077	0.0629
340	Rprec_mult_1.80	0.1009	0.0606
340	Rprec_mult_2.00	0.0945	0.0565
340	binG	0.0933	0.0551
340	bpref	0.1269	0.0735
340	infAP	0.0938	0.0774
340	iprec_at_recall_0.00	0.7744	0.3486
340	iprec_at_recall_0.10	0.3268	0.2932
340	iprec_at_recall_0.20	0.1510	0.1781
340	iprec_at_recall_0.30	0.0750	0.1045
340	iprec_at_recall_0.40	0.0429	0.0785
340	iprec_at_recall_0.50	0.0251	0.0563
340	iprec_at_recall_0.60	0.0099	0.0309
340	iprec_at_recall_0.70	0.0025	0.0115
340	iprec_at_recall_0.80	0.0000	0.0000
340	iprec_at_recall_0.90	0.0000	0.0000
340	iprec_at_recall_1.00	0.0000	0.0000
340	map	0.0938	0.0774
340	map_cut_10	0.0454	0.0360
340	map_cut_100	0.0790	0.0669
340	map_cut_1000	0.0938	0.0774
340	map_cut_15	0.0526	0.0428
340	map_cut_20	0.0580	0.0474
340	map_cut_200	0.0856	0.0725
340	map_cut_30	0.0642	0.0531
340	map_cut_5	0.0327	0.0237
340	map_cut_500	0.0908	0.0758
340	ndcg	0.3286	0.1561
340	ndcg_cut_10	0.4549	0.2596
340	ndcg_cut_100	0.2205	0.1199
340	ndcg_cut_1000	0.3286	0.1561
340	ndcg_cut_15	0.3953	0.2282
340	ndcg_cut_20	0.3565	0.2070
340	ndcg_cut_200	0.2503	0.1353
340	ndcg_cut_30	0.3015	0.1726
340	ndcg_cut_5	0.5544	0.3190
340	ndcg_cut_500	0.2921	0.1457
340	ndcg_rel	0.3347	0.1598
340	num_nonrel_judged_ret	267.2818	91.4025
340	num_rel	69.0000	0.0000
340	num_rel_ret	26.1455	11.7959
340	num_ret	919.3455	230.6242
340	prefs_avgjg	0.3491	0.1576
340	prefs_avgjg_Rnonrel	0.0302	0.0039
340	prefs_avgjg_Rnonrel_ret	0.0634	0.0269
340	prefs_avgjg_imp	0.6874	0.0967
340	prefs_avgjg_ret	0.6126	0.1126
340	prefs_num_prefs_ful	32275.0364	14572.2571
340	prefs_num_prefs_ful_ret	4983.5182	3641.5117
340	prefs_num_prefs_poss	92460.0000	0.0000
340	prefs_pair	0.3491	0.1576
340	prefs_pair_imp	0.6874	0.0967
340	prefs_pair_ret	0.6126	0.1126
340	prefs_simp	0.3491	0.1576
340	prefs_simp_imp	0.6874	0.0967
340	prefs_simp_ret	0.6126	0.1126
340	recall_10	0.0575	0.0348
340	recall_100	0.1669	0.0970
340	recall_1000	0.3789	0.1710
340	recall_15	0.0712	0.0441
340	recall_20	0.0830	0.0522
340	recall_200	0.2166	0.1277
340	recall_30	0.1001	0.0617
340	recall_5	0.0378	0.0220
340	recall_500	0.2980	0.1495
340	recip_rank	0.7551	0.3660
340	relative_P_10	0.3964	0.2400
340	relative_P_100	0.1669	0.0970
340	relative_P_1000	0.3789	0.1710
340	relative_P_15	0.3273	0.2031
340	relative_P_20	0.2864	0.1803
340	relative_P_200	0.2166	0.1277
340	relative_P_30	0.2303	0.1420
340	relative_P_5	0.5218	0.3028
340	relative_P_500	0.2980	0.1495
340	set_F	0.0536	0.0223
340	set_P	0.0293	0.0129
340	set_map	0.0125	0.0096
340	set_recall	0.3789	0.1710
340	set_relative_P	0.3789	0.1710
340	success_1	0.6727	0.4692
340	success_10	0.9000	0.3000
340	success_5	0.8909	0.3118
340	utility	-867.0545	220.2468
341	11pt_avg	0.2839	0.0970
341	G	0.1771	0.0604
341	P_10	0.6582	0.2051
341	P_100	0.2703	0.0757
341	P_1000	0.0528	0.0126
341	P_15	0.6267	0.1825
341	P_20	0.5677	0.1738
341	P_200	0.1785	0.0478
341	P_30	0.4900	0.1543
341	P_5	0.7364	0.2411
341	P_500	0.0926	0.0230
341	Rndcg	0.4909	0.1178
341	Rprec	0.3133	0.0865
341	Rprec_mult_0.20	0.6165	0.1749
341	Rprec_mult_0.40	0.4787	0.1527
341	Rprec_mult_0.60	0.4143	0.1209
341	Rprec_mult_0.80	0.3535	0.0993
341	Rprec_mult_1.00	0.3133	0.0865
341	Rprec_mult_1.20	0.2806	0.0795
341	Rprec_mult_1.40	0.2582	0.0718
341	Rprec_mult_1.60	0.2394	0.0662
341	Rprec_mult_1.80	0.2239	0.0621
341	Rprec_mult_2.00	0.2091	0.0573
341	binG	0.1771	0.0604
341	bpref	0.2900	0.0870
341	infAP	0.2576	0.1062
341	iprec_at_recall_0.00	0.9229	0.2018
341	iprec_at_recall_0.10	0.7021	0.1978
341	iprec_at_recall_0.20	0.4949	0.2255
341	iprec_at_recall_0.30	0.3620	0.2050
341	iprec_at_recall_0.40	0.2526	0.1474
341	iprec_at_recall_0.50	0.1847	0.1121
341	iprec_at_recall_0.60	0.1170	0.0899
341	iprec_at_recall_0.70	0.0646	0.0726
341	iprec_at_recall_0.80	0.0216	0.0475
341	iprec_at_recall_0.90	0.0009	0.0095
341	iprec_at_recall_1.00	0.0000	0.0000
341	map	0.2576	0.1062
341	map_cut_10	0.0718	0.0314
341	map_cut_100	0.2049	0.0908
341	map_cut_1000	0.2576	0.1062
341	map_cut_15	0.0973	0.0420
341	map_cut_20	0.1142	0.0516
341	map_cut_200	0.2318	0.1002
341	map_cut_30	0.1396	0.0655
341	map_cut_5	0.0432	0.0186
341	map_cut_500	0.2512	0.1053
341	ndcg	0.5932	0.1373
341	ndcg_cut_10	0.6974	0.2127
341	ndcg_cut_100	0.4114	0.1087
341	ndcg_cut_1000	0.5932	0.1373
341	ndcg_cut_15	0.6677	0.1925
341	ndcg_cut_20	0.6215	0.1818
341	ndcg_cut_200	0.4807	0.1222
341	ndcg_cut_30	0.5552	0.1633
341	ndcg_cut_5	0.7605	0.2504
341	ndcg_cut_500	0.5538	0.1331
341	ndcg_rel	0.5678	0.1346
341	num_nonrel_judged_ret	313.8909	122.3106
341	num_rel	78.0000	0.0000
341	num_rel_ret	52.8273	12.6065
341	num_ret	925.0182	219.2197
341	prefs_avgjg	0.6187	0.1463
341	prefs_avgjg_Rnonrel	0.0535	0.0065
341	prefs_avgjg_Rnonrel_ret	0.1431	0.0719
341	prefs_avgjg_imp	0.8092	0.0786
341	prefs_avgjg_ret	0.7096	0.0693
341	prefs_num_prefs_ful	50960.4091	12052.8554
341	prefs_num_prefs_ful_ret	12676.0455	6018.5004
341	prefs_num_prefs_poss	82368.0000	0.0000
341	prefs_pair	0.6187	0.1463
341	prefs_pair_imp	0.8092	0.0786
341	prefs_pair_ret	0.7096	0.0693
341	prefs_simp	0.6187	0.1463
341	prefs_simp_imp	0.8092	0.0786
341	prefs_simp_ret	0.7096	0.0693
341	recall_10	0.0844	0.0263
341	recall_100	0.3465	0.0971
341	recall_1000	0.6773	0.1616
341	recall_15	0.1205	0.0351
341	recall_20	0.1456	0.0446
341	recall_200	0.4577	0.1226
341	recall_30	0.1885	0.0593
341	recall_5	0.0472	0.0155
341	recall_500	0.5937	0.1476
341	recip_rank	0.8993	0.2491
341	relative_P_10	0.6582	0.2051
341	relative_P_100	0.3465	0.0971
341	relative_P_1000	0.6773	0.1616
341	relative_P_15	0.6267	0.1825
341	relative_P_20	0.5677	0.1738
341	relative_P_200	0.4577	0.1226
341	relative_P_30	0.4900	0.1543
341	relative_P_5	0.7364	0.2411
341	relative_P_500	0.5937	0.1476
341	set_F	0.1083	0.0278
341	set_P	0.0600	0.0192
341	set_map	0.0406	0.0136
341	set_recall	0.6773	0.1616
341	set_relative_P	0.6773	0.1616
341	success_1	0.8545	0.3526
341	success_10	0.9818	0.1336
341	success_5	0.9818	0.1336
341	utility	-819.3636	202.1459
342	11pt_avg	0.1911	0.1474
342	G	0.1694	0.1152
342	P_10	0.2918	0.2416
342	P_100	0.0731	0.0418
342	P_1000	0.0106	0.0046
342	P_15	0.2400	0.1778
342	P_20	0.2018	0.1395
342	P_200	0.0402	0.0218
342	P_30	0.1648	0.1023
342	P_5	0.3600	0.3119
342	P_500	0.0189	0.0089
342	Rndcg	0.3236	0.1946
342	Rprec	0.2018	0.1395
342	Rprec_mult_0.20	0.3818	0.3281
342	Rprec_mult_0.40	0.3170	0.2778
342	Rprec_mult_0.60	0.2705	0.2118
342	Rprec_mult_0.80	0.2273	0.1670
342	Rprec_mult_1.00	0.2018	0.1395
342	Rprec_mult_1.20	0.1822	0.1178
342	Rprec_mult_1.40	0.1688	0.1053
342	Rprec_mult_1.60	0.1597	0.0993
342	Rprec_mult_1.80	0.1485	0.0940
342	Rprec_mult_2.00	0.1368	0.0864
342	binG	0.1694	0.1152
342	bpref	0.1680	0.1305
342	infAP	0.1593	0.1358
342	iprec_at_recall_0.00	0.6308	0.3989
342	iprec_at_recall_0.10	0.4672	0.3767
342	iprec_at_recall_0.20	0.3662	0.3353
342	iprec_at_recall_0.30	0.2929	0.3108
342	iprec_at_recall_0.40	0.1818	0.2213
342	iprec_at_recall_0.50	0.0942	0.1055
342	iprec_at_recall_0.60	0.0415	0.0662
342	iprec_at_recall_0.70	0.0181	0.0497
342	iprec_at_recall_0.80	0.0089	0.0474
342	iprec_at_recall_0.90	0.0003	0.0029
342	iprec_at_recall_1.00	0.0000	0.0000
342	map	0.1593	0.1358
342	map_cut_10	0.1057	0.1131
342	map_cut_100	0.1537	0.1334
342	map_cut_1000	0.1593	0.1358
342	map_cut_15	0.1183	0.1214
342	map_cut_20	0.1244	0.1230
342	map_cut_200	0.1561	0.1345
342	map_cut_30	0.1350	0.1243
342	map_cut_5	0.0737	0.0781
342	map_cut_500	0.1583	0.1355
342	ndcg	0.3944	0.2120
342	ndcg_cut_10	0.3291	0.2664
342	ndcg_cut_100	0.3383	0.2052
342	ndcg_cut_1000	0.3944	0.2120
342	ndcg_cut_15	0.2860	0.2150
342	ndcg_cut_20	0.2527	0.1819
342	ndcg_cut_200	0.3529	0.2087
342	ndcg_cut_30	0.2801	0.1840
342	ndcg_cut_5	0.3857	0.3228
342	ndcg_cut_500	0.3770	0.2096
342	ndcg_rel	0.3908	0.2313
342	num_nonrel_judged_ret	246.9091	87.7176
342	num_rel	20.0000	0.0000
342	num_rel_ret	10.6091	4.6360
342	num_ret	914.2909	246.3465
342	prefs_avgjg	0.5093	0.2265
342	prefs_avgjg_Rnonrel	0.0080	0.0016
342	prefs_avgjg_Rnonrel_ret	0.0358	0.0398
342	prefs_avgjg_imp	0.7907	0.2161
342	prefs_avgjg_ret	0.6852	0.1866
342	prefs_num_prefs_ful	16214.8909	7211.4968
342	prefs_num_prefs_ful_ret	2025.8000	1334.4604
342	prefs_num_prefs_poss	31840.0000	0.0000
342	prefs_pair	0.5093	0.2265
342	prefs_pair_imp	0.7907	0.2161
342	prefs_pair_ret	0.6852	0.1866
342	prefs_simp	0.5093	0.2265
342	prefs_simp_imp	0.7907	0.2161
342	prefs_simp_ret	0.6852	0.1866
342	recall_10	0.1459	0.1208
342	recall_100	0.3655	0.2088
342	recall_1000	0.5305	0.2318
342	recall_15	0.1800	0.1333
342	recall_20	0.2018	0.1395
342	recall_200	0.4023	0.2182
342	recall_30	0.2473	0.1534
342	recall_5	0.0900	0.0780
342	recall_500	0.4723	0.2221
342	recip_rank	0.5971	0.4149
342	relative_P_10	0.2918	0.2416
342	relative_P_100	0.3655	0.2088
342	relative_P_1000	0.5305	0.2318
342	relative_P_15	0.2400	0.1778
342	relative_P_20	0.2018	0.1395
342	relative_P_200	0.4023	0.2182
342	relative_P_30	0.2473	0.1534
342	relative_P_5	0.3600	0.3119
342	relative_P_500	0.4723	0.2221
342	set_F	   nan	   nan
342	set_P	0.0151	0.0188
342	set_map	0.0083	0.0063
342	set_recall	0.5305	0.2318
342	set_relative_P	0.5305	0.2318
342	success_1	0.4909	0.4999
342	success_10	0.8182	0.3857
342	success_5	0.7636	0.4248
342	utility	-893.0727	244.1023
343	11pt_avg	0.1354	0.1116
343	G	0.0604	0.0385
343	P_10	0.3327	0.2468
343	P_100	0.2506	0.1629
343	P_1000	0.0965	0.0571
343	P_15	0.3133	0.2175
343	P_20	0.3100	0.2119
343	P_200	0.2057	0.1285
343	P_30	0.3112	0.2082
343	P_5	0.3182	0.2687
343	P_500	0.1421	0.0939
343	Rndcg	0.2701	0.1660
343	Rprec	0.1887	0.1232
343	Rprec_mult_0.20	0.2946	0.1959
343	Rprec_mult_0.40	0.2476	0.1608
343	Rprec_mult_0.60	0.2225	0.1394
343	Rprec_mult_0.80	0.2035	0.1281
343	Rprec_mult_1.00	0.1887	0.1232
343	Rprec_mult_1.20	0.1779	0.1195
343	Rprec_mult_1.40	0.1668	0.1129
343	Rprec_mult_1.60	0.1574	0.1071
343	Rprec_mult_1.80	0.1480	0.0984
343	Rprec_mult_2.00	0.1395	0.0920
343	binG	0.0604	0.0385
343	bpref	0.2185	0.1265
343	infAP	0.1077	0.1012
343	iprec_at_recall_0.00	0.5613	0.3505
343	iprec_at_recall_0.10	0.2856	0.2195
343	iprec_at_recall_0.20	0.2017	0.1884
343	iprec_at_recall_0.30	0.1581	0.1643
343	iprec_at_recall_0.40	0.1218	0.1489
343	iprec_at_recall_0.50	0.0874	0.1309
343	iprec_at_recall_0.60	0.0517	0.1136
343	iprec_at_recall_0.70	0.0108	0.0803
343	iprec_at_recall_0.80	0.0108	0.0803
343	iprec_at_recall_0.90	0.0000	0.0000
343	iprec_at_recall_1.00	0.0000	0.0000
343	map	0.1077	0.1012
343	map_cut_10	0.0077	0.0071
343	map_cut_100	0.0434	0.0390
343	map_cut_1000	0.1077	0.1012
343	map_cut_15	0.0102	0.0093
343	map_cut_20	0.0129	0.0116
343	map_cut_200	0.0630	0.0572
343	map_cut_30	0.0185	0.0165
343	map_cut_5	0.0041	0.0042
343	map_cut_500	0.0930	0.0918
343	ndcg	0.3332	0.2003
343	ndcg_cut_10	0.3251	0.2439
343	ndcg_cut_100	0.2645	0.1724
343	ndcg_cut_1000	0.3332	0.2003
343	ndcg_cut_15	0.3138	0.2227
343	ndcg_cut_20	0.3114	0.2168
343	ndcg_cut_200	0.2234	0.1403
343	ndcg_cut_30	0.3122	0.2114
343	ndcg_cut_5	0.3121	0.2638
343	ndcg_cut_500	0.2695	0.1749
343	ndcg_rel	0.3046	0.1737
343	num_nonrel_judged_ret	215.1545	81.6654
343	num_rel	258.0000	0.0000
343	num_rel_ret	96.4818	57.1387
343	num_ret	931.8182	215.6098
343	prefs_avgjg	0.3426	0.2014
343	prefs_avgjg_Rnonrel	0.1095	0.0347
343	prefs_avgjg_Rnonrel_ret	0.2310	0.1046
343	prefs_avgjg_imp	0.6858	0.1280
343	prefs_avgjg_ret	0.5428	0.0855
343	prefs_num_prefs_ful	114112.8364	67092.2848
343	prefs_num_prefs_ful_ret	14154.5364	11482.0209
343	prefs_num_prefs_poss	333078.0000	0.0000
343	prefs_pair	0.3426	0.2014
343	prefs_pair_imp	0.6858	0.1280
343	prefs_pair_ret	0.5428	0.0855
343	prefs_simp	0.3426	0.2014
343	prefs_simp_imp	0.6858	0.1280
343	prefs_simp_ret	0.5428	0.0855
343	recall_10	0.0129	0.0096
343	recall_100	0.0971	0.0631
343	recall_1000	0.3740	0.2215
343	recall_15	0.0182	0.0126
343	recall_20	0.0240	0.0164
343	recall_200	0.1595	0.0996
343	recall_30	0.0362	0.0242
343	recall_5	0.0062	0.0052
343	recall_500	0.2753	0.1821
343	recip_rank	0.4807	0.3652
343	relative_P_10	0.3327	0.2468
343	relative_P_100	0.2506	0.1629
343	relative_P_1000	0.3740	0.2215
343	relative_P_15	0.3133	0.2175
343	relative_P_20	0.3100	0.2119
343	relative_P_200	0.2057	0.1285
343	relative_P_30	0.3112	0.2082
343	relative_P_5	0.3182	0.2687
343	relative_P_500	0.2753	0.1821
343	set_F	0.1559	0.0876
343	set_P	0.0997	0.0535
343	set_map	0.0489	0.0447
343	set_recall	0.3740	0.2215
343	set_relative_P	0.3741	0.2213
343	success_1	0.2818	0.4499
343	success_10	0.7636	0.4248
343	success_5	0.7091	0.4542
343	utility	-738.8545	190.8523
344	11pt_avg	0.0736	0.0763
344	G	0.1571	0.0766
344	P_10	0.0427	0.0653
344	P_100	0.0243	0.0164
344	P_1000	0.0039	0.0015
344	P_15	0.0467	0.0593
344	P_20	0.0473	0.0508
344	P_200	0.0158	0.0085
344	P_30	0.0461	0.0405
344	P_5	0.0418	0.0898
344	P_500	0.0074	0.0031
344	Rndcg	0.1513	0.0978
344	Rprec	0.0418	0.0898
344	Rprec_mult_0.20	0.0364	0.1872
344	Rprec_mult_0.40	0.0318	0.1221
344	Rprec_mult_0.60	0.0273	0.0914
344	Rprec_mult_0.80	0.0386	0.1022
344	Rprec_mult_1.00	0.0418	0.0898
344	Rprec_mult_1.20	0.0470	0.0845
344	Rprec_mult_1.40	0.0455	0.0816
344	Rprec_mult_1.60	0.0455	0.0767
344	Rprec_mult_1.80	0.0434	0.0688
344	Rprec_mult_2.00	0.0427	0.0653
344	binG	0.1571	0.0766
344	bpref	0.0233	0.0594
344	infAP	0.0617	0.0628
344	iprec_at_recall_0.00	0.1389	0.1987
344	iprec_at_recall_0.10	0.1389	0.1987
344	iprec_at_recall_0.20	0.1389	0.1987
344	iprec_at_recall_0.30	0.0887	0.0956
344	iprec_at_recall_0.40	0.0887	0.0956
344	iprec_at_recall_0.50	0.0558	0.0590
344	iprec_at_recall_0.60	0.0558	0.0590
344	iprec_at_recall_0.70	0.0383	0.0392
344	iprec_at_recall_0.80	0.0383	0.0392
344	iprec_at_recall_0.90	0.0134	0.0237
344	iprec_at_recall_1.00	0.0134	0.0237
344	map	0.0617	0.0628
344	map_cut_10	0.0258	0.0567
344	map_cut_100	0.0566	0.0634
344	map_cut_1000	0.0617	0.0628
344	map_cut_15	0.0332	0.0596
344	map_cut_20	0.0381	0.0608
344	map_cut_200	0.0601	0.0635
344	map_cut_30	0.0454	0.0613
344	map_cut_5	0.0179	0.0512
344	map_cut_500	0.0614	0.0629
344	ndcg	0.2635	0.1271
344	ndcg_cut_10	0.0631	0.1082
344	ndcg_cut_100	0.1991	0.1447
344	ndcg_cut_1000	0.2635	0.1271
344	ndcg_cut_15	0.0877	0.1209
344	ndcg_cut_20	0.1072	0.1266
344	ndcg_cut_200	0.2339	0.1436
344	ndcg_cut_30	0.1385	0.1307
344	ndcg_cut_5	0.0390	0.0934
344	ndcg_cut_500	0.2563	0.1317
344	ndcg_rel	0.1974	0.1170
344	num_nonrel_judged_ret	270.1364	119.7823
344	num_rel	5.0000	0.0000
344	num_rel_ret	3.9091	1.5228
344	num_ret	913.6727	248.5822
344	prefs_avgjg	0.7374	0.2868
344	prefs_avgjg_Rnonrel	0.0017	0.0003
344	prefs_avgjg_Rnonrel_ret	0.0057	0.0033
344	prefs_avgjg_imp	0.8371	0.2457
344	prefs_avgjg_ret	0.6832	0.2634
344	prefs_num_prefs_ful	4590.4727	1785.5396
344	prefs_num_prefs_ful_ret	920.1364	573.6380
344	prefs_num_prefs_poss	6225.0000	0.0000
344	prefs_pair	0.7374	0.2868
344	prefs_pair_imp	0.8371	0.2457
344	prefs_pair_ret	0.6832	0.2634
344	prefs_simp	0.7374	0.2868
344	prefs_simp_imp	0.8371	0.2457
344	prefs_simp_ret	0.6832	0.2634
344	recall_10	0.0855	0.1306
344	recall_100	0.4855	0.3275
344	recall_1000	0.7818	0.3046
344	recall_15	0.1400	0.1780
344	recall_20	0.1891	0.2033
344	recall_200	0.6327	0.3385
344	recall_30	0.2764	0.2427
344	recall_5	0.0418	0.0898
344	recall_500	0.7418	0.3102
344	recip_rank	0.1230	0.1996
344	relative_P_10	0.0855	0.1306
344	relative_P_100	0.4855	0.3275
344	relative_P_1000	0.7818	0.3046
344	relative_P_15	0.1400	0.1780
344	relative_P_20	0.1891	0.2033
344	relative_P_200	0.6327	0.3385
344	relative_P_30	0.2764	0.2427
344	relative_P_5	0.0418	0.0898
344	relative_P_500	0.7418	0.3102
344	set_F	   nan	   nan
344	set_P	0.0041	0.0017
344	set_map	0.0036	0.0017
344	set_recall	0.7818	0.3046
344	set_relative_P	0.7818	0.3046
344	success_1	0.0364	0.1872
344	success_10	0.3455	0.4755
344	success_5	0.1909	0.3930
344	utility	-905.8545	246.2589
345	11pt_avg	0.0970	0.0634
345	G	0.1184	0.0446
345	P_10	0.2055	0.1464
345	P_100	0.0808	0.0444
345	P_1000	0.0271	0.0094
345	P_15	0.1788	0.1101
345	P_20	0.1618	0.0949
345	P_200	0.0687	0.0322
345	P_30	0.1358	0.0749
345	P_5	0.2000	0.1849
345	P_500	0.0436	0.0172
345	Rndcg	0.2694	0.1047
345	Rprec	0.1213	0.0645
345	Rprec_mult_0.20	0.1989	0.1645
345	Rprec_mult_0.40	0.1739	0.1081
345	Rprec_mult_0.60	0.1537	0.0877
345	Rprec_mult_0.80	0.1328	0.0734
345	Rprec_mult_1.00	0.1213	0.0645
345	Rprec_mult_1.20	0.1091	0.0579
345	Rprec_mult_1.40	0.1008	0.0537
345	Rprec_mult_1.60	0.0972	0.0530
345	Rprec_mult_1.80	0.0935	0.0530
345	Rprec_mult_2.00	0.0895	0.0499
345	binG	0.1184	0.0446
345	bpref	0.0881	0.0475
345	infAP	0.0808	0.0550
345	iprec_at_recall_0.00	0.3729	0.2484
345	iprec_at_recall_0.10	0.2111	0.1810
345	iprec_at_recall_0.20	0.1112	0.0901
345	iprec_at_recall_0.30	0.0870	0.0620
345	iprec_at_recall_0.40	0.0754	0.0581
345	iprec_at_recall_0.50	0.0676	0.0529
345	iprec_at_recall_0.60	0.0549	0.0492
345	iprec_at_recall_0.70	0.0434	0.0433
345	iprec_at_recall_0.80	0.0288	0.0379
345	iprec_at_recall_0.90	0.0143	0.0221
345	iprec_at_recall_1.00	0.0000	0.0000
345	map	0.0808	0.0550
345	map_cut_10	0.0218	0.0239
345	map_cut_100	0.0483	0.0425
345	map_cut_1000	0.0808	0.0550
345	map_cut_15	0.0261	0.0255
345	map_cut_20	0.0296	0.0277
345	map_cut_200	0.0620	0.0508
345	map_cut_30	0.0340	0.0299
345	map_cut_5	0.0125	0.0164
345	map_cut_500	0.0754	0.0549
345	ndcg	0.4045	0.1452
345	ndcg_cut_10	0.1891	0.1479
345	ndcg_cut_100	0.1878	0.1035
345	ndcg_cut_1000	0.4045	0.1452
345	ndcg_cut_15	0.1751	0.1192
345	ndcg_cut_20	0.1644	0.1048
345	ndcg_cut_200	0.2613	0.1247
345	ndcg_cut_30	0.1458	0.0861
345	ndcg_cut_5	0.1775	0.1772
345	ndcg_cut_500	0.3517	0.1435
345	ndcg_rel	0.3004	0.1024
345	num_nonrel_judged_ret	336.5727	117.1823
345	num_rel	38.0000	0.0000
345	num_rel_ret	27.1273	9.3635
345	num_ret	916.7273	238.1753
345	prefs_avgjg	0.5758	0.1898
345	prefs_avgjg_Rnonrel	0.0251	0.0022
345	prefs_avgjg_Rnonrel_ret	0.0445	0.0140
345	prefs_avgjg_imp	0.7095	0.0889
345	prefs_avgjg_ret	0.5528	0.1280
345	prefs_num_prefs_ful	18139.3545	5978.2347
345	prefs_num_prefs_ful_ret	5806.6545	3358.7986
345	prefs_num_prefs_poss	31502.0000	0.0000
345	prefs_pair	0.5758	0.1898
345	prefs_pair_imp	0.7095	0.0889
345	prefs_pair_ret	0.5528	0.1280
345	prefs_simp	0.5758	0.1898
345	prefs_simp_imp	0.7095	0.0889
345	prefs_simp_ret	0.5528	0.1280
345	recall_10	0.0540	0.0385
345	recall_100	0.2127	0.1167
345	recall_1000	0.7139	0.2464
345	recall_15	0.0706	0.0435
345	recall_20	0.0852	0.0499
345	recall_200	0.3615	0.1694
345	recall_30	0.1072	0.0591
345	recall_5	0.0263	0.0243
345	recall_500	0.5732	0.2263
345	recip_rank	0.3132	0.2552
345	relative_P_10	0.2055	0.1464
345	relative_P_100	0.2127	0.1167
345	relative_P_1000	0.7139	0.2464
345	relative_P_15	0.1788	0.1101
345	relative_P_20	0.1618	0.0949
345	relative_P_200	0.3615	0.1694
345	relative_P_30	0.1358	0.0749
345	relative_P_5	0.2000	0.1849
345	relative_P_500	0.5732	0.2263
345	set_F	0.0580	0.0208
345	set_P	0.0306	0.0118
345	set_map	0.0230	0.0107
345	set_recall	0.7139	0.2464
345	set_relative_P	0.7139	0.2464
345	success_1	0.0818	0.2741
345	success_10	0.8273	0.3780
345	success_5	0.6364	0.4810
345	utility	-862.4727	226.6871
346	11pt_avg	0.0528	0.0545
346	G	0.0508	0.0309
346	P_10	0.1282	0.1538
346	P_100	0.0857	0.0639
346	P_1000	0.0356	0.0198
346	P_15	0.1285	0.1320
346	P_20	0.1250	0.1281
346	P_200	0.0733	0.0528
346	P_30	0.1158	0.1111
346	P_5	0.1273	0.1843
346	P_500	0.0513	0.0313
346	Rndcg	0.1641	0.1013
346	Rprec	0.0848	0.0636
346	Rprec_mult_0.20	0.1242	0.1263
346	Rprec_mult_0.40	0.1048	0.0918
346	Rprec_mult_0.60	0.0973	0.0778
346	Rprec_mult_0.80	0.0905	0.0692
346	Rprec_mult_1.00	0.0848	0.0636
346	Rprec_mult_1.20	0.0802	0.0602
346	Rprec_mult_1.40	0.0778	0.0569
346	Rprec_mult_1.60	0.0763	0.0576
346	Rprec_mult_1.80	0.0747	0.0547
346	Rprec_mult_2.00	0.0723	0.0513
346	binG	0.0508	0.0309
346	bpref	0.0727	0.0553
346	infAP	0.0386	0.0443
346	iprec_at_recall_0.00	0.2679	0.2589
346	iprec_at_recall_0.10	0.1111	0.1078
346	iprec_at_recall_0.20	0.0769	0.0828
346	iprec_at_recall_0.30	0.0534	0.0694
346	iprec_at_recall_0.40	0.0370	0.0602
346	iprec_at_recall_0.50	0.0184	0.0535
346	iprec_at_recall_0.60	0.0092	0.0344
346	iprec_at_recall_0.70	0.0043	0.0257
346	iprec_at_recall_0.80	0.0030	0.0182
346	iprec_at_recall_0.90	0.0000	0.0000
346	iprec_at_recall_1.00	0.0000	0.0000
346	map	0.0386	0.0443
346	map_cut_10	0.0053	0.0095
346	map_cut_100	0.0179	0.0253
346	map_cut_1000	0.0386	0.0443
346	map_cut_15	0.0069	0.0113
346	map_cut_20	0.0084	0.0132
346	map_cut_200	0.0250	0.0343
346	map_cut_30	0.0105	0.0162
346	map_cut_5	0.0032	0.0062
346	map_cut_500	0.0335	0.0419
346	ndcg	0.2371	0.1371
346	ndcg_cut_10	0.1219	0.1588
346	ndcg_cut_100	0.0921	0.0745
346	ndcg_cut_1000	0.2371	0.1371
346	ndcg_cut_15	0.1234	0.1391
346	ndcg_cut_20	0.1219	0.1332
346	ndcg_cut_200	0.1279	0.0960
346	ndcg_cut_30	0.1163	0.1201
346	ndcg_cut_5	0.1176	0.1833
346	ndcg_cut_500	0.1887	0.1212
346	ndcg_rel	0.2044	0.1113
346	num_nonrel_judged_ret	298.2364	129.6900
346	num_rel	105.0000	0.0000
346	num_rel_ret	35.5818	19.8180
346	num_ret	931.8182	215.6098
346	prefs_avgjg	0.2966	0.1643
346	prefs_avgjg_Rnonrel	0.0415	0.0088
346	prefs_avgjg_Rnonrel_ret	0.0588	0.0321
346	prefs_avgjg_imp	0.5562	0.1920
346	prefs_avgjg_ret	0.4983	0.1606
346	prefs_num_prefs_ful	39427.3636	21843.6335
346	prefs_num_prefs_ful_ret	6943.4636	5492.9997
346	prefs_num_prefs_poss	132930.0000	0.0000
346	prefs_pair	0.2966	0.1643
346	prefs_pair_imp	0.5562	0.1920
346	prefs_pair_ret	0.4983	0.1606
346	prefs_simp	0.2966	0.1643
346	prefs_simp_imp	0.5562	0.1920
346	prefs_simp_ret	0.4983	0.1606
346	recall_10	0.0122	0.0146
346	recall_100	0.0816	0.0608
346	recall_1000	0.3389	0.1887
346	recall_15	0.0183	0.0189
346	recall_20	0.0238	0.0244
346	recall_200	0.1396	0.1006
346	recall_30	0.0331	0.0317
346	recall_5	0.0061	0.0088
346	recall_500	0.2443	0.1492
346	recip_rank	0.2208	0.2566
346	relative_P_10	0.1282	0.1538
346	relative_P_100	0.0857	0.0639
346	relative_P_1000	0.3389	0.1887
346	relative_P_15	0.1285	0.1320
346	relative_P_20	0.1250	0.1281
346	relative_P_200	0.1396	0.1006
346	relative_P_30	0.1158	0.1111
346	relative_P_5	0.1273	0.1843
346	relative_P_500	0.2443	0.1492
346	set_F	   nan	   nan
346	set_P	0.0390	0.0205
346	set_map	0.0163	0.0147
346	set_recall	0.3389	0.1887
346	set_relative_P	0.3389	0.1887
346	success_1	0.0636	0.2441
346	success_10	0.5818	0.4933
346	success_5	0.3909	0.4880
346	utility	-860.6545	204.3614
347	11pt_avg	0.0505	0.0304
347	G	0.0532	0.0213
347	P_10	0.0436	0.0968
347	P_100	0.0770	0.0444
347	P_1000	0.0641	0.0277
347	P_15	0.0449	0.0753
347	P_20	0.0491	0.0713
347	P_200	0.0815	0.0465
347	P_30	0.0524	0.0589
347	P_5	0.0382	0.0991
347	P_500	0.0696	0.0383
347	Rndcg	0.1782	0.0680
347	Rprec	0.0833	0.0478
347	Rprec_mult_0.20	0.0545	0.0597
347	Rprec_mult_0.40	0.0677	0.0458
347	Rprec_mult_0.60	0.0765	0.0437
347	Rprec_mult_0.80	0.0808	0.0473
347	Rprec_mult_1.00	0.0833	0.0478
347	Rprec_mult_1.20	0.0823	0.0478
347	Rprec_mult_1.40	0.0805	0.0453
347	Rprec_mult_1.60	0.0802	0.0456
347	Rprec_mult_1.80	0.0787	0.0447
347	Rprec_mult_2.00	0.0778	0.0463
347	binG	0.0532	0.0213
347	bpref	0.0532	0.0337
347	infAP	0.0390	0.0260
347	iprec_at_recall_0.00	0.1621	0.1382
347	iprec_at_recall_0.10	0.1007	0.0579
347	iprec_at_recall_0.20	0.0854	0.0587
347	iprec_at_recall_0.30	0.0767	0.0575
347	iprec_at_recall_0.40	0.0634	0.0579
347	iprec_at_recall_0.50	0.0485	0.0553
347	iprec_at_recall_0.60	0.0142	0.0438
347	iprec_at_recall_0.70	0.0042	0.0328
347	iprec_at_recall_0.80	0.0000	0.0000
347	iprec_at_recall_0.90	0.0000	0.0000
347	iprec_at_recall_1.00	0.0000	0.0000
347	map	0.0390	0.0260
347	map_cut_10	0.0009	0.0025
347	map_cut_100	0.0058	0.0053
347	map_cut_1000	0.0390	0.0260
347	map_cut_15	0.0011	0.0027
347	map_cut_20	0.0014	0.0031
347	map_cut_200	0.0121	0.0105
347	map_cut_30	0.0018	0.0035
347	map_cut_5	0.0004	0.0012
347	map_cut_500	0.0244	0.0221
347	ndcg	0.2800	0.1117
347	ndcg_cut_10	0.0370	0.0824
347	ndcg_cut_100	0.0695	0.0400
347	ndcg_cut_1000	0.2800	0.1117
347	ndcg_cut_15	0.0391	0.0707
347	ndcg_cut_20	0.0430	0.0673
347	ndcg_cut_200	0.0935	0.0503
347	ndcg_cut_30	0.0467	0.0580
347	ndcg_cut_5	0.0297	0.0773
347	ndcg_cut_500	0.1716	0.0880
347	ndcg_rel	0.2212	0.0729
347	num_nonrel_judged_ret	321.4000	119.9543
347	num_rel	152.0000	0.0000
347	num_rel_ret	64.1182	27.7350
347	num_ret	916.2182	239.7953
347	prefs_avgjg	0.3159	0.1368
347	prefs_avgjg_Rnonrel	0.0746	0.0082
347	prefs_avgjg_Rnonrel_ret	0.0898	0.0253
347	prefs_avgjg_imp	0.5158	0.1039
347	prefs_avgjg_ret	0.3845	0.1400
347	prefs_num_prefs_ful	44507.6091	19281.4424
347	prefs_num_prefs_ful_ret	8207.2727	5437.8903
347	prefs_num_prefs_poss	140904.0000	0.0000
347	prefs_pair	0.3159	0.1368
347	prefs_pair_imp	0.5158	0.1039
347	prefs_pair_ret	0.3845	0.1400
347	prefs_simp	0.3159	0.1368
347	prefs_simp_imp	0.5158	0.1039
347	prefs_simp_ret	0.3845	0.1400
347	recall_10	0.0029	0.0064
347	recall_100	0.0507	0.0292
347	recall_1000	0.4218	0.1825
347	recall_15	0.0044	0.0074
347	recall_20	0.0065	0.0094
347	recall_200	0.1072	0.0611
347	recall_30	0.0104	0.0116
347	recall_5	0.0013	0.0033
347	recall_500	0.2290	0.1261
347	recip_rank	0.0856	0.1267
347	relative_P_10	0.0436	0.0968
347	relative_P_100	0.0770	0.0444
347	relative_P_1000	0.4218	0.1825
347	relative_P_15	0.0449	0.0753
347	relative_P_20	0.0491	0.0713
347	relative_P_200	0.1072	0.0611
347	relative_P_30	0.0524	0.0589
347	relative_P_5	0.0382	0.0991
347	relative_P_500	0.2290	0.1261
347	set_F	0.1179	0.0414
347	set_P	0.0707	0.0253
347	set_map	0.0329	0.0192
347	set_recall	0.4218	0.1825
347	set_relative_P	0.4220	0.1822
347	success_1	0.0091	0.0949
347	success_10	0.2364	0.4248
347	success_5	0.1455	0.3526
347	utility	-787.9818	211.4299
348	11pt_avg	0.4690	0.3432
348	G	0.4277	0.2730
348	P_10	0.2727	0.1995
348	P_100	0.0335	0.0188
348	P_1000	0.0040	0.0015
348	P_15	0.1885	0.1345
348	P_20	0.1436	0.1005
348	P_200	0.0180	0.0083
348	P_30	0.0997	0.0663
348	P_5	0.4109	0.3073
348	P_500	0.0075	0.0032
348	Rndcg	0.5069	0.3067
348	Rprec	0.4109	0.3073
348	Rprec_mult_0.20	0.5727	0.4947
348	Rprec_mult_0.40	0.4682	0.3521
348	Rprec_mult_0.60	0.4576	0.3110
348	Rprec_mult_0.80	0.4341	0.3065
348	Rprec_mult_1.00	0.4109	0.3073
348	Rprec_mult_1.20	0.3970	0.3089
348	Rprec_mult_1.40	0.3545	0.2743
348	Rprec_mult_1.60	0.3205	0.2422
348	Rprec_mult_1.80	0.2939	0.2169
348	Rprec_mult_2.00	0.2727	0.1995
348	binG	0.4277	0.2730
348	bpref	0.4135	0.3362
348	infAP	0.4296	0.3309
348	iprec_at_recall_0.00	0.6829	0.4045
348	iprec_at_recall_0.10	0.6829	0.4045
348	iprec_at_recall_0.20	0.6829	0.4045
348	iprec_at_recall_0.30	0.5331	0.3863
348	iprec_at_recall_0.40	0.5331	0.3863
348	iprec_at_recall_0.50	0.3692	0.3870
348	iprec_at_recall_0.60	0.3692	0.3870
348	iprec_at_recall_0.70	0.3474	0.3794
348	iprec_at_recall_0.80	0.3474	0.3794
348	iprec_at_recall_0.90	0.3054	0.3612
348	iprec_at_recall_1.00	0.3054	0.3612
348	map	0.4296	0.3309
348	map_cut_10	0.4139	0.3369
348	map_cut_100	0.4281	0.3321
348	map_cut_1000	0.4296	0.3309
348	map_cut_15	0.4202	0.3349
348	map_cut_20	0.4217	0.3347
348	map_cut_200	0.4289	0.3314
348	map_cut_30	0.4248	0.3338
348	map_cut_5	0.3341	0.2799
348	map_cut_500	0.4293	0.3311
348	ndcg	0.5839	0.3186
348	ndcg_cut_10	0.5169	0.3570
348	ndcg_cut_100	0.5587	0.3411
348	ndcg_cut_1000	0.5839	0.3186
348	ndcg_cut_15	0.5261	0.3559
348	ndcg_cut_20	0.5297	0.3547
348	ndcg_cut_200	0.5699	0.3293
348	ndcg_cut_30	0.5383	0.3522
348	ndcg_cut_5	0.4409	0.3138
348	ndcg_cut_500	0.5767	0.3255
348	ndcg_rel	0.5629	0.3156
348	num_nonrel_judged_ret	209.8636	129.3102
348	num_rel	5.0000	0.0000
348	num_rel_ret	3.9545	1.5278
348	num_ret	794.0364	383.8655
348	prefs_avgjg	0.7766	0.3064
348	prefs_avgjg_Rnonrel	0.0023	0.0009
348	prefs_avgjg_Rnonrel_ret	0.1294	0.2792
348	prefs_avgjg_imp	0.8947	0.2099
348	prefs_avgjg_ret	0.7192	0.3213
348	prefs_num_prefs_ful	6457.8273	2547.3215
348	prefs_num_prefs_ful_ret	714.1000	612.7927
348	prefs_num_prefs_poss	8315.0000	0.0000
348	prefs_pair	0.7766	0.3064
348	prefs_pair_imp	0.8947	0.2099
348	prefs_pair_ret	0.7192	0.3213
348	prefs_simp	0.7766	0.3064
348	prefs_simp_imp	0.8947	0.2099
348	prefs_simp_ret	0.7192	0.3213
348	recall_10	0.5455	0.3990
348	recall_100	0.6709	0.3752
348	recall_1000	0.7909	0.3056
348	recall_15	0.5655	0.4035
348	recall_20	0.5745	0.4019
348	recall_200	0.7182	0.3328
348	recall_30	0.5982	0.3977
348	recall_5	0.4109	0.3073
348	recall_500	0.7509	0.3216
348	recip_rank	0.6685	0.4105
348	relative_P_10	0.5455	0.3990
348	relative_P_100	0.6709	0.3752
348	relative_P_1000	0.7909	0.3056
348	relative_P_15	0.5655	0.4035
348	relative_P_20	0.5745	0.4019
348	relative_P_200	0.7182	0.3328
348	relative_P_30	0.5982	0.3977
348	relative_P_5	0.4109	0.3073
348	relative_P_500	0.7509	0.3216
348	set_F	   nan	   nan
348	set_P	0.1243	0.2960
348	set_map	0.1147	0.2788
348	set_recall	0.7909	0.3056
348	set_relative_P	0.7964	0.3039
348	success_1	0.5727	0.4947
348	success_10	0.7818	0.4130
348	success_5	0.7818	0.4130
348	utility	-786.1273	383.6153
349	11pt_avg	0.1775	0.1116
349	G	0.1255	0.0694
349	P_10	0.5391	0.3347
349	P_100	0.1680	0.0887
349	P_1000	0.0308	0.0135
349	P_15	0.4624	0.2745
349	P_20	0.4186	0.2363
349	P_200	0.1088	0.0550
349	P_30	0.3503	0.1984
349	P_5	0.6291	0.4044
349	P_500	0.0544	0.0246
349	Rndcg	0.3356	0.1656
349	Rprec	0.2095	0.1110
349	Rprec_mult_0.20	0.4624	0.2745
349	Rprec_mult_0.40	0.3503	0.1984
349	Rprec_mult_0.60	0.2851	0.1579
349	Rprec_mult_0.80	0.2405	0.1275
349	Rprec_mult_1.00	0.2095	0.1110
349	Rprec_mult_1.20	0.1843	0.0974
349	Rprec_mult_1.40	0.1646	0.0872
349	Rprec_mult_1.60	0.1516	0.0798
349	Rprec_mult_1.80	0.1406	0.0733
349	Rprec_mult_2.00	0.1336	0.0690
349	binG	0.1255	0.0694
349	bpref	0.1794	0.1015
349	infAP	0.1542	0.1041
349	iprec_at_recall_0.00	0.7408	0.3742
349	iprec_at_recall_0.10	0.5312	0.3691
349	iprec_at_recall_0.20	0.3370	0.2478
349	iprec_at_recall_0.30	0.1922	0.1646
349	iprec_at_recall_0.40	0.0878	0.0902
349	iprec_at_recall_0.50	0.0244	0.0582
349	iprec_at_recall_0.60	0.0112	0.0528
349	iprec_at_recall_0.70	0.0109	0.0524
349	iprec_at_recall_0.80	0.0106	0.0519
349	iprec_at_recall_0.90	0.0065	0.0496
349	iprec_at_recall_1.00	0.0000	0.0000
349	map	0.1542	0.1041
349	map_cut_10	0.0649	0.0480
349	map_cut_100	0.1331	0.0917
349	map_cut_1000	0.1542	0.1041
349	map_cut_15	0.0791	0.0578
349	map_cut_20	0.0901	0.0649
349	map_cut_200	0.1446	0.0991
349	map_cut_30	0.1049	0.0745
349	map_cut_5	0.0402	0.0285
349	map_cut_500	0.1518	0.1028
349	ndcg	0.3942	0.1839
349	ndcg_cut_10	0.5679	0.3530
349	ndcg_cut_100	0.2909	0.1588
349	ndcg_cut_1000	0.3942	0.1839
349	ndcg_cut_15	0.5102	0.3073
349	ndcg_cut_20	0.4729	0.2750
349	ndcg_cut_200	0.3323	0.1729
349	ndcg_cut_30	0.4127	0.2389
349	ndcg_cut_5	0.6320	0.4085
349	ndcg_cut_500	0.3716	0.1809
349	ndcg_rel	0.4152	0.1974
349	num_nonrel_judged_ret	314.6091	120.1968
349	num_rel	73.0000	0.0000
349	num_rel_ret	30.7636	13.4866
349	num_ret	832.8091	309.8185
349	prefs_avgjg	0.3921	0.1721
349	prefs_avgjg_Rnonrel	0.0341	0.0052
349	prefs_avgjg_Rnonrel_ret	0.0838	0.0554
349	prefs_avgjg_imp	0.6888	0.1685
349	prefs_avgjg_ret	0.6771	0.1432
349	prefs_num_prefs_ful	39045.8273	17133.4376
349	prefs_num_prefs_ful_ret	7296.4545	5551.2489
349	prefs_num_prefs_poss	99572.0000	0.0000
349	prefs_pair	0.3921	0.1721
349	prefs_pair_imp	0.6888	0.1685
349	prefs_pair_ret	0.6771	0.1432
349	prefs_simp	0.3921	0.1721
349	prefs_simp_imp	0.6888	0.1685
349	prefs_simp_ret	0.6771	0.1432
349	recall_10	0.0739	0.0459
349	recall_100	0.2302	0.1216
349	recall_1000	0.4214	0.1847
349	recall_15	0.0950	0.0564
349	recall_20	0.1147	0.0648
349	recall_200	0.2982	0.1508
349	recall_30	0.1440	0.0815
349	recall_5	0.0431	0.0277
349	recall_500	0.3724	0.1687
349	recip_rank	0.7076	0.3937
349	relative_P_10	0.5391	0.3347
349	relative_P_100	0.2302	0.1216
349	relative_P_1000	0.4214	0.1847
349	relative_P_15	0.4624	0.2745
349	relative_P_20	0.4186	0.2363
349	relative_P_200	0.2982	0.1508
349	relative_P_30	0.3503	0.1984
349	relative_P_5	0.6291	0.4044
349	relative_P_500	0.3724	0.1687
349	set_F	0.0835	0.0542
349	set_P	0.0490	0.0368
349	set_map	0.0226	0.0185
349	set_recall	0.4214	0.1847
349	set_relative_P	0.4214	0.1847
349	success_1	0.6273	0.4835
349	success_10	0.9000	0.3000
349	success_5	0.7818	0.4130
349	utility	-771.2818	307.5139
350	11pt_avg	0.1693	0.1263
350	G	0.1205	0.0826
350	P_10	0.4800	0.2572
350	P_100	0.1326	0.0984
350	P_1000	0.0294	0.0135
350	P_15	0.3897	0.2387
350	P_20	0.3386	0.2298
350	P_200	0.0878	0.0560
350	P_30	0.2736	0.2088
350	P_5	0.6200	0.2815
350	P_500	0.0478	0.0258
350	Rndcg	0.3150	0.1597
350	Rprec	0.1679	0.1293
350	Rprec_mult_0.20	0.4052	0.2416
350	Rprec_mult_0.40	0.2854	0.2154
350	Rprec_mult_0.60	0.2288	0.1817
350	Rprec_mult_0.80	0.1932	0.1489
350	Rprec_mult_1.00	0.1679	0.1293
350	Rprec_mult_1.20	0.1508	0.1139
350	Rprec_mult_1.40	0.1361	0.1013
350	Rprec_mult_1.60	0.1275	0.0919
350	Rprec_mult_1.80	0.1179	0.0830
350	Rprec_mult_2.00	0.1127	0.0762
350	binG	0.1205	0.0826
350	bpref	0.1577	0.1310
350	infAP	0.1338	0.1357
350	iprec_at_recall_0.00	0.9137	0.2312
350	iprec_at_recall_0.10	0.3567	0.3429
350	iprec_at_recall_0.20	0.2093	0.2854
350	iprec_at_recall_0.30	0.1491	0.2497
350	iprec_at_recall_0.40	0.0967	0.1885
350	iprec_at_recall_0.50	0.0632	0.1497
350	iprec_at_recall_0.60	0.0413	0.1186
350	iprec_at_recall_0.70	0.0213	0.0844
350	iprec_at_recall_0.80	0.0103	0.0639
350	iprec_at_recall_0.90	0.0008	0.0085
350	iprec_at_recall_1.00	0.0000	0.0000
350	map	0.1338	0.1357
350	map_cut_10	0.0605	0.0399
350	map_cut_100	0.1146	0.1258
350	map_cut_1000	0.1338	0.1357
350	map_cut_15	0.0711	0.0545
350	map_cut_20	0.0797	0.0684
350	map_cut_200	0.1233	0.1315
350	map_cut_30	0.0916	0.0891
350	map_cut_5	0.0416	0.0221
350	map_cut_500	0.1305	0.1348
350	ndcg	0.3849	0.1777
350	ndcg_cut_10	0.5560	0.2485
350	ndcg_cut_100	0.2632	0.1565
350	ndcg_cut_1000	0.3849	0.1777
350	ndcg_cut_15	0.4782	0.2320
350	ndcg_cut_20	0.4292	0.2239
350	ndcg_cut_200	0.3010	0.1661
350	ndcg_cut_30	0.3631	0.2085
350	ndcg_cut_5	0.6703	0.2691
350	ndcg_cut_500	0.3488	0.1757
350	ndcg_rel	0.3954	0.1824
350	num_nonrel_judged_ret	278.8545	79.2386
350	num_rel	68.0000	0.0000
350	num_rel_ret	29.3545	13.4776
350	num_ret	922.1273	224.1371
350	prefs_avgjg	0.3974	0.1880
350	prefs_avgjg_Rnonrel	0.0344	0.0069
350	prefs_avgjg_Rnonrel_ret	0.0742	0.0413
350	prefs_avgjg_imp	0.6824	0.1392
350	prefs_avgjg_ret	0.6584	0.1270
350	prefs_num_prefs_ful	32886.9455	15559.4543
350	prefs_num_prefs_ful_ret	5838.9273	4142.1012
350	prefs_num_prefs_poss	82756.0000	0.0000
350	prefs_pair	0.3974	0.1880
350	prefs_pair_imp	0.6824	0.1392
350	prefs_pair_ret	0.6584	0.1270
350	prefs_simp	0.3974	0.1880
350	prefs_simp_imp	0.6824	0.1392
350	prefs_simp_ret	0.6584	0.1270
350	recall_10	0.0706	0.0378
350	recall_100	0.1951	0.1447
350	recall_1000	0.4317	0.1982
350	recall_15	0.0859	0.0527
350	recall_20	0.0996	0.0676
350	recall_200	0.2582	0.1646
350	recall_30	0.1207	0.0921
350	recall_5	0.0456	0.0207
350	recall_500	0.3515	0.1895
350	recip_rank	0.9028	0.2513
350	relative_P_10	0.4800	0.2572
350	relative_P_100	0.1951	0.1447
350	relative_P_1000	0.4317	0.1982
350	relative_P_15	0.3897	0.2387
350	relative_P_20	0.3386	0.2298
350	relative_P_200	0.2582	0.1646
350	relative_P_30	0.2736	0.2088
350	relative_P_5	0.6200	0.2815
350	relative_P_500	0.3515	0.1895
350	set_F	0.0600	0.0235
350	set_P	0.0327	0.0131
350	set_map	0.0160	0.0128
350	set_recall	0.4317	0.1982
350	set_relative_P	0.4317	0.1982
350	success_1	0.8636	0.3432
350	success_10	0.9818	0.1336
350	success_5	0.9727	0.1629
350	utility	-863.4182	213.3128
351	11pt_avg	0.4556	0.1298
351	G	0.3137	0.0913
351	P_10	0.8327	0.1738
351	P_100	0.2796	0.0792
351	P_1000	0.0380	0.0079
351	P_15	0.7733	0.1764
351	P_20	0.6973	0.1760
351	P_200	0.1608	0.0412
351	P_30	0.5751	0.1468
351	P_5	0.8927	0.1611
351	P_500	0.0704	0.0166
351	Rndcg	0.6395	0.1195
351	Rprec	0.4574	0.1139
351	Rprec_mult_0.20	0.8327	0.1738
351	Rprec_mult_0.40	0.6973	0.1760
351	Rprec_mult_0.60	0.5853	0.1493
351	Rprec_mult_0.80	0.5009	0.1349
351	Rprec_mult_1.00	0.4574	0.1139
351	Rprec_mult_1.20	0.4093	0.1032
351	Rprec_mult_1.40	0.3692	0.0964
351	Rprec_mult_1.60	0.3387	0.0910
351	Rprec_mult_1.80	0.3109	0.0861
351	Rprec_mult_2.00	0.2886	0.0812
351	binG	0.3137	0.0913
351	bpref	0.4282	0.1202
351	infAP	0.4432	0.1437
351	iprec_at_recall_0.00	0.9926	0.0367
351	iprec_at_recall_0.10	0.9095	0.1541
351	iprec_at_recall_0.20	0.7931	0.2448
351	iprec_at_recall_0.30	0.6911	0.2558
351	iprec_at_recall_0.40	0.5289	0.2582
351	iprec_at_recall_0.50	0.4269	0.2365
351	iprec_at_recall_0.60	0.3124	0.2052
351	iprec_at_recall_0.70	0.1835	0.1813
351	iprec_at_recall_0.80	0.1192	0.1510
351	iprec_at_recall_0.90	0.0506	0.0843
351	iprec_at_recall_1.00	0.0041	0.0172
351	map	0.4432	0.1437
351	map_cut_10	0.1621	0.0464
351	map_cut_100	0.4130	0.1386
351	map_cut_1000	0.4432	0.1437
351	map_cut_15	0.2208	0.0686
351	map_cut_20	0.2604	0.0863
351	map_cut_200	0.4329	0.1434
351	map_cut_30	0.3077	0.1044
351	map_cut_5	0.0891	0.0223
351	map_cut_500	0.4402	0.1438
351	ndcg	0.7286	0.1335
351	ndcg_cut_10	0.8573	0.1552
351	ndcg_cut_100	0.6289	0.1393
351	ndcg_cut_1000	0.7286	0.1335
351	ndcg_cut_15	0.8123	0.1569
351	ndcg_cut_20	0.7551	0.1568
351	ndcg_cut_200	0.6758	0.1384
351	ndcg_cut_30	0.6571	0.1377
351	ndcg_cut_5	0.9025	0.1507
351	ndcg_cut_500	0.7054	0.1371
351	ndcg_rel	0.7290	0.1221
351	num_nonrel_judged_ret	399.4091	102.0191
351	num_rel	48.0000	0.0000
351	num_rel_ret	37.9636	7.9349
351	num_ret	914.1273	246.9322
351	prefs_avgjg	0.7402	0.1596
351	prefs_avgjg_Rnonrel	0.0425	0.0062
351	prefs_avgjg_Rnonrel_ret	0.0933	0.0469
351	prefs_avgjg_imp	0.8482	0.0840
351	prefs_avgjg_ret	0.8253	0.1159
351	prefs_num_prefs_ful	34854.6000	7513.4067
351	prefs_num_prefs_ful_ret	13252.3727	5080.7829
351	prefs_num_prefs_poss	47088.0000	0.0000
351	prefs_pair	0.7402	0.1596
351	prefs_pair_imp	0.8482	0.0840
351	prefs_pair_ret	0.8253	0.1159
351	prefs_simp	0.7402	0.1596
351	prefs_simp_imp	0.8482	0.0840
351	prefs_simp_ret	0.8253	0.1159
351	recall_10	0.1735	0.0362
351	recall_100	0.5826	0.1651
351	recall_1000	0.7909	0.1653
351	recall_15	0.2417	0.0551
351	recall_20	0.2905	0.0734
351	recall_200	0.6699	0.1715
351	recall_30	0.3595	0.0917
351	recall_5	0.0930	0.0168
351	recall_500	0.7337	0.1727
351	recip_rank	0.9758	0.1120
351	relative_P_10	0.8327	0.1738
351	relative_P_100	0.5826	0.1651
351	relative_P_1000	0.7909	0.1653
351	relative_P_15	0.7733	0.1764
351	relative_P_20	0.6973	0.1760
351	relative_P_200	0.6699	0.1715
351	relative_P_30	0.5751	0.1468
351	relative_P_5	0.8927	0.1611
351	relative_P_500	0.7337	0.1727
351	set_F	0.0927	0.0660
351	set_P	0.0577	0.0905
351	set_map	0.0405	0.0356
351	set_recall	0.7909	0.1653
351	set_relative_P	0.7965	0.1568
351	success_1	0.9545	0.2083
351	success_10	1.0000	0.0000
351	success_5	1.0000	0.0000
351	utility	-838.2000	238.3558
352	11pt_avg	0.1696	0.1644
352	G	0.0608	0.0567
352	P_10	0.4355	0.2181
352	P_100	0.2592	0.2067
352	P_1000	0.0797	0.0802
352	P_15	0.4109	0.2149
352	P_20	0.3868	0.2010
352	P_200	0.2079	0.1934
352	P_30	0.3633	0.1996
352	P_5	0.4709	0.2436
352	P_500	0.1301	0.1315
352	Rndcg	0.2670	0.2298
352	Rprec	0.1912	0.1828
352	Rprec_mult_0.20	0.3176	0.2026
352	Rprec_mult_0.40	0.2602	0.2073
352	Rprec_mult_0.60	0.2293	0.1999
352	Rprec_mult_0.80	0.2093	0.1945
352	Rprec_mult_1.00	0.1912	0.1828
352	Rprec_mult_1.20	0.1753	0.1715
352	Rprec_mult_1.40	0.1618	0.1612
352	Rprec_mult_1.60	0.1500	0.1509
352	Rprec_mult_1.80	0.1401	0.1411
352	Rprec_mult_2.00	0.1315	0.1331
352	binG	0.0608	0.0567
352	bpref	0.1945	0.1879
352	infAP	0.1339	0.1669
352	iprec_at_recall_0.00	0.7401	0.3331
352	iprec_at_recall_0.10	0.2391	0.2785
352	iprec_at_recall_0.20	0.1912	0.2625
352	iprec_at_recall_0.30	0.1644	0.2410
352	iprec_at_recall_0.40	0.1450	0.2254
352	iprec_at_recall_0.50	0.1213	0.2024
352	iprec_at_recall_0.60	0.0994	0.1800
352	iprec_at_recall_0.70	0.0802	0.1573
352	iprec_at_recall_0.80	0.0630	0.1263
352	iprec_at_recall_0.90	0.0215	0.0722
352	iprec_at_recall_1.00	0.0000	0.0000
352	map	0.1339	0.1669
352	map_cut_10	0.0120	0.0078
352	map_cut_100	0.0573	0.0562
352	map_cut_1000	0.1339	0.1669
352	map_cut_15	0.0162	0.0108
352	map_cut_20	0.0195	0.0134
352	map_cut_200	0.0867	0.0980
352	map_cut_30	0.0261	0.0187
352	map_cut_5	0.0072	0.0052
352	map_cut_500	0.1213	0.1499
352	ndcg	0.3123	0.2794
352	ndcg_cut_10	0.4547	0.2338
352	ndcg_cut_100	0.2935	0.2023
352	ndcg_cut_1000	0.3123	0.2794
352	ndcg_cut_15	0.4343	0.2269
352	ndcg_cut_20	0.4142	0.2153
352	ndcg_cut_200	0.2391	0.1913
352	ndcg_cut_30	0.3917	0.2089
352	ndcg_cut_5	0.4841	0.2654
352	ndcg_cut_500	0.2741	0.2426
352	ndcg_rel	0.2885	0.2236
352	num_nonrel_judged_ret	283.0455	101.4115
352	num_rel	246.0000	0.0000
352	num_rel_ret	79.7455	80.2065
352	num_ret	922.0000	224.4145
352	prefs_avgjg	0.3095	0.3100
352	prefs_avgjg_Rnonrel	0.0651	0.0206
352	prefs_avgjg_Rnonrel_ret	0.1759	0.1570
352	prefs_avgjg_imp	0.6111	0.2576
352	prefs_avgjg_ret	0.6435	0.1693
352	prefs_num_prefs_ful	172446.1727	172737.4440
352	prefs_num_prefs_ful_ret	16465.0909	19149.9353
352	prefs_num_prefs_poss	557190.0000	0.0000
352	prefs_pair	0.3095	0.3100
352	prefs_pair_imp	0.6111	0.2576
352	prefs_pair_ret	0.6435	0.1693
352	prefs_simp	0.3095	0.3100
352	prefs_simp_imp	0.6111	0.2576
352	prefs_simp_ret	0.6435	0.1693
352	recall_10	0.0177	0.0089
352	recall_100	0.1054	0.0840
352	recall_1000	0.3242	0.3260
352	recall_15	0.0251	0.0131
352	recall_20	0.0315	0.0163
352	recall_200	0.1690	0.1572
352	recall_30	0.0443	0.0243
352	recall_5	0.0096	0.0050
352	recall_500	0.2645	0.2672
352	recip_rank	0.6894	0.3678
352	relative_P_10	0.4355	0.2181
352	relative_P_100	0.2592	0.2067
352	relative_P_1000	0.3242	0.3260
352	relative_P_15	0.4109	0.2149
352	relative_P_20	0.3868	0.2010
352	relative_P_200	0.2079	0.1934
352	relative_P_30	0.3633	0.1996
352	relative_P_5	0.4709	0.2436
352	relative_P_500	0.2645	0.2672
352	set_F	   nan	   nan
352	set_P	0.0963	0.1014
352	set_map	0.0575	0.0784
352	set_recall	0.3242	0.3260
352	set_relative_P	0.3242	0.3260
352	success_1	0.5545	0.4970
352	success_10	0.9000	0.3000
352	success_5	0.8909	0.3118
352	utility	-762.5091	261.1725
353	11pt_avg	0.3050	0.1252
353	G	0.1336	0.0465
353	P_10	0.5309	0.1925
353	P_100	0.4203	0.1503
353	P_1000	0.0745	0.0280
353	P_15	0.4794	0.1747
353	P_20	0.4741	0.1457
353	P_200	0.2932	0.1131
353	P_30	0.4506	0.1289
353	P_5	0.5582	0.2488
353	P_500	0.1383	0.0538
353	Rndcg	0.4885	0.1556
353	Rprec	0.3933	0.1476
353	Rprec_mult_0.20	0.4582	0.1366
353	Rprec_mult_0.40	0.4473	0.1337
353	Rprec_mult_0.60	0.4482	0.1493
353	Rprec_mult_0.80	0.4227	0.1502
353	Rprec_mult_1.00	0.3933	0.1476
353	Rprec_mult_1.20	0.3568	0.1364
353	Rprec_mult_1.40	0.3275	0.1261
353	Rprec_mult_1.60	0.2979	0.1147
353	Rprec_mult_1.80	0.2739	0.1065
353	Rprec_mult_2.00	0.2524	0.0986
353	binG	0.1336	0.0465
353	bpref	0.3452	0.1260
353	infAP	0.2716	0.1308
353	iprec_at_recall_0.00	0.8808	0.2102
353	iprec_at_recall_0.10	0.5250	0.1751
353	iprec_at_recall_0.20	0.4655	0.1865
353	iprec_at_recall_0.30	0.4321	0.2061
353	iprec_at_recall_0.40	0.3714	0.2280
353	iprec_at_recall_0.50	0.3149	0.2266
353	iprec_at_recall_0.60	0.1602	0.1915
353	iprec_at_recall_0.70	0.0968	0.1626
353	iprec_at_recall_0.80	0.0643	0.1384
353	iprec_at_recall_0.90	0.0430	0.1144
353	iprec_at_recall_1.00	0.0015	0.0157
353	map	0.2716	0.1308
353	map_cut_10	0.0323	0.0174
353	map_cut_100	0.1854	0.0824
353	map_cut_1000	0.2716	0.1308
353	map_cut_15	0.0413	0.0222
353	map_cut_20	0.0509	0.0249
353	map_cut_200	0.2448	0.1170
353	map_cut_30	0.0675	0.0301
353	map_cut_5	0.0193	0.0116
353	map_cut_500	0.2666	0.1295
353	ndcg	0.5570	0.1818
353	ndcg_cut_10	0.5612	0.2068
353	ndcg_cut_100	0.4430	0.1402
353	ndcg_cut_1000	0.5570	0.1818
353	ndcg_cut_15	0.5196	0.1843
353	ndcg_cut_20	0.5095	0.1609
353	ndcg_cut_200	0.4807	0.1614
353	ndcg_cut_30	0.4848	0.1398
353	ndcg_cut_5	0.5914	0.2638
353	ndcg_cut_500	0.5333	0.1788
353	ndcg_rel	0.5092	0.1420
353	num_nonrel_judged_ret	270.7364	78.3741
353	num_rel	122.0000	0.0000
353	num_rel_ret	74.5182	27.9547
353	num_ret	913.9727	247.3977
353	prefs_avgjg	0.5800	0.2151
353	prefs_avgjg_Rnonrel	0.0721	0.0141
353	prefs_avgjg_Rnonrel_ret	0.2013	0.0623
353	prefs_avgjg_imp	0.8281	0.0887
353	prefs_avgjg_ret	0.7605	0.1038
353	prefs_num_prefs_ful	90506.2636	33557.3479
353	prefs_num_prefs_ful_ret	16877.5909	8207.1578
353	prefs_num_prefs_poss	156038.0000	0.0000
353	prefs_pair	0.5800	0.2151
353	prefs_pair_imp	0.8281	0.0887
353	prefs_pair_ret	0.7605	0.1038
353	prefs_simp	0.5800	0.2151
353	prefs_simp_imp	0.8281	0.0887
353	prefs_simp_ret	0.7605	0.1038
353	recall_10	0.0435	0.0158
353	recall_100	0.3445	0.1232
353	recall_1000	0.6108	0.2291
353	recall_15	0.0590	0.0215
353	recall_20	0.0778	0.0239
353	recall_200	0.4807	0.1855
353	recall_30	0.1108	0.0317
353	recall_5	0.0229	0.0102
353	recall_500	0.5666	0.2206
353	recip_rank	0.8155	0.3031
353	relative_P_10	0.5309	0.1925
353	relative_P_100	0.4203	0.1503
353	relative_P_1000	0.6108	0.2291
353	relative_P_15	0.4794	0.1747
353	relative_P_20	0.4741	0.1457
353	relative_P_200	0.4807	0.1855
353	relative_P_30	0.4506	0.1289
353	relative_P_5	0.5582	0.2488
353	relative_P_500	0.5666	0.2206
353	set_F	0.1446	0.0475
353	set_P	0.0883	0.0420
353	set_map	0.0550	0.0313
353	set_recall	0.6108	0.2291
353	set_relative_P	0.6151	0.2208
353	success_1	0.7182	0.4499
353	success_10	0.9909	0.0949
353	success_5	0.9636	0.1872
353	utility	-764.9364	218.4721
354	11pt_avg	0.1340	0.0905
354	G	0.0543	0.0280
354	P_10	0.4209	0.2128
354	P_100	0.2692	0.1620
354	P_1000	0.1227	0.0549
354	P_15	0.4012	0.2097
354	P_20	0.3850	0.2075
354	P_200	0.2259	0.1176
354	P_30	0.3594	0.1996
354	P_5	0.4200	0.2396
354	P_500	0.1670	0.0877
354	Rndcg	0.2656	0.1244
354	Rprec	0.1889	0.1007
354	Rprec_mult_0.20	0.2974	0.1793
354	Rprec_mult_0.40	0.2431	0.1394
354	Rprec_mult_0.60	0.2209	0.1131
354	Rprec_mult_0.80	0.2037	0.1052
354	Rprec_mult_1.00	0.1889	0.1007
354	Rprec_mult_1.20	0.1762	0.0945
354	Rprec_mult_1.40	0.1660	0.0870
354	Rprec_mult_1.60	0.1565	0.0789
354	Rprec_mult_1.80	0.1486	0.0735
354	Rprec_mult_2.00	0.1416	0.0682
354	binG	0.0543	0.0280
354	bpref	0.1834	0.0985
354	infAP	0.0959	0.0831
354	iprec_at_recall_0.00	0.7063	0.2849
354	iprec_at_recall_0.10	0.2725	0.2081
354	iprec_at_recall_0.20	0.2022	0.1684
354	iprec_at_recall_0.30	0.1475	0.1444
354	iprec_at_recall_0.40	0.0739	0.1365
354	iprec_at_recall_0.50	0.0405	0.1132
354	iprec_at_recall_0.60	0.0205	0.0941
354	iprec_at_recall_0.70	0.0110	0.0816
354	iprec_at_recall_0.80	0.0000	0.0000
354	iprec_at_recall_0.90	0.0000	0.0000
354	iprec_at_recall_1.00	0.0000	0.0000
354	map	0.0959	0.0831
354	map_cut_10	0.0073	0.0055
354	map_cut_100	0.0363	0.0353
354	map_cut_1000	0.0959	0.0831
354	map_cut_15	0.0101	0.0079
354	map_cut_20	0.0125	0.0102
354	map_cut_200	0.0516	0.0490
354	map_cut_30	0.0168	0.0143
354	map_cut_5	0.0041	0.0032
354	map_cut_500	0.0783	0.0753
354	ndcg	0.3193	0.1436
354	ndcg_cut_10	0.4207	0.2110
354	ndcg_cut_100	0.2958	0.1653
354	ndcg_cut_1000	0.3193	0.1436
354	ndcg_cut_15	0.4079	0.2050
354	ndcg_cut_20	0.3958	0.2018
354	ndcg_cut_200	0.2507	0.1270
354	ndcg_cut_30	0.3755	0.1965
354	ndcg_cut_5	0.4196	0.2440
354	ndcg_cut_500	0.2438	0.1227
354	ndcg_rel	0.3074	0.1378
354	num_nonrel_judged_ret	342.3545	111.5046
354	num_rel	361.0000	0.0000
354	num_rel_ret	122.6909	54.8757
354	num_ret	921.5091	225.4347
354	prefs_avgjg	0.3100	0.1398
354	prefs_avgjg_Rnonrel	0.1013	0.0243
354	prefs_avgjg_Rnonrel_ret	0.1937	0.0829
354	prefs_avgjg_imp	0.6605	0.1063
354	prefs_avgjg_ret	0.5100	0.1214
354	prefs_num_prefs_ful	215888.3818	97379.0209
354	prefs_num_prefs_ful_ret	25779.5000	18541.3709
354	prefs_num_prefs_poss	696369.0000	0.0000
354	prefs_pair	0.3100	0.1398
354	prefs_pair_imp	0.6605	0.1063
354	prefs_pair_ret	0.5100	0.1214
354	prefs_simp	0.3100	0.1398
354	prefs_simp_imp	0.6605	0.1063
354	prefs_simp_ret	0.5100	0.1214
354	recall_10	0.0117	0.0059
354	recall_100	0.0746	0.0449
354	recall_1000	0.3399	0.1520
354	recall_15	0.0167	0.0087
354	recall_20	0.0213	0.0115
354	recall_200	0.1252	0.0651
354	recall_30	0.0299	0.0166
354	recall_5	0.0058	0.0033
354	recall_500	0.2314	0.1215
354	recip_rank	0.6124	0.3320
354	relative_P_10	0.4209	0.2128
354	relative_P_100	0.2692	0.1620
354	relative_P_1000	0.3399	0.1520
354	relative_P_15	0.4012	0.2097
354	relative_P_20	0.3850	0.2075
354	relative_P_200	0.2259	0.1176
354	relative_P_30	0.3594	0.1996
354	relative_P_5	0.4200	0.2396
354	relative_P_500	0.2314	0.1215
354	set_F	0.1848	0.0738
354	set_P	0.1300	0.0464
354	set_map	0.0506	0.0382
354	set_recall	0.3399	0.1520
354	set_relative_P	0.3428	0.1472
354	success_1	0.3909	0.4880
354	success_10	0.9545	0.2083
354	success_5	0.9273	0.2597
354	utility	-676.1273	178.5391
355	11pt_avg	0.2238	0.1070
355	G	0.1639	0.0734
355	P_10	0.4836	0.2002
355	P_100	0.1565	0.0687
355	P_1000	0.0280	0.0117
355	P_15	0.4055	0.1665
355	P_20	0.3664	0.1480
355	P_200	0.1007	0.0460
355	P_30	0.2970	0.1253
355	P_5	0.5564	0.2634
355	P_500	0.0503	0.0222
355	Rndcg	0.4133	0.1634
355	Rprec	0.2426	0.1044
355	Rprec_mult_0.20	0.4919	0.2051
355	Rprec_mult_0.40	0.3793	0.1548
355	Rprec_mult_0.60	0.3145	0.1302
355	Rprec_mult_0.80	0.2737	0.1185
355	Rprec_mult_1.00	0.2426	0.1044
355	Rprec_mult_1.20	0.2190	0.0948
355	Rprec_mult_1.40	0.2027	0.0870
355	Rprec_mult_1.60	0.1890	0.0822
355	Rprec_mult_1.80	0.1771	0.0781
355	Rprec_mult_2.00	0.1682	0.0735
355	binG	0.1639	0.0734
355	bpref	0.1993	0.0893
355	infAP	0.1938	0.1080
355	iprec_at_recall_0.00	0.8742	0.2768
355	iprec_at_recall_0.10	0.5481	0.2624
355	iprec_at_recall_0.20	0.3583	0.2161
355	iprec_at_recall_0.30	0.2316	0.1655
355	iprec_at_recall_0.40	0.1618	0.1326
355	iprec_at_recall_0.50	0.1119	0.1077
355	iprec_at_recall_0.60	0.0816	0.0923
355	iprec_at_recall_0.70	0.0532	0.0678
355	iprec_at_recall_0.80	0.0320	0.0511
355	iprec_at_recall_0.90	0.0086	0.0213
355	iprec_at_recall_1.00	0.0000	0.0000
355	map	0.1938	0.1080
355	map_cut_10	0.0833	0.0444
355	map_cut_100	0.1655	0.0921
355	map_cut_1000	0.1938	0.1080
355	map_cut_15	0.0982	0.0515
355	map_cut_20	0.1109	0.0583
355	map_cut_200	0.1813	0.1021
355	map_cut_30	0.1254	0.0678
355	map_cut_5	0.0554	0.0306
355	map_cut_500	0.1911	0.1070
355	ndcg	0.5095	0.2027
355	ndcg_cut_10	0.5424	0.2173
355	ndcg_cut_100	0.3818	0.1554
355	ndcg_cut_1000	0.5095	0.2027
355	ndcg_cut_15	0.4770	0.1880
355	ndcg_cut_20	0.4388	0.1715
355	ndcg_cut_200	0.4340	0.1800
355	ndcg_cut_30	0.3739	0.1488
355	ndcg_cut_5	0.6141	0.2657
355	ndcg_cut_500	0.4844	0.1978
355	ndcg_rel	0.4797	0.1796
355	num_nonrel_judged_ret	366.0727	114.9518
355	num_rel	45.0000	0.0000
355	num_rel_ret	28.0091	11.6724
355	num_ret	916.8636	237.6354
355	prefs_avgjg	0.5771	0.2412
355	prefs_avgjg_Rnonrel	0.0212	0.0034
355	prefs_avgjg_Rnonrel_ret	0.0515	0.0213
355	prefs_avgjg_imp	0.7628	0.1879
355	prefs_avgjg_ret	0.7120	0.1560
355	prefs_num_prefs_ful	36461.0455	15241.9265
355	prefs_num_prefs_ful_ret	8356.8273	4201.9257
355	prefs_num_prefs_poss	63180.0000	0.0000
355	prefs_pair	0.5771	0.2412
355	prefs_pair_imp	0.7628	0.1879
355	prefs_pair_ret	0.7120	0.1560
355	prefs_simp	0.5771	0.2412
355	prefs_simp_imp	0.7628	0.1879
355	prefs_simp_ret	0.7120	0.1560
355	recall_10	0.1075	0.0445
355	recall_100	0.3479	0.1526
355	recall_1000	0.6224	0.2594
355	recall_15	0.1352	0.0555
355	recall_20	0.1628	0.0658
355	recall_200	0.4477	0.2046
355	recall_30	0.1980	0.0835
355	recall_5	0.0618	0.0293
355	recall_500	0.5588	0.2463
355	recip_rank	0.8615	0.2925
355	relative_P_10	0.4836	0.2002
355	relative_P_100	0.3479	0.1526
355	relative_P_1000	0.6224	0.2594
355	relative_P_15	0.4055	0.1665
355	relative_P_20	0.3664	0.1480
355	relative_P_200	0.4477	0.2046
355	relative_P_30	0.2970	0.1253
355	relative_P_5	0.5564	0.2634
355	relative_P_500	0.5588	0.2463
355	set_F	   nan	   nan
355	set_P	0.0290	0.0107
355	set_map	0.0206	0.0124
355	set_recall	0.6224	0.2594
355	set_relative_P	0.6224	0.2594
355	success_1	0.8000	0.4000
355	success_10	0.9455	0.2271
355	success_5	0.9364	0.2441
355	utility	-860.8455	220.6683
356	11pt_avg	0.0450	0.0289
356	G	0.0821	0.0436
356	P_10	0.0327	0.0488
356	P_100	0.0493	0.0275
356	P_1000	0.0077	0.0049
356	P_15	0.0485	0.0421
356	P_20	0.0518	0.0350
356	P_200	0.0290	0.0169
356	P_30	0.0561	0.0308
356	P_5	0.0218	0.0624
356	P_500	0.0136	0.0085
356	Rndcg	0.1330	0.0675
356	Rprec	0.0524	0.0407
356	Rprec_mult_0.20	0.0227	0.0719
356	Rprec_mult_0.40	0.0273	0.0562
356	Rprec_mult_0.60	0.0380	0.0481
356	Rprec_mult_0.80	0.0428	0.0422
356	Rprec_mult_1.00	0.0524	0.0407
356	Rprec_mult_1.20	0.0537	0.0346
356	Rprec_mult_1.40	0.0538	0.0329
356	Rprec_mult_1.60	0.0565	0.0317
356	Rprec_mult_1.80	0.0566	0.0296
356	Rprec_mult_2.00	0.0604	0.0334
356	binG	0.0821	0.0436
356	bpref	0.0224	0.0213
356	infAP	0.0363	0.0233
356	iprec_at_recall_0.00	0.1795	0.2501
356	iprec_at_recall_0.10	0.0918	0.0482
356	iprec_at_recall_0.20	0.0633	0.0539
356	iprec_at_recall_0.30	0.0609	0.0540
356	iprec_at_recall_0.40	0.0442	0.0515
356	iprec_at_recall_0.50	0.0277	0.0371
356	iprec_at_recall_0.60	0.0145	0.0213
356	iprec_at_recall_0.70	0.0098	0.0146
356	iprec_at_recall_0.80	0.0034	0.0089
356	iprec_at_recall_0.90	0.0000	0.0000
356	iprec_at_recall_1.00	0.0000	0.0000
356	map	0.0363	0.0233
356	map_cut_10	0.0069	0.0161
356	map_cut_100	0.0306	0.0198
356	map_cut_1000	0.0363	0.0233
356	map_cut_15	0.0091	0.0157
356	map_cut_20	0.0107	0.0155
356	map_cut_200	0.0335	0.0213
356	map_cut_30	0.0139	0.0162
356	map_cut_5	0.0052	0.0162
356	map_cut_500	0.0355	0.0227
356	ndcg	0.2175	0.1150
356	ndcg_cut_10	0.0360	0.0641
356	ndcg_cut_100	0.1646	0.0770
356	ndcg_cut_1000	0.2175	0.1150
356	ndcg_cut_15	0.0458	0.0485
356	ndcg_cut_20	0.0538	0.0434
356	ndcg_cut_200	0.1836	0.0891
356	ndcg_cut_30	0.0754	0.0479
356	ndcg_cut_5	0.0317	0.0948
356	ndcg_cut_500	0.2026	0.1039
356	ndcg_rel	0.1738	0.0771
356	num_nonrel_judged_ret	289.5364	95.3454
356	num_rel	17.0000	0.0000
356	num_rel_ret	7.6727	4.9029
356	num_ret	913.6273	248.6944
356	prefs_avgjg	0.4260	0.2673
356	prefs_avgjg_Rnonrel	0.0050	0.0007
356	prefs_avgjg_Rnonrel_ret	0.0116	0.0077
356	prefs_avgjg_imp	0.6915	0.2397
356	prefs_avgjg_ret	0.6947	0.2141
356	prefs_num_prefs_ful	11775.0727	7388.6449
356	prefs_num_prefs_ful_ret	1732.0545	1166.0738
356	prefs_num_prefs_poss	27642.0000	0.0000
356	prefs_pair	0.4260	0.2673
356	prefs_pair_imp	0.6915	0.2397
356	prefs_pair_ret	0.6947	0.2141
356	prefs_simp	0.4260	0.2673
356	prefs_simp_imp	0.6915	0.2397
356	prefs_simp_ret	0.6947	0.2141
356	recall_10	0.0192	0.0287
356	recall_100	0.2898	0.1617
356	recall_1000	0.4513	0.2884
356	recall_15	0.0428	0.0371
356	recall_20	0.0609	0.0411
356	recall_200	0.3406	0.1985
356	recall_30	0.0989	0.0543
356	recall_5	0.0064	0.0183
356	recall_500	0.3989	0.2490
356	recip_rank	0.1550	0.2567
356	relative_P_10	0.0327	0.0488
356	relative_P_100	0.2898	0.1617
356	relative_P_1000	0.4513	0.2884
356	relative_P_15	0.0485	0.0421
356	relative_P_20	0.0609	0.0411
356	relative_P_200	0.3406	0.1985
356	relative_P_30	0.0989	0.0543
356	relative_P_5	0.0218	0.0624
356	relative_P_500	0.3989	0.2490
356	set_F	   nan	   nan
356	set_P	0.0081	0.0049
356	set_map	0.0050	0.0046
356	set_recall	0.4513	0.2884
356	set_relative_P	0.4513	0.2884
356	success_1	0.0818	0.2741
356	success_10	0.3182	0.4658
356	success_5	0.1091	0.3118
356	utility	-898.2818	244.3997
357	11pt_avg	0.2794	0.1129
357	G	0.1100	0.0442
357	P_10	0.7109	0.1702
357	P_100	0.4970	0.1525
357	P_1000	0.1430	0.0502
357	P_15	0.6909	0.1659
357	P_20	0.6677	0.1670
357	P_200	0.3874	0.1283
357	P_30	0.6355	0.1666
357	P_5	0.7600	0.1960
357	P_500	0.2314	0.0813
357	Rndcg	0.4522	0.1385
357	Rprec	0.3325	0.1100
357	Rprec_mult_0.20	0.5759	0.1626
357	Rprec_mult_0.40	0.4875	0.1513
357	Rprec_mult_0.60	0.4230	0.1376
357	Rprec_mult_0.80	0.3728	0.1245
357	Rprec_mult_1.00	0.3325	0.1100
357	Rprec_mult_1.20	0.3011	0.1023
357	Rprec_mult_1.40	0.2750	0.0950
357	Rprec_mult_1.60	0.2535	0.0881
357	Rprec_mult_1.80	0.2356	0.0826
357	Rprec_mult_2.00	0.2198	0.0777
357	binG	0.1100	0.0442
357	bpref	0.3475	0.1195
357	infAP	0.2465	0.1203
357	iprec_at_recall_0.00	0.9577	0.1332
357	iprec_at_recall_0.10	0.5944	0.2214
357	iprec_at_recall_0.20	0.4838	0.2256
357	iprec_at_recall_0.30	0.3761	0.2216
357	iprec_at_recall_0.40	0.2911	0.1930
357	iprec_at_recall_0.50	0.2117	0.1734
357	iprec_at_recall_0.60	0.1079	0.1488
357	iprec_at_recall_0.70	0.0432	0.1064
357	iprec_at_recall_0.80	0.0070	0.0421
357	iprec_at_recall_0.90	0.0000	0.0000
357	iprec_at_recall_1.00	0.0000	0.0000
357	map	0.2465	0.1203
357	map_cut_10	0.0223	0.0074
357	map_cut_100	0.1248	0.0574
357	map_cut_1000	0.2465	0.1203
357	map_cut_15	0.0314	0.0107
357	map_cut_20	0.0395	0.0143
357	map_cut_200	0.1761	0.0852
357	map_cut_30	0.0543	0.0210
357	map_cut_5	0.0128	0.0045
357	map_cut_500	0.2253	0.1110
357	ndcg	0.5201	0.1648
357	ndcg_cut_10	0.7417	0.1644
357	ndcg_cut_100	0.5422	0.1480
357	ndcg_cut_1000	0.5201	0.1648
357	ndcg_cut_15	0.7214	0.1590
357	ndcg_cut_20	0.7006	0.1591
357	ndcg_cut_200	0.4375	0.1293
357	ndcg_cut_30	0.6705	0.1587
357	ndcg_cut_5	0.7868	0.1961
357	ndcg_cut_500	0.4539	0.1425
357	ndcg_rel	0.5207	0.1523
357	num_nonrel_judged_ret	241.8182	79.7162
357	num_rel	270.0000	0.0000
357	num_rel_ret	143.0455	50.1930
357	num_ret	914.6182	245.1887
357	prefs_avgjg	0.4931	0.1714
357	prefs_avgjg_Rnonrel	0.1336	0.0339
357	prefs_avgjg_Rnonrel_ret	0.3558	0.0942
357	prefs_avgjg_imp	0.8054	0.0653
357	prefs_avgjg_ret	0.6272	0.0743
357	prefs_num_prefs_ful	179610.1909	62422.5686
357	prefs_num_prefs_ful_ret	24675.4909	12626.2816
357	prefs_num_prefs_poss	364230.0000	0.0000
357	prefs_pair	0.4931	0.1714
357	prefs_pair_imp	0.8054	0.0653
357	prefs_pair_ret	0.6272	0.0743
357	prefs_simp	0.4931	0.1714
357	prefs_simp_imp	0.8054	0.0653
357	prefs_simp_ret	0.6272	0.0743
357	recall_10	0.0263	0.0063
357	recall_100	0.1841	0.0565
357	recall_1000	0.5298	0.1859
357	recall_15	0.0384	0.0092
357	recall_20	0.0495	0.0124
357	recall_200	0.2870	0.0950
357	recall_30	0.0706	0.0185
357	recall_5	0.0141	0.0036
357	recall_500	0.4285	0.1505
357	recip_rank	0.9291	0.1988
357	relative_P_10	0.7109	0.1702
357	relative_P_100	0.4970	0.1525
357	relative_P_1000	0.5298	0.1859
357	relative_P_15	0.6909	0.1659
357	relative_P_20	0.6677	0.1670
357	relative_P_200	0.3874	0.1283
357	relative_P_30	0.6355	0.1666
357	relative_P_5	0.7600	0.1960
357	relative_P_500	0.4285	0.1505
357	set_F	0.2373	0.0633
357	set_P	0.1639	0.0573
357	set_map	0.0884	0.0414
357	set_recall	0.5298	0.1859
357	set_relative_P	0.5376	0.1740
357	success_1	0.8818	0.3228
357	success_10	0.9909	0.0949
357	success_5	0.9909	0.0949
357	utility	-628.5273	190.2423
358	11pt_avg	0.2551	0.0949
358	G	0.1824	0.0518
358	P_10	0.4236	0.2119
358	P_100	0.2136	0.0643
358	P_1000	0.0447	0.0098
358	P_15	0.4018	0.1569
358	P_20	0.3805	0.1426
358	P_200	0.1615	0.0428
358	P_30	0.3297	0.1120
358	P_5	0.4309	0.2869
358	P_500	0.0842	0.0195
358	Rndcg	0.4625	0.1182
358	Rprec	0.2695	0.0852
358	Rprec_mult_0.20	0.4198	0.1946
358	Rprec_mult_0.40	0.3749	0.1392
358	Rprec_mult_0.60	0.3249	0.1097
358	Rprec_mult_0.80	0.2967	0.0978
358	Rprec_mult_1.00	0.2695	0.0852
358	Rprec_mult_1.20	0.2485	0.0779
358	Rprec_mult_1.40	0.2360	0.0749
358	Rprec_mult_1.60	0.2269	0.0712
358	Rprec_mult_1.80	0.2208	0.0669
358	Rprec_mult_2.00	0.2119	0.0636
358	binG	0.1824	0.0518
358	bpref	0.2132	0.0780
358	infAP	0.2377	0.0975
358	iprec_at_recall_0.00	0.6580	0.2701
358	iprec_at_recall_0.10	0.4886	0.2141
358	iprec_at_recall_0.20	0.3676	0.1561
358	iprec_at_recall_0.30	0.2899	0.1196
358	iprec_at_recall_0.40	0.2353	0.0984
358	iprec_at_recall_0.50	0.2021	0.0948
358	iprec_at_recall_0.60	0.1783	0.0895
358	iprec_at_recall_0.70	0.1576	0.0882
358	iprec_at_recall_0.80	0.1256	0.0767
358	iprec_at_recall_0.90	0.0990	0.0691
358	iprec_at_recall_1.00	0.0043	0.0214
358	map	0.2377	0.0975
358	map_cut_10	0.0521	0.0420
358	map_cut_100	0.1647	0.0850
358	map_cut_1000	0.2377	0.0975
358	map_cut_15	0.0684	0.0468
358	map_cut_20	0.0825	0.0538
358	map_cut_200	0.2082	0.0958
358	map_cut_30	0.1003	0.0608
358	map_cut_5	0.0299	0.0289
358	map_cut_500	0.2343	0.0983
358	ndcg	0.6244	0.1411
358	ndcg_cut_10	0.4124	0.2348
358	ndcg_cut_100	0.3941	0.1286
358	ndcg_cut_1000	0.6244	0.1411
358	ndcg_cut_15	0.4006	0.1874
358	ndcg_cut_20	0.3865	0.1697
358	ndcg_cut_200	0.5111	0.1407
358	ndcg_cut_30	0.3500	0.1393
358	ndcg_cut_5	0.4088	0.3050
358	ndcg_cut_500	0.6031	0.1432
358	ndcg_rel	0.4742	0.1253
358	num_nonrel_judged_ret	428.6909	129.7701
358	num_rel	51.0000	0.0000
358	num_rel_ret	44.7455	9.8410
358	num_ret	913.8000	248.0443
358	prefs_avgjg	0.7874	0.1703
358	prefs_avgjg_Rnonrel	0.0316	0.0047
358	prefs_avgjg_Rnonrel_ret	0.0717	0.0185
358	prefs_avgjg_imp	0.8675	0.0484
358	prefs_avgjg_ret	0.7320	0.1140
358	prefs_num_prefs_ful	42968.7455	9292.8247
358	prefs_num_prefs_ful_ret	15427.4636	5896.0141
358	prefs_num_prefs_poss	54570.0000	0.0000
358	prefs_pair	0.7874	0.1703
358	prefs_pair_imp	0.8675	0.0484
358	prefs_pair_ret	0.7320	0.1140
358	prefs_simp	0.7874	0.1703
358	prefs_simp_imp	0.8675	0.0484
358	prefs_simp_ret	0.7320	0.1140
358	recall_10	0.0830	0.0416
358	recall_100	0.4189	0.1260
358	recall_1000	0.8774	0.1930
358	recall_15	0.1182	0.0462
358	recall_20	0.1492	0.0559
358	recall_200	0.6333	0.1680
358	recall_30	0.1939	0.0659
358	recall_5	0.0422	0.0281
358	recall_500	0.8259	0.1915
358	recip_rank	0.5166	0.3540
358	relative_P_10	0.4236	0.2119
358	relative_P_100	0.4189	0.1260
358	relative_P_1000	0.8774	0.1930
358	relative_P_15	0.4018	0.1569
358	relative_P_20	0.3805	0.1426
358	relative_P_200	0.6333	0.1680
358	relative_P_30	0.3297	0.1120
358	relative_P_5	0.4309	0.2869
358	relative_P_500	0.8259	0.1915
358	set_F	0.0981	0.0237
358	set_P	0.0631	0.0874
358	set_map	0.0453	0.0095
358	set_recall	0.8774	0.1930
358	set_relative_P	0.8876	0.1666
358	success_1	0.3273	0.4692
358	success_10	0.9273	0.2597
358	success_5	0.8273	0.3780
358	utility	-824.3091	229.6086
359	11pt_avg	0.0575	0.0518
359	G	0.0963	0.0426
359	P_10	0.0891	0.0846
359	P_100	0.0556	0.0360
359	P_1000	0.0171	0.0069
359	P_15	0.0879	0.0696
359	P_20	0.0795	0.0597
359	P_200	0.0445	0.0218
359	P_30	0.0770	0.0572
359	P_5	0.0709	0.1131
359	P_500	0.0271	0.0124
359	Rndcg	0.1891	0.0899
359	Rprec	0.0769	0.0558
359	Rprec_mult_0.20	0.0743	0.1044
359	Rprec_mult_0.40	0.0871	0.0782
359	Rprec_mult_0.60	0.0829	0.0636
359	Rprec_mult_0.80	0.0759	0.0560
359	Rprec_mult_1.00	0.0769	0.0558
359	Rprec_mult_1.20	0.0759	0.0564
359	Rprec_mult_1.40	0.0757	0.0573
359	Rprec_mult_1.60	0.0733	0.0586
359	Rprec_mult_1.80	0.0716	0.0604
359	Rprec_mult_2.00	0.0688	0.0565
359	binG	0.0963	0.0426
359	bpref	0.0476	0.0373
359	infAP	0.0462	0.0381
359	iprec_at_recall_0.00	0.2123	0.2110
359	iprec_at_recall_0.10	0.1219	0.1165
359	iprec_at_recall_0.20	0.0867	0.0685
359	iprec_at_recall_0.30	0.0576	0.0561
359	iprec_at_recall_0.40	0.0434	0.0514
359	iprec_at_recall_0.50	0.0379	0.0515
359	iprec_at_recall_0.60	0.0317	0.0508
359	iprec_at_recall_0.70	0.0244	0.0480
359	iprec_at_recall_0.80	0.0145	0.0453
359	iprec_at_recall_0.90	0.0023	0.0090
359	iprec_at_recall_1.00	0.0000	0.0000
359	map	0.0462	0.0381
359	map_cut_10	0.0090	0.0132
359	map_cut_100	0.0287	0.0317
359	map_cut_1000	0.0462	0.0381
359	map_cut_15	0.0115	0.0143
359	map_cut_20	0.0128	0.0150
359	map_cut_200	0.0356	0.0353
359	map_cut_30	0.0163	0.0174
359	map_cut_5	0.0054	0.0108
359	map_cut_500	0.0430	0.0375
359	ndcg	0.3029	0.1315
359	ndcg_cut_10	0.0799	0.0838
359	ndcg_cut_100	0.1426	0.0943
359	ndcg_cut_1000	0.3029	0.1315
359	ndcg_cut_15	0.0811	0.0711
359	ndcg_cut_20	0.0766	0.0625
359	ndcg_cut_200	0.1952	0.1057
359	ndcg_cut_30	0.0789	0.0600
359	ndcg_cut_5	0.0655	0.1086
359	ndcg_cut_500	0.2596	0.1255
359	ndcg_rel	0.2266	0.0900
359	num_nonrel_judged_ret	429.2909	138.6095
359	num_rel	28.0000	0.0000
359	num_rel_ret	17.1182	6.8910
359	num_ret	913.9636	247.5223
359	prefs_avgjg	0.5342	0.2173
359	prefs_avgjg_Rnonrel	0.0100	0.0010
359	prefs_avgjg_Rnonrel_ret	0.0196	0.0088
359	prefs_avgjg_imp	0.7002	0.1835
359	prefs_avgjg_ret	0.5647	0.1612
359	prefs_num_prefs_ful	21493.3000	8743.7694
359	prefs_num_prefs_ful_ret	4853.4636	2479.4022
359	prefs_num_prefs_poss	40236.0000	0.0000
359	prefs_pair	0.5342	0.2173
359	prefs_pair_imp	0.7002	0.1835
359	prefs_pair_ret	0.5647	0.1612
359	prefs_simp	0.5342	0.2173
359	prefs_simp_imp	0.7002	0.1835
359	prefs_simp_ret	0.5647	0.1612
359	recall_10	0.0318	0.0302
359	recall_100	0.1987	0.1286
359	recall_1000	0.6114	0.2461
359	recall_15	0.0471	0.0373
359	recall_20	0.0568	0.0426
359	recall_200	0.3175	0.1556
359	recall_30	0.0825	0.0613
359	recall_5	0.0127	0.0202
359	recall_500	0.4841	0.2216
359	recip_rank	0.1875	0.2085
359	relative_P_10	0.0891	0.0846
359	relative_P_100	0.1987	0.1286
359	relative_P_1000	0.6114	0.2461
359	relative_P_15	0.0879	0.0696
359	relative_P_20	0.0795	0.0597
359	relative_P_200	0.3175	0.1556
359	relative_P_30	0.0825	0.0613
359	relative_P_5	0.0709	0.1131
359	relative_P_500	0.4841	0.2216
359	set_F	   nan	   nan
359	set_P	0.0185	0.0083
359	set_map	0.0127	0.0076
359	set_recall	0.6114	0.2461
359	set_relative_P	0.6114	0.2461
359	success_1	0.0364	0.1872
359	success_10	0.6455	0.4784
359	success_5	0.3182	0.4658
359	utility	-879.7273	238.6566
360	11pt_avg	0.2997	0.1357
360	G	0.1482	0.0560
360	P_10	0.6627	0.2888
360	P_100	0.3891	0.1922
360	P_1000	0.0988	0.0258
360	P_15	0.6182	0.2795
360	P_20	0.5764	0.2696
360	P_200	0.2926	0.1129
360	P_30	0.5358	0.2668
360	P_5	0.7236	0.3098
360	P_500	0.1657	0.0472
360	Rndcg	0.4879	0.1527
360	Rprec	0.3366	0.1417
360	Rprec_mult_0.20	0.5299	0.2610
360	Rprec_mult_0.40	0.4450	0.2128
360	Rprec_mult_0.60	0.4017	0.1980
360	Rprec_mult_0.80	0.3651	0.1698
360	Rprec_mult_1.00	0.3366	0.1417
360	Rprec_mult_1.20	0.3080	0.1201
360	Rprec_mult_1.40	0.2833	0.1061
360	Rprec_mult_1.60	0.2658	0.0926
360	Rprec_mult_1.80	0.2490	0.0843
360	Rprec_mult_2.00	0.2325	0.0766
360	binG	0.1482	0.0560
360	bpref	0.3099	0.1372
360	infAP	0.2714	0.1465
360	iprec_at_recall_0.00	0.9067	0.2271
360	iprec_at_recall_0.10	0.5942	0.2548
360	iprec_at_recall_0.20	0.4732	0.2585
360	iprec_at_recall_0.30	0.3932	0.2330
360	iprec_at_recall_0.40	0.3418	0.2201
360	iprec_at_recall_0.50	0.2817	0.2129
360	iprec_at_recall_0.60	0.1678	0.1552
360	iprec_at_recall_0.70	0.0947	0.1332
360	iprec_at_recall_0.80	0.0431	0.1008
360	iprec_at_recall_0.90	0.0000	0.0000
360	iprec_at_recall_1.00	0.0000	0.0000
360	map	0.2714	0.1465
360	map_cut_10	0.0391	0.0205
360	map_cut_100	0.1710	0.1193
360	map_cut_1000	0.2714	0.1465
360	map_cut_15	0.0531	0.0284
360	map_cut_20	0.0643	0.0358
360	map_cut_200	0.2195	0.1441
360	map_cut_30	0.0858	0.0521
360	map_cut_5	0.0225	0.0113
360	map_cut_500	0.2571	0.1481
360	ndcg	0.5880	0.1602
360	ndcg_cut_10	0.6963	0.2835
360	ndcg_cut_100	0.4413	0.1996
360	ndcg_cut_1000	0.5880	0.1602
360	ndcg_cut_15	0.6591	0.2724
360	ndcg_cut_20	0.6243	0.2639
360	ndcg_cut_200	0.4243	0.1610
360	ndcg_cut_30	0.5851	0.2593
360	ndcg_cut_5	0.7461	0.3016
360	ndcg_cut_500	0.5284	0.1601
360	ndcg_rel	0.5508	0.1696
360	num_nonrel_judged_ret	351.0364	99.9811
360	num_rel	151.0000	0.0000
360	num_rel_ret	98.7636	25.8464
360	num_ret	928.8364	215.7803
360	prefs_avgjg	0.5976	0.1562
360	prefs_avgjg_Rnonrel	0.0840	0.0146
360	prefs_avgjg_Rnonrel_ret	0.1924	0.0560
360	prefs_avgjg_imp	0.7966	0.0959
360	prefs_avgjg_ret	0.6773	0.1514
360	prefs_num_prefs_ful	116848.8091	30544.2643
360	prefs_num_prefs_ful_ret	25714.7273	11990.0120
360	prefs_num_prefs_poss	195545.0000	0.0000
360	prefs_pair	0.5976	0.1562
360	prefs_pair_imp	0.7966	0.0959
360	prefs_pair_ret	0.6773	0.1514
360	prefs_simp	0.5976	0.1562
360	prefs_simp_imp	0.7966	0.0959
360	prefs_simp_ret	0.6773	0.1514
360	recall_10	0.0439	0.0191
360	recall_100	0.2577	0.1273
360	recall_1000	0.6541	0.1712
360	recall_15	0.0614	0.0278
360	recall_20	0.0763	0.0357
360	recall_200	0.3876	0.1496
360	recall_30	0.1064	0.0530
360	recall_5	0.0240	0.0103
360	recall_500	0.5485	0.1561
360	recip_rank	0.8679	0.2927
360	relative_P_10	0.6627	0.2888
360	relative_P_100	0.3891	0.1922
360	relative_P_1000	0.6541	0.1712
360	relative_P_15	0.6182	0.2795
360	relative_P_20	0.5764	0.2696
360	relative_P_200	0.3876	0.1496
360	relative_P_30	0.5358	0.2668
360	relative_P_5	0.7236	0.3098
360	relative_P_500	0.5485	0.1561
360	set_F	0.1866	0.0487
360	set_P	0.1126	0.0409
360	set_map	0.0742	0.0271
360	set_recall	0.6541	0.1712
360	set_relative_P	0.6541	0.1712
360	success_1	0.8182	0.3857
360	success_10	0.9364	0.2441
360	success_5	0.9364	0.2441
360	utility	-731.3091	187.0688
361	11pt_avg	0.4127	0.1370
361	G	0.3635	0.1238
361	P_10	0.4591	0.1114
361	P_100	0.0661	0.0087
361	P_1000	0.0073	0.0010
361	P_15	0.3818	0.0862
361	P_20	0.3082	0.0582
361	P_200	0.0340	0.0034
361	P_30	0.2148	0.0355
361	P_5	0.4909	0.2134
361	P_500	0.0140	0.0015
361	Rndcg	0.5422	0.1475
361	Rprec	0.4657	0.1194
361	Rprec_mult_0.20	0.4545	0.3726
361	Rprec_mult_0.40	0.4909	0.2937
361	Rprec_mult_0.60	0.4849	0.1720
361	Rprec_mult_0.80	0.4818	0.1214
361	Rprec_mult_1.00	0.4657	0.1194
361	Rprec_mult_1.20	0.4463	0.1022
361	Rprec_mult_1.40	0.4056	0.0933
361	Rprec_mult_1.60	0.3818	0.0862
361	Rprec_mult_1.80	0.3497	0.0731
361	Rprec_mult_2.00	0.3384	0.0668
361	binG	0.3635	0.1238
361	bpref	0.4028	0.1407
361	infAP	0.3981	0.1513
361	iprec_at_recall_0.00	0.7059	0.2492
361	iprec_at_recall_0.10	0.7059	0.2492
361	iprec_at_recall_0.20	0.6538	0.2291
361	iprec_at_recall_0.30	0.6352	0.2241
361	iprec_at_recall_0.40	0.6013	0.2178
361	iprec_at_recall_0.50	0.5102	0.1514
361	iprec_at_recall_0.60	0.4075	0.1664
361	iprec_at_recall_0.70	0.3092	0.2104
361	iprec_at_recall_0.80	0.0075	0.0127
361	iprec_at_recall_0.90	0.0016	0.0045
361	iprec_at_recall_1.00	0.0016	0.0045
361	map	0.3981	0.1513
361	map_cut_10	0.3109	0.1520
361	map_cut_100	0.3961	0.1517
361	map_cut_1000	0.3981	0.1513
361	map_cut_15	0.3686	0.1657
361	map_cut_20	0.3856	0.1589
361	map_cut_200	0.3971	0.1508
361	map_cut_30	0.3938	0.1537
361	map_cut_5	0.1890	0.1457
361	map_cut_500	0.3977	0.1510
361	ndcg	0.6236	0.1434
361	ndcg_cut_10	0.4880	0.1581
361	ndcg_cut_100	0.6041	0.1428
361	ndcg_cut_1000	0.6236	0.1434
361	ndcg_cut_15	0.5586	0.1699
361	ndcg_cut_20	0.5831	0.1585
361	ndcg_cut_200	0.6104	0.1360
361	ndcg_cut_30	0.5972	0.1498
361	ndcg_cut_5	0.4716	0.2509
361	ndcg_cut_500	0.6165	0.1378
361	ndcg_rel	0.5699	0.1939
361	num_nonrel_judged_ret	409.9636	144.9785
361	num_rel	9.0000	0.0000
361	num_rel_ret	7.3000	0.9587
361	num_ret	913.8636	247.8489
361	prefs_avgjg	0.7972	0.0949
361	prefs_avgjg_Rnonrel	0.0045	0.0007
361	prefs_avgjg_Rnonrel_ret	0.0256	0.0557
361	prefs_avgjg_imp	0.9364	0.0210
361	prefs_avgjg_ret	0.9209	0.0979
361	prefs_num_prefs_ful	12082.0000	1438.6915
361	prefs_num_prefs_ful_ret	2864.3636	1096.8587
361	prefs_num_prefs_poss	15156.0000	0.0000
361	prefs_pair	0.7972	0.0949
361	prefs_pair_imp	0.9364	0.0210
361	prefs_pair_ret	0.9209	0.0979
361	prefs_simp	0.7972	0.0949
361	prefs_simp_imp	0.9364	0.0210
361	prefs_simp_ret	0.9209	0.0979
361	recall_10	0.5101	0.1238
361	recall_100	0.7344	0.0972
361	recall_1000	0.8111	0.1065
361	recall_15	0.6364	0.1436
361	recall_20	0.6849	0.1293
361	recall_200	0.7556	0.0761
361	recall_30	0.7162	0.1185
361	recall_5	0.2727	0.1186
361	recall_500	0.7798	0.0807
361	recip_rank	0.6127	0.3143
361	relative_P_10	0.5101	0.1238
361	relative_P_100	0.7344	0.0972
361	relative_P_1000	0.8111	0.1065
361	relative_P_15	0.6364	0.1436
361	relative_P_20	0.6849	0.1293
361	relative_P_200	0.7556	0.0761
361	relative_P_30	0.7162	0.1185
361	relative_P_5	0.4909	0.2134
361	relative_P_500	0.7798	0.0807
361	set_F	0.0271	0.0711
361	set_P	0.0171	0.0606
361	set_map	0.0125	0.0403
361	set_recall	0.8111	0.1065
361	set_relative_P	0.8111	0.1065
361	success_1	0.3727	0.4835
361	success_10	0.9909	0.0949
361	success_5	0.9909	0.0949
361	utility	-899.2636	246.7302
362	11pt_avg	0.1980	0.0982
362	G	0.1632	0.0712
362	P_10	0.4455	0.2369
362	P_100	0.1182	0.0442
362	P_1000	0.0246	0.0075
362	P_15	0.3733	0.1958
362	P_20	0.3286	0.1599
362	P_200	0.0755	0.0262
362	P_30	0.2612	0.1238
362	P_5	0.5436	0.2968
362	P_500	0.0411	0.0133
362	Rndcg	0.3830	0.1341
362	Rprec	0.2217	0.0987
362	Rprec_mult_0.20	0.4784	0.2539
362	Rprec_mult_0.40	0.3688	0.1877
362	Rprec_mult_0.60	0.2989	0.1383
362	Rprec_mult_0.80	0.2509	0.1157
362	Rprec_mult_1.00	0.2217	0.0987
362	Rprec_mult_1.20	0.1944	0.0850
362	Rprec_mult_1.40	0.1754	0.0749
362	Rprec_mult_1.60	0.1579	0.0678
362	Rprec_mult_1.80	0.1456	0.0618
362	Rprec_mult_2.00	0.1375	0.0573
362	binG	0.1632	0.0712
362	bpref	0.1837	0.0927
362	infAP	0.1650	0.0997
362	iprec_at_recall_0.00	0.7961	0.2804
362	iprec_at_recall_0.10	0.5619	0.3045
362	iprec_at_recall_0.20	0.3718	0.2995
362	iprec_at_recall_0.30	0.1934	0.1803
362	iprec_at_recall_0.40	0.1129	0.1157
362	iprec_at_recall_0.50	0.0689	0.0665
362	iprec_at_recall_0.60	0.0399	0.0443
362	iprec_at_recall_0.70	0.0224	0.0335
362	iprec_at_recall_0.80	0.0087	0.0208
362	iprec_at_recall_0.90	0.0017	0.0090
362	iprec_at_recall_1.00	0.0000	0.0000
362	map	0.1650	0.0997
362	map_cut_10	0.0852	0.0636
362	map_cut_100	0.1433	0.0943
362	map_cut_1000	0.1650	0.0997
362	map_cut_15	0.1009	0.0722
362	map_cut_20	0.1115	0.0774
362	map_cut_200	0.1524	0.0963
362	map_cut_30	0.1233	0.0847
362	map_cut_5	0.0565	0.0403
362	map_cut_500	0.1612	0.0986
362	ndcg	0.4781	0.1509
362	ndcg_cut_10	0.4799	0.2443
362	ndcg_cut_100	0.3361	0.1291
362	ndcg_cut_1000	0.4781	0.1509
362	ndcg_cut_15	0.4236	0.2083
362	ndcg_cut_20	0.3855	0.1796
362	ndcg_cut_200	0.3784	0.1322
362	ndcg_cut_30	0.3257	0.1473
362	ndcg_cut_5	0.5509	0.2991
362	ndcg_cut_500	0.4387	0.1433
362	ndcg_rel	0.4523	0.1553
362	num_nonrel_judged_ret	470.4818	145.3005
362	num_rel	39.0000	0.0000
362	num_rel_ret	24.6182	7.5438
362	num_ret	914.6000	245.2526
362	prefs_avgjg	0.5669	0.1714
362	prefs_avgjg_Rnonrel	0.0176	0.0024
362	prefs_avgjg_Rnonrel_ret	0.0379	0.0119
362	prefs_avgjg_imp	0.7649	0.0632
362	prefs_avgjg_ret	0.6915	0.0914
362	prefs_num_prefs_ful	31967.9909	9668.6446
362	prefs_num_prefs_ful_ret	8897.6091	4215.7963
362	prefs_num_prefs_poss	56394.0000	0.0000
362	prefs_pair	0.5669	0.1714
362	prefs_pair_imp	0.7649	0.0632
362	prefs_pair_ret	0.6915	0.0914
362	prefs_simp	0.5669	0.1714
362	prefs_simp_imp	0.7649	0.0632
362	prefs_simp_ret	0.6915	0.0914
362	recall_10	0.1142	0.0607
362	recall_100	0.3030	0.1134
362	recall_1000	0.6312	0.1934
362	recall_15	0.1436	0.0753
362	recall_20	0.1685	0.0820
362	recall_200	0.3874	0.1343
362	recall_30	0.2009	0.0952
362	recall_5	0.0697	0.0381
362	recall_500	0.5275	0.1703
362	recip_rank	0.7283	0.3414
362	relative_P_10	0.4455	0.2369
362	relative_P_100	0.3030	0.1134
362	relative_P_1000	0.6312	0.1934
362	relative_P_15	0.3733	0.1958
362	relative_P_20	0.3286	0.1599
362	relative_P_200	0.3874	0.1343
362	relative_P_30	0.2612	0.1238
362	relative_P_5	0.5436	0.2968
362	relative_P_500	0.5275	0.1703
362	set_F	0.0530	0.0128
362	set_P	0.0284	0.0093
362	set_map	0.0178	0.0073
362	set_recall	0.6312	0.1934
362	set_relative_P	0.6312	0.1934
362	success_1	0.5909	0.4917
362	success_10	0.9545	0.2083
362	success_5	0.9182	0.2741
362	utility	-865.3636	233.9903
363	11pt_avg	0.0980	0.0669
363	G	0.1553	0.0590
363	P_10	0.1709	0.1178
363	P_100	0.0462	0.0212
363	P_1000	0.0128	0.0037
363	P_15	0.1321	0.0867
363	P_20	0.1091	0.0661
363	P_200	0.0340	0.0132
363	P_30	0.0879	0.0467
363	P_5	0.2018	0.1859
363	P_500	0.0205	0.0068
363	Rndcg	0.2690	0.1144
363	Rprec	0.1256	0.0811
363	Rprec_mult_0.20	0.2136	0.2128
363	Rprec_mult_0.40	0.1844	0.1471
363	Rprec_mult_0.60	0.1709	0.1178
363	Rprec_mult_0.80	0.1468	0.0954
363	Rprec_mult_1.00	0.1256	0.0811
363	Rprec_mult_1.20	0.1091	0.0661
363	Rprec_mult_1.40	0.1020	0.0602
363	Rprec_mult_1.60	0.0937	0.0535
363	Rprec_mult_1.80	0.0890	0.0479
363	Rprec_mult_2.00	0.0835	0.0454
363	binG	0.1553	0.0590
363	bpref	0.0933	0.0646
363	infAP	0.0856	0.0621
363	iprec_at_recall_0.00	0.4238	0.3362
363	iprec_at_recall_0.10	0.3098	0.2836
363	iprec_at_recall_0.20	0.1008	0.0935
363	iprec_at_recall_0.30	0.0731	0.0664
363	iprec_at_recall_0.40	0.0444	0.0332
363	iprec_at_recall_0.50	0.0382	0.0295
363	iprec_at_recall_0.60	0.0300	0.0244
363	iprec_at_recall_0.70	0.0239	0.0200
363	iprec_at_recall_0.80	0.0204	0.0190
363	iprec_at_recall_0.90	0.0112	0.0121
363	iprec_at_recall_1.00	0.0028	0.0078
363	map	0.0856	0.0621
363	map_cut_10	0.0509	0.0537
363	map_cut_100	0.0697	0.0588
363	map_cut_1000	0.0856	0.0621
363	map_cut_15	0.0548	0.0551
363	map_cut_20	0.0567	0.0552
363	map_cut_200	0.0762	0.0619
363	map_cut_30	0.0603	0.0546
363	map_cut_5	0.0384	0.0513
363	map_cut_500	0.0828	0.0624
363	ndcg	0.3886	0.1304
363	ndcg_cut_10	0.1832	0.1452
363	ndcg_cut_100	0.2262	0.1206
363	ndcg_cut_1000	0.3886	0.1304
363	ndcg_cut_15	0.1544	0.1145
363	ndcg_cut_20	0.1559	0.1095
363	ndcg_cut_200	0.2763	0.1328
363	ndcg_cut_30	0.1717	0.1066
363	ndcg_cut_5	0.2061	0.2132
363	ndcg_cut_500	0.3439	0.1338
363	ndcg_rel	0.3104	0.1324
363	num_nonrel_judged_ret	519.5727	146.0443
363	num_rel	16.0000	0.0000
363	num_rel_ret	12.8273	3.6627
363	num_ret	917.5727	235.5857
363	prefs_avgjg	0.6894	0.1908
363	prefs_avgjg_Rnonrel	0.0062	0.0007
363	prefs_avgjg_Rnonrel_ret	0.0137	0.0041
363	prefs_avgjg_imp	0.7955	0.0869
363	prefs_avgjg_ret	0.6408	0.1136
363	prefs_num_prefs_ful	15772.4909	4366.3603
363	prefs_num_prefs_ful_ret	4541.9545	2037.2841
363	prefs_num_prefs_poss	22880.0000	0.0000
363	prefs_pair	0.6894	0.1908
363	prefs_pair_imp	0.7955	0.0869
363	prefs_pair_ret	0.6408	0.1136
363	prefs_simp	0.6894	0.1908
363	prefs_simp_imp	0.7955	0.0869
363	prefs_simp_ret	0.6408	0.1136
363	recall_10	0.1068	0.0736
363	recall_100	0.2886	0.1327
363	recall_1000	0.8017	0.2289
363	recall_15	0.1239	0.0813
363	recall_20	0.1364	0.0827
363	recall_200	0.4256	0.1653
363	recall_30	0.1648	0.0875
363	recall_5	0.0631	0.0581
363	recall_500	0.6403	0.2116
363	recip_rank	0.3892	0.3500
363	relative_P_10	0.1709	0.1178
363	relative_P_100	0.2886	0.1327
363	relative_P_1000	0.8017	0.2289
363	relative_P_15	0.1321	0.0867
363	relative_P_20	0.1364	0.0827
363	relative_P_200	0.4256	0.1653
363	relative_P_30	0.1648	0.0875
363	relative_P_5	0.2018	0.1859
363	relative_P_500	0.6403	0.2116
363	set_F	0.0291	0.0109
363	set_P	0.0149	0.0059
363	set_map	0.0121	0.0046
363	set_recall	0.8017	0.2289
363	set_relative_P	0.8017	0.2289
363	success_1	0.2182	0.4130
363	success_10	0.7818	0.4130
363	success_5	0.6636	0.4725
363	utility	-891.9182	231.0291
364	11pt_avg	0.4885	0.1212
364	G	0.2984	0.0761
364	P_10	0.6755	0.1815
364	P_100	0.2776	0.0609
364	P_1000	0.0311	0.0057
364	P_15	0.6370	0.1503
364	P_20	0.5736	0.1328
364	P_200	0.1476	0.0296
364	P_30	0.5006	0.1149
364	P_5	0.6491	0.2144
364	P_500	0.0610	0.0115
364	Rndcg	0.6491	0.1224
364	Rprec	0.4683	0.1011
364	Rprec_mult_0.20	0.6675	0.1927
364	Rprec_mult_0.40	0.6442	0.1547
364	Rprec_mult_0.60	0.5649	0.1309
364	Rprec_mult_0.80	0.5117	0.1167
364	Rprec_mult_1.00	0.4683	0.1011
364	Rprec_mult_1.20	0.4385	0.0925
364	Rprec_mult_1.40	0.4056	0.0850
364	Rprec_mult_1.60	0.3851	0.0786
364	Rprec_mult_1.80	0.3691	0.0749
364	Rprec_mult_2.00	0.3491	0.0706
364	binG	0.2984	0.0761
364	bpref	0.4449	0.0930
364	infAP	0.4699	0.1254
364	iprec_at_recall_0.00	0.9412	0.1756
364	iprec_at_recall_0.10	0.7766	0.1786
364	iprec_at_recall_0.20	0.7344	0.1747
364	iprec_at_recall_0.30	0.6352	0.1738
364	iprec_at_recall_0.40	0.5497	0.1673
364	iprec_at_recall_0.50	0.4684	0.1585
364	iprec_at_recall_0.60	0.4275	0.1558
364	iprec_at_recall_0.70	0.3371	0.1620
364	iprec_at_recall_0.80	0.2761	0.1558
364	iprec_at_recall_0.90	0.2071	0.1532
364	iprec_at_recall_1.00	0.0204	0.0417
364	map	0.4699	0.1254
364	map_cut_10	0.1560	0.0569
364	map_cut_100	0.4546	0.1243
364	map_cut_1000	0.4699	0.1254
364	map_cut_15	0.2121	0.0706
364	map_cut_20	0.2472	0.0782
364	map_cut_200	0.4663	0.1258
364	map_cut_30	0.3044	0.0978
364	map_cut_5	0.0831	0.0336
364	map_cut_500	0.4692	0.1256
364	ndcg	0.7659	0.1404
364	ndcg_cut_10	0.7010	0.1848
364	ndcg_cut_100	0.7233	0.1448
364	ndcg_cut_1000	0.7659	0.1404
364	ndcg_cut_15	0.6699	0.1586
364	ndcg_cut_20	0.6220	0.1392
364	ndcg_cut_200	0.7481	0.1440
364	ndcg_cut_30	0.5599	0.1236
364	ndcg_cut_5	0.7000	0.2068
364	ndcg_cut_500	0.7599	0.1419
364	ndcg_rel	0.6859	0.1305
364	num_nonrel_judged_ret	194.3455	109.4208
364	num_rel	35.0000	0.0000
364	num_rel_ret	31.0818	5.7305
364	num_ret	806.6818	358.3740
364	prefs_avgjg	0.8711	0.1583
364	prefs_avgjg_Rnonrel	0.0215	0.0023
364	prefs_avgjg_Rnonrel_ret	0.1788	0.1063
364	prefs_avgjg_imp	0.9704	0.0212
364	prefs_avgjg_ret	0.8167	0.1081
364	prefs_num_prefs_ful	45060.8545	8190.3852
364	prefs_num_prefs_ful_ret	5525.3364	3602.3255
364	prefs_num_prefs_poss	51730.0000	0.0000
364	prefs_pair	0.8711	0.1583
364	prefs_pair_imp	0.9704	0.0212
364	prefs_pair_ret	0.8167	0.1081
364	prefs_simp	0.8711	0.1583
364	prefs_simp_imp	0.9704	0.0212
364	prefs_simp_ret	0.8167	0.1081
364	recall_10	0.1930	0.0519
364	recall_100	0.7933	0.1739
364	recall_1000	0.8881	0.1637
364	recall_15	0.2730	0.0644
364	recall_20	0.3278	0.0759
364	recall_200	0.8434	0.1691
364	recall_30	0.4291	0.0985
364	recall_5	0.0927	0.0306
364	recall_500	0.8717	0.1650
364	recip_rank	0.9179	0.2171
364	relative_P_10	0.6755	0.1815
364	relative_P_100	0.7933	0.1739
364	relative_P_1000	0.8881	0.1637
364	relative_P_15	0.6370	0.1503
364	relative_P_20	0.5736	0.1328
364	relative_P_200	0.8434	0.1691
364	relative_P_30	0.5006	0.1149
364	relative_P_5	0.6491	0.2144
364	relative_P_500	0.8717	0.1650
364	set_F	0.1301	0.1516
364	set_P	0.0817	0.1141
364	set_map	0.0709	0.0979
364	set_recall	0.8881	0.1637
364	set_relative_P	0.8881	0.1637
364	success_1	0.8636	0.3432
364	success_10	0.9727	0.1629
364	success_5	0.9727	0.1629
364	utility	-744.5182	353.7726
365	11pt_avg	0.7158	0.1799
365	G	0.5186	0.1534
365	P_10	0.9173	0.1213
365	P_100	0.3036	0.0618
365	P_1000	0.0327	0.0043
365	P_15	0.8503	0.1499
365	P_20	0.8064	0.1587
365	P_200	0.1581	0.0267
365	P_30	0.7079	0.1685
365	P_5	0.9564	0.1023
365	P_500	0.0648	0.0091
365	Rndcg	0.8129	0.1228
365	Rprec	0.6642	0.1642
365	Rprec_mult_0.20	0.9377	0.1011
365	Rprec_mult_0.40	0.8630	0.1514
365	Rprec_mult_0.60	0.7957	0.1594
365	Rprec_mult_0.80	0.7270	0.1679
365	Rprec_mult_1.00	0.6642	0.1642
365	Rprec_mult_1.20	0.6011	0.1459
365	Rprec_mult_1.40	0.5417	0.1271
365	Rprec_mult_1.60	0.4937	0.1130
365	Rprec_mult_1.80	0.4511	0.1006
365	Rprec_mult_2.00	0.4162	0.0902
365	binG	0.5186	0.1534
365	bpref	0.6907	0.1873
365	infAP	0.7166	0.1902
365	iprec_at_recall_0.00	0.9982	0.0190
365	iprec_at_recall_0.10	0.9848	0.0576
365	iprec_at_recall_0.20	0.9347	0.1351
365	iprec_at_recall_0.30	0.8735	0.1983
365	iprec_at_recall_0.40	0.8270	0.2325
365	iprec_at_recall_0.50	0.7563	0.2564
365	iprec_at_recall_0.60	0.7099	0.2714
365	iprec_at_recall_0.70	0.6074	0.3072
365	iprec_at_recall_0.80	0.5372	0.3064
365	iprec_at_recall_0.90	0.4271	0.2865
365	iprec_at_recall_1.00	0.2176	0.2322
365	map	0.7166	0.1902
365	map_cut_10	0.2551	0.0448
365	map_cut_100	0.7065	0.1981
365	map_cut_1000	0.7166	0.1902
365	map_cut_15	0.3499	0.0784
365	map_cut_20	0.4345	0.1096
365	map_cut_200	0.7142	0.1928
365	map_cut_30	0.5548	0.1641
365	map_cut_5	0.1352	0.0189
365	map_cut_500	0.7162	0.1907
365	ndcg	0.8893	0.1147
365	ndcg_cut_10	0.9346	0.1007
365	ndcg_cut_100	0.8590	0.1435
365	ndcg_cut_1000	0.8893	0.1147
365	ndcg_cut_15	0.8858	0.1203
365	ndcg_cut_20	0.8507	0.1300
365	ndcg_cut_200	0.8766	0.1296
365	ndcg_cut_30	0.7725	0.1407
365	ndcg_cut_5	0.9647	0.0918
365	ndcg_cut_500	0.8859	0.1190
365	ndcg_rel	0.8728	0.1065
365	num_nonrel_judged_ret	318.7364	121.8890
365	num_rel	35.0000	0.0000
365	num_rel_ret	32.7182	4.2515
365	num_ret	889.4273	279.8323
365	prefs_avgjg	0.9258	0.1233
365	prefs_avgjg_Rnonrel	0.0246	0.0041
365	prefs_avgjg_Rnonrel_ret	0.1382	0.1054
365	prefs_avgjg_imp	0.9807	0.0253
365	prefs_avgjg_ret	0.9181	0.1105
365	prefs_num_prefs_ful	52782.0727	7029.7658
365	prefs_num_prefs_ful_ret	10212.6636	4608.7267
365	prefs_num_prefs_poss	57015.0000	0.0000
365	prefs_pair	0.9258	0.1233
365	prefs_pair_imp	0.9807	0.0253
365	prefs_pair_ret	0.9181	0.1105
365	prefs_simp	0.9258	0.1233
365	prefs_simp_imp	0.9807	0.0253
365	prefs_simp_ret	0.9181	0.1105
365	recall_10	0.2621	0.0346
365	recall_100	0.8675	0.1765
365	recall_1000	0.9348	0.1215
365	recall_15	0.3644	0.0643
365	recall_20	0.4608	0.0907
365	recall_200	0.9034	0.1523
365	recall_30	0.6068	0.1445
365	recall_5	0.1367	0.0146
365	recall_500	0.9255	0.1300
365	recip_rank	0.9955	0.0475
365	relative_P_10	0.9173	0.1213
365	relative_P_100	0.8675	0.1765
365	relative_P_1000	0.9348	0.1215
365	relative_P_15	0.8503	0.1499
365	relative_P_20	0.8064	0.1587
365	relative_P_200	0.9034	0.1523
365	relative_P_30	0.7079	0.1685
365	relative_P_5	0.9564	0.1023
365	relative_P_500	0.9255	0.1300
365	set_F	0.0988	0.1203
365	set_P	0.0604	0.1095
365	set_map	0.0543	0.0958
365	set_recall	0.9348	0.1215
365	set_relative_P	0.9348	0.1215
365	success_1	0.9909	0.0949
365	success_10	1.0000	0.0000
365	success_5	1.0000	0.0000
365	utility	-823.9909	274.9775
366	11pt_avg	0.3782	0.1517
366	G	0.1720	0.0581
366	P_10	0.5464	0.2152
366	P_100	0.3792	0.1465
366	P_1000	0.0787	0.0262
366	P_15	0.5164	0.1935
366	P_20	0.4859	0.1719
366	P_200	0.3163	0.1376
366	P_30	0.4524	0.1665
366	P_5	0.6309	0.2275
366	P_500	0.1482	0.0561
366	Rndcg	0.5459	0.1738
366	Rprec	0.3800	0.1471
366	Rprec_mult_0.20	0.4859	0.1719
366	Rprec_mult_0.40	0.4345	0.1542
366	Rprec_mult_0.60	0.4180	0.1577
366	Rprec_mult_0.80	0.3976	0.1513
366	Rprec_mult_1.00	0.3800	0.1471
366	Rprec_mult_1.20	0.3713	0.1463
366	Rprec_mult_1.40	0.3591	0.1466
366	Rprec_mult_1.60	0.3464	0.1449
366	Rprec_mult_1.80	0.3311	0.1420
366	Rprec_mult_2.00	0.3179	0.1386
366	binG	0.1720	0.0581
366	bpref	0.3563	0.1424
366	infAP	0.3510	0.1603
366	iprec_at_recall_0.00	0.9048	0.1990
366	iprec_at_recall_0.10	0.5455	0.2303
366	iprec_at_recall_0.20	0.4567	0.1952
366	iprec_at_recall_0.30	0.4215	0.1888
366	iprec_at_recall_0.40	0.3942	0.1868
366	iprec_at_recall_0.50	0.3619	0.1847
366	iprec_at_recall_0.60	0.3195	0.2033
366	iprec_at_recall_0.70	0.2953	0.2026
366	iprec_at_recall_0.80	0.2540	0.1958
366	iprec_at_recall_0.90	0.2065	0.1907
366	iprec_at_recall_1.00	0.0000	0.0000
366	map	0.3510	0.1603
366	map_cut_10	0.0433	0.0214
366	map_cut_100	0.2080	0.0958
366	map_cut_1000	0.3510	0.1603
366	map_cut_15	0.0575	0.0275
366	map_cut_20	0.0688	0.0317
366	map_cut_200	0.3180	0.1563
366	map_cut_30	0.0899	0.0412
366	map_cut_5	0.0268	0.0117
366	map_cut_500	0.3465	0.1629
366	ndcg	0.6760	0.2137
366	ndcg_cut_10	0.5892	0.2063
366	ndcg_cut_100	0.4180	0.1453
366	ndcg_cut_1000	0.6760	0.2137
366	ndcg_cut_15	0.5596	0.1845
366	ndcg_cut_20	0.5321	0.1687
366	ndcg_cut_200	0.5885	0.2267
366	ndcg_cut_30	0.4981	0.1620
366	ndcg_cut_5	0.6570	0.2295
366	ndcg_cut_500	0.6525	0.2272
366	ndcg_rel	0.5482	0.1556
366	num_nonrel_judged_ret	251.4909	79.3690
366	num_rel	99.0000	0.0000
366	num_rel_ret	78.7091	26.2122
366	num_ret	913.7091	248.3036
366	prefs_avgjg	0.7607	0.2557
366	prefs_avgjg_Rnonrel	0.0510	0.0106
366	prefs_avgjg_Rnonrel_ret	0.2135	0.0774
366	prefs_avgjg_imp	0.9002	0.1245
366	prefs_avgjg_ret	0.7269	0.1152
366	prefs_num_prefs_ful	115603.1818	38860.2765
366	prefs_num_prefs_ful_ret	15916.2273	8228.9066
366	prefs_num_prefs_poss	151965.0000	0.0000
366	prefs_pair	0.7607	0.2557
366	prefs_pair_imp	0.9002	0.1245
366	prefs_pair_ret	0.7269	0.1152
366	prefs_simp	0.7607	0.2557
366	prefs_simp_imp	0.9002	0.1245
366	prefs_simp_ret	0.7269	0.1152
366	recall_10	0.0552	0.0217
366	recall_100	0.3830	0.1480
366	recall_1000	0.7950	0.2648
366	recall_15	0.0782	0.0293
366	recall_20	0.0982	0.0347
366	recall_200	0.6390	0.2779
366	recall_30	0.1371	0.0505
366	recall_5	0.0319	0.0115
366	recall_500	0.7485	0.2834
366	recip_rank	0.8571	0.2692
366	relative_P_10	0.5464	0.2152
366	relative_P_100	0.3830	0.1480
366	relative_P_1000	0.7950	0.2648
366	relative_P_15	0.5164	0.1935
366	relative_P_20	0.4859	0.1719
366	relative_P_200	0.6390	0.2779
366	relative_P_30	0.4524	0.1665
366	relative_P_5	0.6309	0.2275
366	relative_P_500	0.7485	0.2834
366	set_F	0.1566	0.0520
366	set_P	0.1028	0.1054
366	set_map	0.0747	0.0289
366	set_recall	0.7950	0.2648
366	set_relative_P	0.8093	0.2446
366	success_1	0.7636	0.4248
366	success_10	0.9818	0.1336
366	success_5	0.9545	0.2083
366	utility	-756.2909	215.9567
367	11pt_avg	0.1367	0.0689
367	G	0.0708	0.0316
367	P_10	0.5018	0.2904
367	P_100	0.2305	0.1178
367	P_1000	0.0650	0.0241
367	P_15	0.4503	0.2727
367	P_20	0.4336	0.2492
367	P_200	0.1733	0.0769
367	P_30	0.3803	0.2210
367	P_5	0.5418	0.3426
367	P_500	0.1134	0.0456
367	Rndcg	0.2744	0.1057
367	Rprec	0.1776	0.0811
367	Rprec_mult_0.20	0.3416	0.1976
367	Rprec_mult_0.40	0.2603	0.1348
367	Rprec_mult_0.60	0.2179	0.1094
367	Rprec_mult_0.80	0.1923	0.0905
367	Rprec_mult_1.00	0.1776	0.0811
367	Rprec_mult_1.20	0.1653	0.0682
367	Rprec_mult_1.40	0.1555	0.0615
367	Rprec_mult_1.60	0.1486	0.0574
367	Rprec_mult_1.80	0.1427	0.0557
367	Rprec_mult_2.00	0.1374	0.0553
367	binG	0.0708	0.0316
367	bpref	0.1459	0.0649
367	infAP	0.1014	0.0654
367	iprec_at_recall_0.00	0.7485	0.3214
367	iprec_at_recall_0.10	0.3456	0.2466
367	iprec_at_recall_0.20	0.2092	0.1562
367	iprec_at_recall_0.30	0.1334	0.1170
367	iprec_at_recall_0.40	0.0530	0.0914
367	iprec_at_recall_0.50	0.0139	0.0645
367	iprec_at_recall_0.60	0.0000	0.0000
367	iprec_at_recall_0.70	0.0000	0.0000
367	iprec_at_recall_0.80	0.0000	0.0000
367	iprec_at_recall_0.90	0.0000	0.0000
367	iprec_at_recall_1.00	0.0000	0.0000
367	map	0.1014	0.0654
367	map_cut_10	0.0209	0.0162
367	map_cut_100	0.0636	0.0535
367	map_cut_1000	0.1014	0.0654
367	map_cut_15	0.0271	0.0219
367	map_cut_20	0.0330	0.0267
367	map_cut_200	0.0777	0.0616
367	map_cut_30	0.0410	0.0342
367	map_cut_5	0.0124	0.0097
367	map_cut_500	0.0973	0.0632
367	ndcg	0.3296	0.1190
367	ndcg_cut_10	0.5223	0.3046
367	ndcg_cut_100	0.2792	0.1434
367	ndcg_cut_1000	0.3296	0.1190
367	ndcg_cut_15	0.4830	0.2886
367	ndcg_cut_20	0.4664	0.2681
367	ndcg_cut_200	0.2235	0.0993
367	ndcg_cut_30	0.4218	0.2421
367	ndcg_cut_5	0.5552	0.3534
367	ndcg_cut_500	0.3035	0.1108
367	ndcg_rel	0.3344	0.1310
367	num_nonrel_judged_ret	299.1182	141.2583
367	num_rel	189.0000	0.0000
367	num_rel_ret	64.9545	24.1433
367	num_ret	845.8273	287.7366
367	prefs_avgjg	0.3129	0.1125
367	prefs_avgjg_Rnonrel	0.0692	0.0135
367	prefs_avgjg_Rnonrel_ret	0.1435	0.0561
367	prefs_avgjg_imp	0.6731	0.0607
367	prefs_avgjg_ret	0.5789	0.1481
367	prefs_num_prefs_ful	87512.3273	31481.1256
367	prefs_num_prefs_ful_ret	13633.4818	11086.4698
367	prefs_num_prefs_poss	279720.0000	0.0000
367	prefs_pair	0.3129	0.1125
367	prefs_pair_imp	0.6731	0.0607
367	prefs_pair_ret	0.5789	0.1481
367	prefs_simp	0.3129	0.1125
367	prefs_simp_imp	0.6731	0.0607
367	prefs_simp_ret	0.5789	0.1481
367	recall_10	0.0265	0.0153
367	recall_100	0.1219	0.0623
367	recall_1000	0.3437	0.1277
367	recall_15	0.0357	0.0216
367	recall_20	0.0459	0.0264
367	recall_200	0.1834	0.0814
367	recall_30	0.0604	0.0351
367	recall_5	0.0144	0.0091
367	recall_500	0.3000	0.1207
367	recip_rank	0.7087	0.3606
367	relative_P_10	0.5018	0.2904
367	relative_P_100	0.2305	0.1178
367	relative_P_1000	0.3437	0.1277
367	relative_P_15	0.4503	0.2727
367	relative_P_20	0.4336	0.2492
367	relative_P_200	0.1834	0.0814
367	relative_P_30	0.3803	0.2210
367	relative_P_5	0.5418	0.3426
367	relative_P_500	0.3000	0.1207
367	set_F	0.1368	0.0605
367	set_P	0.0925	0.0557
367	set_map	0.0334	0.0196
367	set_recall	0.3437	0.1277
367	set_relative_P	0.3452	0.1267
367	success_1	0.5818	0.4933
367	success_10	0.9364	0.2441
367	success_5	0.8909	0.3118
367	utility	-715.9182	279.6616
368	11pt_avg	0.5191	0.1714
368	G	0.3698	0.1339
368	P_10	0.9064	0.1955
368	P_100	0.3594	0.1053
368	P_1000	0.0467	0.0115
368	P_15	0.8782	0.1996
368	P_20	0.8414	0.1963
368	P_200	0.2003	0.0561
368	P_30	0.7576	0.2023
368	P_5	0.9382	0.1977
368	P_500	0.0885	0.0230
368	Rndcg	0.6788	0.1559
368	Rprec	0.5228	0.1455
368	Rprec_mult_0.20	0.8902	0.1967
368	Rprec_mult_0.40	0.8025	0.1986
368	Rprec_mult_0.60	0.6862	0.1863
368	Rprec_mult_0.80	0.5918	0.1565
368	Rprec_mult_1.00	0.5228	0.1455
368	Rprec_mult_1.20	0.4545	0.1306
368	Rprec_mult_1.40	0.4037	0.1164
368	Rprec_mult_1.60	0.3656	0.1072
368	Rprec_mult_1.80	0.3334	0.0976
368	Rprec_mult_2.00	0.3063	0.0909
368	binG	0.3698	0.1339
368	bpref	0.5056	0.1615
368	infAP	0.5181	0.1816
368	iprec_at_recall_0.00	0.9637	0.1715
368	iprec_at_recall_0.10	0.9342	0.1880
368	iprec_at_recall_0.20	0.8873	0.2097
368	iprec_at_recall_0.30	0.8101	0.2379
368	iprec_at_recall_0.40	0.7037	0.2848
368	iprec_at_recall_0.50	0.5365	0.3261
368	iprec_at_recall_0.60	0.3748	0.2963
368	iprec_at_recall_0.70	0.2620	0.2797
368	iprec_at_recall_0.80	0.1640	0.2223
368	iprec_at_recall_0.90	0.0706	0.1349
368	iprec_at_recall_1.00	0.0035	0.0160
368	map	0.5181	0.1816
368	map_cut_10	0.1452	0.0358
368	map_cut_100	0.4855	0.1743
368	map_cut_1000	0.5181	0.1816
368	map_cut_15	0.2088	0.0541
368	map_cut_20	0.2635	0.0722
368	map_cut_200	0.5059	0.1806
368	map_cut_30	0.3483	0.1108
368	map_cut_5	0.0759	0.0174
368	map_cut_500	0.5155	0.1817
368	ndcg	0.7459	0.1675
368	ndcg_cut_10	0.9163	0.1934
368	ndcg_cut_100	0.6552	0.1649
368	ndcg_cut_1000	0.7459	0.1675
368	ndcg_cut_15	0.8952	0.1932
368	ndcg_cut_20	0.8677	0.1903
368	ndcg_cut_200	0.6946	0.1697
368	ndcg_cut_30	0.8039	0.1910
368	ndcg_cut_5	0.9385	0.1976
368	ndcg_cut_500	0.7288	0.1690
368	ndcg_rel	0.7825	0.1579
368	num_nonrel_judged_ret	297.3636	107.3090
368	num_rel	61.0000	0.0000
368	num_rel_ret	46.6545	11.5463
368	num_ret	846.1455	294.9981
368	prefs_avgjg	0.7359	0.1821
368	prefs_avgjg_Rnonrel	0.0469	0.0084
368	prefs_avgjg_Rnonrel_ret	0.1717	0.0937
368	prefs_avgjg_imp	0.9032	0.0697
368	prefs_avgjg_ret	0.8324	0.1153
368	prefs_num_prefs_ful	54987.7000	13606.6249
368	prefs_num_prefs_ful_ret	12815.0273	6656.4340
368	prefs_num_prefs_poss	74725.0000	0.0000
368	prefs_pair	0.7359	0.1821
368	prefs_pair_imp	0.9032	0.0697
368	prefs_pair_ret	0.8324	0.1153
368	prefs_simp	0.7359	0.1821
368	prefs_simp_imp	0.9032	0.0697
368	prefs_simp_ret	0.8324	0.1153
368	recall_10	0.1486	0.0320
368	recall_100	0.5891	0.1726
368	recall_1000	0.7648	0.1893
368	recall_15	0.2159	0.0491
368	recall_20	0.2759	0.0644
368	recall_200	0.6568	0.1841
368	recall_30	0.3726	0.0995
368	recall_5	0.0769	0.0162
368	recall_500	0.7258	0.1887
368	recip_rank	0.9527	0.1892
368	relative_P_10	0.9064	0.1955
368	relative_P_100	0.5891	0.1726
368	relative_P_1000	0.7648	0.1893
368	relative_P_15	0.8782	0.1996
368	relative_P_20	0.8414	0.1963
368	relative_P_200	0.6568	0.1841
368	relative_P_30	0.7576	0.2023
368	relative_P_5	0.9382	0.1977
368	relative_P_500	0.7258	0.1887
368	set_F	0.1185	0.0638
368	set_P	0.0732	0.0886
368	set_map	0.0505	0.0325
368	set_recall	0.7648	0.1893
368	set_relative_P	0.7706	0.1821
368	success_1	0.9364	0.2441
368	success_10	0.9818	0.1336
368	success_5	0.9636	0.1872
368	utility	-752.8364	279.7749
369	11pt_avg	0.3377	0.0855
369	G	0.3120	0.0763
369	P_10	0.3364	0.0979
369	P_100	0.0890	0.0234
369	P_1000	0.0105	0.0024
369	P_15	0.2594	0.0732
369	P_20	0.2323	0.0686
369	P_200	0.0482	0.0119
369	P_30	0.1909	0.0601
369	P_5	0.4873	0.1538
369	P_500	0.0205	0.0048
369	Rndcg	0.5190	0.1038
369	Rprec	0.2853	0.0851
369	Rprec_mult_0.20	0.7061	0.2047
369	Rprec_mult_0.40	0.4424	0.1464
369	Rprec_mult_0.60	0.3886	0.1254
369	Rprec_mult_0.80	0.3132	0.0889
369	Rprec_mult_1.00	0.2853	0.0851
369	Rprec_mult_1.20	0.2545	0.0719
369	Rprec_mult_1.40	0.2388	0.0698
369	Rprec_mult_1.60	0.2264	0.0683
369	Rprec_mult_1.80	0.2102	0.0659
369	Rprec_mult_2.00	0.2038	0.0643
369	binG	0.3120	0.0763
369	bpref	0.2508	0.0742
369	infAP	0.3110	0.0875
369	iprec_at_recall_0.00	0.9599	0.1662
369	iprec_at_recall_0.10	0.9440	0.1804
369	iprec_at_recall_0.20	0.5821	0.2743
369	iprec_at_recall_0.30	0.3546	0.2148
369	iprec_at_recall_0.40	0.2476	0.1421
369	iprec_at_recall_0.50	0.2051	0.0944
369	iprec_at_recall_0.60	0.1776	0.0962
369	iprec_at_recall_0.70	0.1416	0.0873
369	iprec_at_recall_0.80	0.0513	0.0674
369	iprec_at_recall_0.90	0.0373	0.0565
369	iprec_at_recall_1.00	0.0138	0.0348
369	map	0.3110	0.0875
369	map_cut_10	0.2121	0.0697
369	map_cut_100	0.3048	0.0862
369	map_cut_1000	0.3110	0.0875
369	map_cut_15	0.2259	0.0702
369	map_cut_20	0.2429	0.0762
369	map_cut_200	0.3091	0.0870
369	map_cut_30	0.2638	0.0818
369	map_cut_5	0.1777	0.0583
369	map_cut_500	0.3107	0.0872
369	ndcg	0.6328	0.1294
369	ndcg_cut_10	0.4570	0.1047
369	ndcg_cut_100	0.5955	0.1251
369	ndcg_cut_1000	0.6328	0.1294
369	ndcg_cut_15	0.4137	0.0902
369	ndcg_cut_20	0.4470	0.1005
369	ndcg_cut_200	0.6152	0.1270
369	ndcg_cut_30	0.4900	0.1123
369	ndcg_cut_5	0.6022	0.1484
369	ndcg_cut_500	0.6283	0.1273
369	ndcg_rel	0.6260	0.1214
369	num_nonrel_judged_ret	270.3909	147.6370
369	num_rel	13.0000	0.0000
369	num_rel_ret	10.4545	2.4370
369	num_ret	801.0091	369.7336
369	prefs_avgjg	0.7859	0.1810
369	prefs_avgjg_Rnonrel	0.0054	0.0007
369	prefs_avgjg_Rnonrel_ret	0.0399	0.0294
369	prefs_avgjg_imp	0.9334	0.1325
369	prefs_avgjg_ret	0.8128	0.1460
369	prefs_num_prefs_ful	17296.7727	3984.3000
369	prefs_num_prefs_ful_ret	2668.8364	1765.4296
369	prefs_num_prefs_poss	22009.0000	0.0000
369	prefs_pair	0.7859	0.1810
369	prefs_pair_imp	0.9334	0.1325
369	prefs_pair_ret	0.8128	0.1460
369	prefs_simp	0.7859	0.1810
369	prefs_simp_imp	0.9334	0.1325
369	prefs_simp_ret	0.8128	0.1460
369	recall_10	0.2588	0.0753
369	recall_100	0.6846	0.1796
369	recall_1000	0.8042	0.1875
369	recall_15	0.2993	0.0845
369	recall_20	0.3573	0.1056
369	recall_200	0.7420	0.1828
369	recall_30	0.4406	0.1387
369	recall_5	0.1874	0.0592
369	recall_500	0.7867	0.1843
369	recip_rank	0.9515	0.1912
369	relative_P_10	0.3364	0.0979
369	relative_P_100	0.6846	0.1796
369	relative_P_1000	0.8042	0.1875
369	relative_P_15	0.2993	0.0845
369	relative_P_20	0.3573	0.1056
369	relative_P_200	0.7420	0.1828
369	relative_P_30	0.4406	0.1387
369	relative_P_5	0.4873	0.1538
369	relative_P_500	0.7867	0.1843
369	set_F	   nan	   nan
369	set_P	0.0299	0.0458
369	set_map	0.0216	0.0288
369	set_recall	0.8042	0.1875
369	set_relative_P	0.8042	0.1875
369	success_1	0.9364	0.2441
369	success_10	0.9818	0.1336
369	success_5	0.9727	0.1629
369	utility	-780.1000	366.7351
370	11pt_avg	0.2076	0.1373
370	G	0.0786	0.0407
370	P_10	0.4318	0.2760
370	P_100	0.3340	0.1952
370	P_1000	0.1637	0.0753
370	P_15	0.4315	0.2575
370	P_20	0.4164	0.2474
370	P_200	0.3085	0.1745
370	P_30	0.3806	0.2186
370	P_5	0.4309	0.3272
370	P_500	0.2383	0.1208
370	Rndcg	0.3687	0.1776
370	Rprec	0.2776	0.1499
370	Rprec_mult_0.20	0.3512	0.2083
370	Rprec_mult_0.40	0.3206	0.1864
370	Rprec_mult_0.60	0.3078	0.1739
370	Rprec_mult_0.80	0.2932	0.1582
370	Rprec_mult_1.00	0.2776	0.1499
370	Rprec_mult_1.20	0.2599	0.1363
370	Rprec_mult_1.40	0.2444	0.1252
370	Rprec_mult_1.60	0.2304	0.1157
370	Rprec_mult_1.80	0.2176	0.1075
370	Rprec_mult_2.00	0.2063	0.1001
370	binG	0.0786	0.0407
370	bpref	0.2652	0.1501
370	infAP	0.1782	0.1383
370	iprec_at_recall_0.00	0.6885	0.3299
370	iprec_at_recall_0.10	0.3760	0.2285
370	iprec_at_recall_0.20	0.3144	0.2202
370	iprec_at_recall_0.30	0.2767	0.2167
370	iprec_at_recall_0.40	0.2343	0.2044
370	iprec_at_recall_0.50	0.1837	0.1924
370	iprec_at_recall_0.60	0.1311	0.1742
370	iprec_at_recall_0.70	0.0627	0.1408
370	iprec_at_recall_0.80	0.0159	0.0943
370	iprec_at_recall_0.90	0.0000	0.0000
370	iprec_at_recall_1.00	0.0000	0.0000
370	map	0.1782	0.1383
370	map_cut_10	0.0092	0.0077
370	map_cut_100	0.0524	0.0464
370	map_cut_1000	0.1782	0.1383
370	map_cut_15	0.0129	0.0108
370	map_cut_20	0.0161	0.0135
370	map_cut_200	0.0880	0.0782
370	map_cut_30	0.0210	0.0178
370	map_cut_5	0.0052	0.0048
370	map_cut_500	0.1471	0.1219
370	ndcg	0.4431	0.2043
370	ndcg_cut_10	0.4374	0.2939
370	ndcg_cut_100	0.3515	0.2021
370	ndcg_cut_1000	0.4431	0.2043
370	ndcg_cut_15	0.4360	0.2757
370	ndcg_cut_20	0.4251	0.2645
370	ndcg_cut_200	0.3243	0.1801
370	ndcg_cut_30	0.3982	0.2383
370	ndcg_cut_5	0.4397	0.3427
370	ndcg_cut_500	0.3520	0.1761
370	ndcg_rel	0.3986	0.1776
370	num_nonrel_judged_ret	357.6455	107.8050
370	num_rel	336.0000	0.0000
370	num_rel_ret	163.7000	75.2533
370	num_ret	931.8000	215.6042
370	prefs_avgjg	0.4465	0.2085
370	prefs_avgjg_Rnonrel	0.1114	0.0282
370	prefs_avgjg_Rnonrel_ret	0.2555	0.1242
370	prefs_avgjg_imp	0.7322	0.1408
370	prefs_avgjg_ret	0.5534	0.1182
370	prefs_num_prefs_ful	283257.5273	132271.0183
370	prefs_num_prefs_ful_ret	37000.7455	23317.1746
370	prefs_num_prefs_poss	634368.0000	0.0000
370	prefs_pair	0.4465	0.2085
370	prefs_pair_imp	0.7322	0.1408
370	prefs_pair_ret	0.5534	0.1182
370	prefs_simp	0.4465	0.2085
370	prefs_simp_imp	0.7322	0.1408
370	prefs_simp_ret	0.5534	0.1182
370	recall_10	0.0129	0.0082
370	recall_100	0.0994	0.0581
370	recall_1000	0.4872	0.2240
370	recall_15	0.0193	0.0115
370	recall_20	0.0248	0.0147
370	recall_200	0.1836	0.1038
370	recall_30	0.0340	0.0195
370	recall_5	0.0064	0.0049
370	recall_500	0.3546	0.1797
370	recip_rank	0.5986	0.3925
370	relative_P_10	0.4318	0.2760
370	relative_P_100	0.3340	0.1952
370	relative_P_1000	0.4872	0.2240
370	relative_P_15	0.4315	0.2575
370	relative_P_20	0.4164	0.2474
370	relative_P_200	0.3085	0.1745
370	relative_P_30	0.3806	0.2186
370	relative_P_5	0.4309	0.3272
370	relative_P_500	0.3546	0.1797
370	set_F	   nan	   nan
370	set_P	0.1778	0.0693
370	set_map	0.0990	0.0671
370	set_recall	0.4872	0.2240
370	set_relative_P	0.4920	0.2175
370	success_1	0.4636	0.4987
370	success_10	0.8818	0.3228
370	success_5	0.7727	0.4191
370	utility	-604.4000	196.5300
371	11pt_avg	0.0459	0.0409
371	G	0.0880	0.0454
371	P_10	0.0845	0.0800
371	P_100	0.0255	0.0161
371	P_1000	0.0088	0.0041
371	P_15	0.0642	0.0589
371	P_20	0.0545	0.0489
371	P_200	0.0189	0.0105
371	P_30	0.0470	0.0427
371	P_5	0.1164	0.1304
371	P_500	0.0131	0.0061
371	Rndcg	0.1517	0.0886
371	Rprec	0.0572	0.0517
371	Rprec_mult_0.20	0.1295	0.1459
371	Rprec_mult_0.40	0.0974	0.1036
371	Rprec_mult_0.60	0.0785	0.0740
371	Rprec_mult_0.80	0.0669	0.0626
371	Rprec_mult_1.00	0.0572	0.0517
371	Rprec_mult_1.20	0.0532	0.0475
371	Rprec_mult_1.40	0.0530	0.0473
371	Rprec_mult_1.60	0.0490	0.0444
371	Rprec_mult_1.80	0.0460	0.0414
371	Rprec_mult_2.00	0.0436	0.0378
371	binG	0.0880	0.0454
371	bpref	0.0432	0.0408
371	infAP	0.0336	0.0289
371	iprec_at_recall_0.00	0.2621	0.2707
371	iprec_at_recall_0.10	0.1293	0.1541
371	iprec_at_recall_0.20	0.0386	0.0444
371	iprec_at_recall_0.30	0.0296	0.0360
371	iprec_at_recall_0.40	0.0157	0.0149
371	iprec_at_recall_0.50	0.0107	0.0121
371	iprec_at_recall_0.60	0.0082	0.0109
371	iprec_at_recall_0.70	0.0062	0.0106
371	iprec_at_recall_0.80	0.0033	0.0086
371	iprec_at_recall_0.90	0.0009	0.0068
371	iprec_at_recall_1.00	0.0000	0.0000
371	map	0.0336	0.0289
371	map_cut_10	0.0191	0.0214
371	map_cut_100	0.0264	0.0260
371	map_cut_1000	0.0336	0.0289
371	map_cut_15	0.0201	0.0221
371	map_cut_20	0.0211	0.0228
371	map_cut_200	0.0286	0.0271
371	map_cut_30	0.0232	0.0244
371	map_cut_5	0.0159	0.0203
371	map_cut_500	0.0317	0.0281
371	ndcg	0.2329	0.1188
371	ndcg_cut_10	0.0910	0.0883
371	ndcg_cut_100	0.1156	0.0827
371	ndcg_cut_1000	0.2329	0.1188
371	ndcg_cut_15	0.0758	0.0712
371	ndcg_cut_20	0.0747	0.0680
371	ndcg_cut_200	0.1428	0.0911
371	ndcg_cut_30	0.0855	0.0749
371	ndcg_cut_5	0.1120	0.1265
371	ndcg_cut_500	0.1947	0.1025
371	ndcg_rel	0.1952	0.0980
371	num_nonrel_judged_ret	469.0636	132.5448
371	num_rel	17.0000	0.0000
371	num_rel_ret	8.8455	4.1367
371	num_ret	913.9091	247.7199
371	prefs_avgjg	0.4438	0.2031
371	prefs_avgjg_Rnonrel	0.0056	0.0005
371	prefs_avgjg_Rnonrel_ret	0.0092	0.0045
371	prefs_avgjg_imp	0.6366	0.1722
371	prefs_avgjg_ret	0.5224	0.1489
371	prefs_num_prefs_ful	11604.0455	5310.9620
371	prefs_num_prefs_ful_ret	2494.4273	1486.7476
371	prefs_num_prefs_poss	26146.0000	0.0000
371	prefs_pair	0.4438	0.2031
371	prefs_pair_imp	0.6366	0.1722
371	prefs_pair_ret	0.5224	0.1489
371	prefs_simp	0.4438	0.2031
371	prefs_simp_imp	0.6366	0.1722
371	prefs_simp_ret	0.5224	0.1489
371	recall_10	0.0497	0.0470
371	recall_100	0.1497	0.0947
371	recall_1000	0.5203	0.2433
371	recall_15	0.0567	0.0520
371	recall_20	0.0642	0.0575
371	recall_200	0.2225	0.1230
371	recall_30	0.0829	0.0754
371	recall_5	0.0342	0.0383
371	recall_500	0.3856	0.1780
371	recip_rank	0.2442	0.2640
371	relative_P_10	0.0845	0.0800
371	relative_P_100	0.1497	0.0947
371	relative_P_1000	0.5203	0.2433
371	relative_P_15	0.0642	0.0589
371	relative_P_20	0.0642	0.0575
371	relative_P_200	0.2225	0.1230
371	relative_P_30	0.0829	0.0754
371	relative_P_5	0.1164	0.1304
371	relative_P_500	0.3856	0.1780
371	set_F	   nan	   nan
371	set_P	0.0099	0.0045
371	set_map	0.0059	0.0041
371	set_recall	0.5203	0.2433
371	set_relative_P	0.5203	0.2433
371	success_1	0.0636	0.2441
371	success_10	0.5909	0.4917
371	success_5	0.4909	0.4999
371	utility	-896.2182	243.7143
372	11pt_avg	0.2178	0.1473
372	G	0.1691	0.1030
372	P_10	0.4782	0.2893
372	P_100	0.1421	0.0799
372	P_1000	0.0288	0.0106
372	P_15	0.4194	0.2666
372	P_20	0.3823	0.2599
372	P_200	0.0924	0.0467
372	P_30	0.3133	0.2093
372	P_5	0.6091	0.3274
372	P_500	0.0487	0.0210
372	Rndcg	0.3931	0.1870
372	Rprec	0.2286	0.1442
372	Rprec_mult_0.20	0.4782	0.2893
372	Rprec_mult_0.40	0.3823	0.2599
372	Rprec_mult_0.60	0.3133	0.2093
372	Rprec_mult_0.80	0.2580	0.1687
372	Rprec_mult_1.00	0.2286	0.1442
372	Rprec_mult_1.20	0.2057	0.1244
372	Rprec_mult_1.40	0.1833	0.1089
372	Rprec_mult_1.60	0.1662	0.0966
372	Rprec_mult_1.80	0.1533	0.0875
372	Rprec_mult_2.00	0.1440	0.0814
372	binG	0.1691	0.1030
372	bpref	0.1982	0.1405
372	infAP	0.1915	0.1519
372	iprec_at_recall_0.00	0.8145	0.3319
372	iprec_at_recall_0.10	0.5399	0.3713
372	iprec_at_recall_0.20	0.3759	0.3223
372	iprec_at_recall_0.30	0.2789	0.2889
372	iprec_at_recall_0.40	0.1619	0.2126
372	iprec_at_recall_0.50	0.1060	0.1504
372	iprec_at_recall_0.60	0.0647	0.1132
372	iprec_at_recall_0.70	0.0432	0.0978
372	iprec_at_recall_0.80	0.0103	0.0627
372	iprec_at_recall_0.90	0.0009	0.0098
372	iprec_at_recall_1.00	0.0000	0.0000
372	map	0.1915	0.1519
372	map_cut_10	0.0842	0.0600
372	map_cut_100	0.1671	0.1429
372	map_cut_1000	0.1915	0.1519
372	map_cut_15	0.1047	0.0809
372	map_cut_20	0.1224	0.1021
372	map_cut_200	0.1788	0.1490
372	map_cut_30	0.1406	0.1211
372	map_cut_5	0.0566	0.0352
372	map_cut_500	0.1880	0.1522
372	ndcg	0.4822	0.2036
372	ndcg_cut_10	0.5370	0.2962
372	ndcg_cut_100	0.3427	0.1854
372	ndcg_cut_1000	0.4822	0.2036
372	ndcg_cut_15	0.4842	0.2758
372	ndcg_cut_20	0.4485	0.2675
372	ndcg_cut_200	0.3893	0.1996
372	ndcg_cut_30	0.3855	0.2289
372	ndcg_cut_5	0.6377	0.3339
372	ndcg_cut_500	0.4451	0.2083
372	ndcg_rel	0.4748	0.2153
372	num_nonrel_judged_ret	419.4545	132.5170
372	num_rel	49.0000	0.0000
372	num_rel_ret	28.8273	10.5562
372	num_ret	913.7273	248.3824
372	prefs_avgjg	0.5273	0.1984
372	prefs_avgjg_Rnonrel	0.0253	0.0060
372	prefs_avgjg_Rnonrel_ret	0.0528	0.0402
372	prefs_avgjg_imp	0.7263	0.1209
372	prefs_avgjg_ret	0.6726	0.1679
372	prefs_num_prefs_ful	32712.2909	12308.3244
372	prefs_num_prefs_ful_ret	9354.8273	5517.7807
372	prefs_num_prefs_poss	62034.0000	0.0000
372	prefs_pair	0.5273	0.1984
372	prefs_pair_imp	0.7263	0.1209
372	prefs_pair_ret	0.6726	0.1679
372	prefs_simp	0.5273	0.1984
372	prefs_simp_imp	0.7263	0.1209
372	prefs_simp_ret	0.6726	0.1679
372	recall_10	0.0976	0.0591
372	recall_100	0.2900	0.1630
372	recall_1000	0.5883	0.2154
372	recall_15	0.1284	0.0816
372	recall_20	0.1560	0.1061
372	recall_200	0.3770	0.1905
372	recall_30	0.1918	0.1281
372	recall_5	0.0621	0.0334
372	recall_500	0.4972	0.2138
372	recip_rank	0.7888	0.3574
372	relative_P_10	0.4782	0.2893
372	relative_P_100	0.2900	0.1630
372	relative_P_1000	0.5883	0.2154
372	relative_P_15	0.4194	0.2666
372	relative_P_20	0.3823	0.2599
372	relative_P_200	0.3770	0.1905
372	relative_P_30	0.3133	0.2093
372	relative_P_5	0.6091	0.3274
372	relative_P_500	0.4972	0.2138
372	set_F	0.0608	0.0225
372	set_P	0.0389	0.0508
372	set_map	0.0205	0.0108
372	set_recall	0.5883	0.2154
372	set_relative_P	0.5948	0.2039
372	success_1	0.7273	0.4454
372	success_10	0.9000	0.3000
372	success_5	0.8636	0.3432
372	utility	-856.0727	234.8886
373	11pt_avg	0.3196	0.0992
373	G	0.2395	0.0711
373	P_10	0.6018	0.1963
373	P_100	0.1585	0.0387
373	P_1000	0.0228	0.0056
373	P_15	0.5376	0.1685
373	P_20	0.4655	0.1435
373	P_200	0.0904	0.0218
373	P_30	0.3685	0.1058
373	P_5	0.7345	0.2531
373	P_500	0.0419	0.0106
373	Rndcg	0.5192	0.1265
373	Rprec	0.3518	0.1007
373	Rprec_mult_0.20	0.6584	0.2102
373	Rprec_mult_0.40	0.5468	0.1737
373	Rprec_mult_0.60	0.4655	0.1435
373	Rprec_mult_0.80	0.3986	0.1199
373	Rprec_mult_1.00	0.3518	0.1007
373	Rprec_mult_1.20	0.3143	0.0863
373	Rprec_mult_1.40	0.2824	0.0772
373	Rprec_mult_1.60	0.2597	0.0701
373	Rprec_mult_1.80	0.2373	0.0606
373	Rprec_mult_2.00	0.2197	0.0547
373	binG	0.2395	0.0711
373	bpref	0.3140	0.0896
373	infAP	0.2958	0.1016
373	iprec_at_recall_0.00	0.9129	0.1979
373	iprec_at_recall_0.10	0.7986	0.2514
373	iprec_at_recall_0.20	0.6209	0.2285
373	iprec_at_recall_0.30	0.4869	0.2365
373	iprec_at_recall_0.40	0.3350	0.1740
373	iprec_at_recall_0.50	0.2111	0.1370
373	iprec_at_recall_0.60	0.0880	0.0693
373	iprec_at_recall_0.70	0.0485	0.0465
373	iprec_at_recall_0.80	0.0136	0.0286
373	iprec_at_recall_0.90	0.0003	0.0032
373	iprec_at_recall_1.00	0.0000	0.0000
373	map	0.2958	0.1016
373	map_cut_10	0.1531	0.0607
373	map_cut_100	0.2794	0.0982
373	map_cut_1000	0.2958	0.1016
373	map_cut_15	0.1920	0.0765
373	map_cut_20	0.2131	0.0821
373	map_cut_200	0.2876	0.1002
373	map_cut_30	0.2373	0.0887
373	map_cut_5	0.1008	0.0444
373	map_cut_500	0.2938	0.1013
373	ndcg	0.6008	0.1424
373	ndcg_cut_10	0.6501	0.2001
373	ndcg_cut_100	0.5130	0.1251
373	ndcg_cut_1000	0.6008	0.1424
373	ndcg_cut_15	0.5959	0.1726
373	ndcg_cut_20	0.5379	0.1512
373	ndcg_cut_200	0.5447	0.1305
373	ndcg_cut_30	0.4541	0.1213
373	ndcg_cut_5	0.7477	0.2606
373	ndcg_cut_500	0.5802	0.1389
373	ndcg_rel	0.6041	0.1496
373	num_nonrel_judged_ret	346.2818	119.2934
373	num_rel	33.0000	0.0000
373	num_rel_ret	22.8455	5.6427
373	num_ret	913.8000	248.0717
373	prefs_avgjg	0.6628	0.1602
373	prefs_avgjg_Rnonrel	0.0154	0.0023
373	prefs_avgjg_Rnonrel_ret	0.0660	0.0555
373	prefs_avgjg_imp	0.8793	0.0937
373	prefs_avgjg_ret	0.7941	0.0995
373	prefs_num_prefs_ful	36155.6818	8739.9039
373	prefs_num_prefs_ful_ret	6841.5727	2989.4880
373	prefs_num_prefs_poss	54549.0000	0.0000
373	prefs_pair	0.6628	0.1602
373	prefs_pair_imp	0.8793	0.0937
373	prefs_pair_ret	0.7941	0.0995
373	prefs_simp	0.6628	0.1602
373	prefs_simp_imp	0.8793	0.0937
373	prefs_simp_ret	0.7941	0.0995
373	recall_10	0.1824	0.0595
373	recall_100	0.4802	0.1174
373	recall_1000	0.6923	0.1710
373	recall_15	0.2443	0.0766
373	recall_20	0.2821	0.0869
373	recall_200	0.5480	0.1320
373	recall_30	0.3350	0.0962
373	recall_5	0.1113	0.0384
373	recall_500	0.6347	0.1609
373	recip_rank	0.8549	0.2799
373	relative_P_10	0.6018	0.1963
373	relative_P_100	0.4802	0.1174
373	relative_P_1000	0.6923	0.1710
373	relative_P_15	0.5376	0.1685
373	relative_P_20	0.4655	0.1435
373	relative_P_200	0.5480	0.1320
373	relative_P_30	0.3685	0.1058
373	relative_P_5	0.7345	0.2531
373	relative_P_500	0.6347	0.1609
373	set_F	   nan	   nan
373	set_P	0.0403	0.1038
373	set_map	0.0215	0.0241
373	set_recall	0.6923	0.1710
373	set_relative_P	0.7024	0.1602
373	success_1	0.7727	0.4191
373	success_10	0.9636	0.1872
373	success_5	0.9545	0.2083
373	utility	-868.1091	239.5720
374	11pt_avg	0.2994	0.0809
374	G	0.1286	0.0324
374	P_10	0.4973	0.1993
374	P_100	0.4324	0.0898
374	P_1000	0.1561	0.0444
374	P_15	0.4836	0.1516
374	P_20	0.4873	0.1354
374	P_200	0.3374	0.0646
374	P_30	0.4858	0.1325
374	P_5	0.4727	0.2851
374	P_500	0.2347	0.0617
374	Rndcg	0.5035	0.0979
374	Rprec	0.3340	0.0641
374	Rprec_mult_0.20	0.4781	0.1279
374	Rprec_mult_0.40	0.4535	0.0962
374	Rprec_mult_0.60	0.4042	0.0778
374	Rprec_mult_0.80	0.3646	0.0683
374	Rprec_mult_1.00	0.3340	0.0641
374	Rprec_mult_1.20	0.3098	0.0600
374	Rprec_mult_1.40	0.2910	0.0584
374	Rprec_mult_1.60	0.2751	0.0578
374	Rprec_mult_1.80	0.2637	0.0584
374	Rprec_mult_2.00	0.2535	0.0587
374	binG	0.1286	0.0324
374	bpref	0.2811	0.0527
374	infAP	0.2730	0.0797
374	iprec_at_recall_0.00	0.7709	0.2471
374	iprec_at_recall_0.10	0.5296	0.1269
374	iprec_at_recall_0.20	0.4583	0.1133
374	iprec_at_recall_0.30	0.3623	0.1178
374	iprec_at_recall_0.40	0.2933	0.1150
374	iprec_at_recall_0.50	0.2412	0.1149
374	iprec_at_recall_0.60	0.2087	0.1170
374	iprec_at_recall_0.70	0.1832	0.1208
374	iprec_at_recall_0.80	0.1273	0.1316
374	iprec_at_recall_0.90	0.0825	0.1227
374	iprec_at_recall_1.00	0.0362	0.0879
374	map	0.2730	0.0797
374	map_cut_10	0.0164	0.0121
374	map_cut_100	0.1106	0.0415
374	map_cut_1000	0.2730	0.0797
374	map_cut_15	0.0223	0.0144
374	map_cut_20	0.0286	0.0168
374	map_cut_200	0.1576	0.0486
374	map_cut_30	0.0413	0.0218
374	map_cut_5	0.0090	0.0077
374	map_cut_500	0.2305	0.0669
374	ndcg	0.6449	0.1535
374	ndcg_cut_10	0.4947	0.2297
374	ndcg_cut_100	0.4457	0.0988
374	ndcg_cut_1000	0.6449	0.1535
374	ndcg_cut_15	0.4861	0.1862
374	ndcg_cut_20	0.4880	0.1686
374	ndcg_cut_200	0.3651	0.0694
374	ndcg_cut_30	0.4870	0.1529
374	ndcg_cut_5	0.4790	0.3037
374	ndcg_cut_500	0.5283	0.1166
374	ndcg_rel	0.5139	0.0961
374	num_nonrel_judged_ret	376.0000	114.1566
374	num_rel	204.0000	0.0000
374	num_rel_ret	156.0545	44.4360
374	num_ret	915.7091	241.4623
374	prefs_avgjg	0.6236	0.1611
374	prefs_avgjg_Rnonrel	0.1396	0.0172
374	prefs_avgjg_Rnonrel_ret	0.2526	0.0690
374	prefs_avgjg_imp	0.7373	0.0664
374	prefs_avgjg_ret	0.5817	0.0684
374	prefs_num_prefs_ful	114999.9818	29714.7875
374	prefs_num_prefs_ful_ret	36192.2909	14852.5135
374	prefs_num_prefs_poss	184416.0000	0.0000
374	prefs_pair	0.6236	0.1611
374	prefs_pair_imp	0.7373	0.0664
374	prefs_pair_ret	0.5817	0.0684
374	prefs_simp	0.6236	0.1611
374	prefs_simp_imp	0.7373	0.0664
374	prefs_simp_ret	0.5817	0.0684
374	recall_10	0.0244	0.0098
374	recall_100	0.2120	0.0440
374	recall_1000	0.7650	0.2178
374	recall_15	0.0355	0.0111
374	recall_20	0.0478	0.0133
374	recall_200	0.3308	0.0633
374	recall_30	0.0714	0.0195
374	recall_5	0.0116	0.0070
374	recall_500	0.5752	0.1511
374	recip_rank	0.6622	0.3557
374	relative_P_10	0.4973	0.1993
374	relative_P_100	0.4324	0.0898
374	relative_P_1000	0.7650	0.2178
374	relative_P_15	0.4836	0.1516
374	relative_P_20	0.4873	0.1354
374	relative_P_200	0.3374	0.0646
374	relative_P_30	0.4858	0.1325
374	relative_P_5	0.4727	0.2851
374	relative_P_500	0.5752	0.1511
374	set_F	0.2810	0.0597
374	set_P	0.1824	0.0637
374	set_map	0.1380	0.0490
374	set_recall	0.7650	0.2178
374	set_relative_P	0.7686	0.2108
374	success_1	0.5091	0.4999
374	success_10	0.9909	0.0949
374	success_5	0.9182	0.2741
374	utility	-603.6000	189.5228
375	11pt_avg	0.2712	0.0736
375	G	0.1589	0.0386
375	P_10	0.5991	0.1498
375	P_100	0.2805	0.0635
375	P_1000	0.0537	0.0144
375	P_15	0.5600	0.1379
375	P_20	0.5305	0.1225
375	P_200	0.1812	0.0388
375	P_30	0.4930	0.0986
375	P_5	0.6745	0.2034
375	P_500	0.0919	0.0211
375	Rndcg	0.4789	0.0982
375	Rprec	0.3175	0.0745
375	Rprec_mult_0.20	0.5545	0.1298
375	Rprec_mult_0.40	0.4821	0.0985
375	Rprec_mult_0.60	0.4093	0.0891
375	Rprec_mult_0.80	0.3553	0.0811
375	Rprec_mult_1.00	0.3175	0.0745
375	Rprec_mult_1.20	0.2864	0.0651
375	Rprec_mult_1.40	0.2621	0.0603
375	Rprec_mult_1.60	0.2433	0.0547
375	Rprec_mult_1.80	0.2266	0.0505
375	Rprec_mult_2.00	0.2112	0.0464
375	binG	0.1589	0.0386
375	bpref	0.2651	0.0640
375	infAP	0.2386	0.0748
375	iprec_at_recall_0.00	0.8998	0.1730
375	iprec_at_recall_0.10	0.6349	0.1433
375	iprec_at_recall_0.20	0.4898	0.1458
375	iprec_at_recall_0.30	0.3520	0.1457
375	iprec_at_recall_0.40	0.2547	0.1387
375	iprec_at_recall_0.50	0.1782	0.1061
375	iprec_at_recall_0.60	0.0881	0.0729
375	iprec_at_recall_0.70	0.0465	0.0609
375	iprec_at_recall_0.80	0.0272	0.0491
375	iprec_at_recall_0.90	0.0110	0.0333
375	iprec_at_recall_1.00	0.0016	0.0115
375	map	0.2386	0.0748
375	map_cut_10	0.0585	0.0213
375	map_cut_100	0.1886	0.0588
375	map_cut_1000	0.2386	0.0748
375	map_cut_15	0.0773	0.0251
375	map_cut_20	0.0932	0.0295
375	map_cut_200	0.2134	0.0655
375	map_cut_30	0.1210	0.0350
375	map_cut_5	0.0359	0.0168
375	map_cut_500	0.2307	0.0700
375	ndcg	0.5781	0.1279
375	ndcg_cut_10	0.6306	0.1596
375	ndcg_cut_100	0.4024	0.0771
375	ndcg_cut_1000	0.5781	0.1279
375	ndcg_cut_15	0.5971	0.1350
375	ndcg_cut_20	0.5710	0.1233
375	ndcg_cut_200	0.4666	0.0883
375	ndcg_cut_30	0.5356	0.1022
375	ndcg_cut_5	0.6869	0.2299
375	ndcg_cut_500	0.5322	0.1042
375	ndcg_rel	0.5377	0.1006
375	num_nonrel_judged_ret	378.8182	107.1460
375	num_rel	80.0000	0.0000
375	num_rel_ret	53.7000	14.4471
375	num_ret	915.5364	242.0049
375	prefs_avgjg	0.5976	0.1485
375	prefs_avgjg_Rnonrel	0.0532	0.0046
375	prefs_avgjg_Rnonrel_ret	0.1073	0.0297
375	prefs_avgjg_imp	0.7689	0.0524
375	prefs_avgjg_ret	0.7095	0.0720
375	prefs_num_prefs_ful	50677.2000	12596.0242
375	prefs_num_prefs_ful_ret	15272.3273	5883.0441
375	prefs_num_prefs_poss	84800.0000	0.0000
375	prefs_pair	0.5976	0.1485
375	prefs_pair_imp	0.7689	0.0524
375	prefs_pair_ret	0.7095	0.0720
375	prefs_simp	0.5976	0.1485
375	prefs_simp_imp	0.7689	0.0524
375	prefs_simp_ret	0.7095	0.0720
375	recall_10	0.0749	0.0187
375	recall_100	0.3507	0.0794
375	recall_1000	0.6712	0.1806
375	recall_15	0.1050	0.0258
375	recall_20	0.1326	0.0306
375	recall_200	0.4530	0.0971
375	recall_30	0.1849	0.0370
375	recall_5	0.0422	0.0127
375	recall_500	0.5744	0.1322
375	recip_rank	0.8214	0.2855
375	relative_P_10	0.5991	0.1498
375	relative_P_100	0.3507	0.0794
375	relative_P_1000	0.6712	0.1806
375	relative_P_15	0.5600	0.1379
375	relative_P_20	0.5305	0.1225
375	relative_P_200	0.4530	0.0971
375	relative_P_30	0.4930	0.0986
375	relative_P_5	0.6745	0.2034
375	relative_P_500	0.5744	0.1322
375	set_F	0.1130	0.0353
375	set_P	0.0643	0.0305
375	set_map	0.0422	0.0172
375	set_recall	0.6712	0.1806
375	set_relative_P	0.6712	0.1806
375	success_1	0.7091	0.4542
375	success_10	0.9909	0.0949
375	success_5	0.9909	0.0949
375	utility	-808.1364	222.7660
376	11pt_avg	0.0605	0.0763
376	G	0.0442	0.0405
376	P_10	0.2100	0.2374
376	P_100	0.0801	0.0896
376	P_1000	0.0246	0.0198
376	P_15	0.1824	0.2081
376	P_20	0.1636	0.1859
376	P_200	0.0564	0.0601
376	P_30	0.1379	0.1587
376	P_5	0.2309	0.2856
376	P_500	0.0346	0.0316
376	Rndcg	0.1448	0.1287
376	Rprec	0.0790	0.0883
376	Rprec_mult_0.20	0.1602	0.1809
376	Rprec_mult_0.40	0.1224	0.1379
376	Rprec_mult_0.60	0.0996	0.1095
376	Rprec_mult_0.80	0.0891	0.1004
376	Rprec_mult_1.00	0.0790	0.0883
376	Rprec_mult_1.20	0.0724	0.0804
376	Rprec_mult_1.40	0.0670	0.0724
376	Rprec_mult_1.60	0.0619	0.0657
376	Rprec_mult_1.80	0.0590	0.0636
376	Rprec_mult_2.00	0.0558	0.0596
376	binG	0.0442	0.0405
376	bpref	0.0664	0.0770
376	infAP	0.0416	0.0693
376	iprec_at_recall_0.00	0.3815	0.3494
376	iprec_at_recall_0.10	0.1231	0.1897
376	iprec_at_recall_0.20	0.0586	0.1233
376	iprec_at_recall_0.30	0.0367	0.0977
376	iprec_at_recall_0.40	0.0260	0.0872
376	iprec_at_recall_0.50	0.0157	0.0581
376	iprec_at_recall_0.60	0.0126	0.0541
376	iprec_at_recall_0.70	0.0040	0.0414
376	iprec_at_recall_0.80	0.0036	0.0374
376	iprec_at_recall_0.90	0.0033	0.0347
376	iprec_at_recall_1.00	0.0000	0.0000
376	map	0.0416	0.0693
376	map_cut_10	0.0126	0.0188
376	map_cut_100	0.0298	0.0512
376	map_cut_1000	0.0416	0.0693
376	map_cut_15	0.0156	0.0238
376	map_cut_20	0.0177	0.0280
376	map_cut_200	0.0342	0.0610
376	map_cut_30	0.0208	0.0335
376	map_cut_5	0.0077	0.0119
376	map_cut_500	0.0385	0.0672
376	ndcg	0.1904	0.1577
376	ndcg_cut_10	0.2104	0.2447
376	ndcg_cut_100	0.1001	0.1070
376	ndcg_cut_1000	0.1904	0.1577
376	ndcg_cut_15	0.1919	0.2223
376	ndcg_cut_20	0.1778	0.2041
376	ndcg_cut_200	0.1202	0.1218
376	ndcg_cut_30	0.1567	0.1800
376	ndcg_cut_5	0.2210	0.2800
376	ndcg_cut_500	0.1542	0.1410
376	ndcg_rel	0.1812	0.1431
376	num_nonrel_judged_ret	388.5364	131.7027
376	num_rel	102.0000	0.0000
376	num_rel_ret	24.6182	19.8013
376	num_ret	931.8182	215.6098
376	prefs_avgjg	0.2210	0.1785
376	prefs_avgjg_Rnonrel	0.0258	0.0036
376	prefs_avgjg_Rnonrel_ret	0.0472	0.0563
376	prefs_avgjg_imp	0.5243	0.2294
376	prefs_avgjg_ret	0.5141	0.1868
376	prefs_num_prefs_ful	47232.6545	38154.5402
376	prefs_num_prefs_ful_ret	5968.9545	6574.1609
376	prefs_num_prefs_poss	213690.0000	0.0000
376	prefs_pair	0.2210	0.1785
376	prefs_pair_imp	0.5243	0.2294
376	prefs_pair_ret	0.5141	0.1868
376	prefs_simp	0.2210	0.1785
376	prefs_simp_imp	0.5243	0.2294
376	prefs_simp_ret	0.5141	0.1868
376	recall_10	0.0206	0.0233
376	recall_100	0.0785	0.0878
376	recall_1000	0.2414	0.1941
376	recall_15	0.0268	0.0306
376	recall_20	0.0321	0.0364
376	recall_200	0.1106	0.1178
376	recall_30	0.0405	0.0467
376	recall_5	0.0113	0.0140
376	recall_500	0.1698	0.1550
376	recip_rank	0.3314	0.3377
376	relative_P_10	0.2100	0.2374
376	relative_P_100	0.0801	0.0896
376	relative_P_1000	0.2414	0.1941
376	relative_P_15	0.1824	0.2081
376	relative_P_20	0.1636	0.1859
376	relative_P_200	0.1106	0.1178
376	relative_P_30	0.1379	0.1587
376	relative_P_5	0.2309	0.2856
376	relative_P_500	0.1698	0.1550
376	set_F	   nan	   nan
376	set_P	0.0290	0.0251
376	set_map	0.0107	0.0163
376	set_recall	0.2414	0.1941
376	set_relative_P	0.2414	0.1941
376	success_1	0.1545	0.3615
376	success_10	0.6727	0.4692
376	success_5	0.5182	0.4997
376	utility	-882.5818	213.7886
377	11pt_avg	0.3112	0.1026
377	G	0.2172	0.0590
377	P_10	0.5136	0.1404
377	P_100	0.2019	0.0583
377	P_1000	0.0337	0.0078
377	P_15	0.4709	0.1269
377	P_20	0.4136	0.1140
377	P_200	0.1322	0.0368
377	P_30	0.3518	0.0998
377	P_5	0.5636	0.1967
377	P_500	0.0636	0.0161
377	Rndcg	0.5215	0.1244
377	Rprec	0.3187	0.0943
377	Rprec_mult_0.20	0.5295	0.1469
377	Rprec_mult_0.40	0.4614	0.1241
377	Rprec_mult_0.60	0.3864	0.1061
377	Rprec_mult_0.80	0.3438	0.1017
377	Rprec_mult_1.00	0.3187	0.0943
377	Rprec_mult_1.20	0.2975	0.0851
377	Rprec_mult_1.40	0.2793	0.0736
377	Rprec_mult_1.60	0.2600	0.0665
377	Rprec_mult_1.80	0.2449	0.0647
377	Rprec_mult_2.00	0.2325	0.0616
377	binG	0.2172	0.0590
377	bpref	0.2644	0.0803
377	infAP	0.2830	0.1044
377	iprec_at_recall_0.00	0.9024	0.2008
377	iprec_at_recall_0.10	0.6270	0.2129
377	iprec_at_recall_0.20	0.4965	0.1759
377	iprec_at_recall_0.30	0.3664	0.1306
377	iprec_at_recall_0.40	0.2829	0.1405
377	iprec_at_recall_0.50	0.2264	0.1195
377	iprec_at_recall_0.60	0.1757	0.1049
377	iprec_at_recall_0.70	0.1462	0.0983
377	iprec_at_recall_0.80	0.1144	0.0869
377	iprec_at_recall_0.90	0.0698	0.0600
377	iprec_at_recall_1.00	0.0159	0.0295
377	map	0.2830	0.1044
377	map_cut_10	0.0944	0.0389
377	map_cut_100	0.2371	0.0924
377	map_cut_1000	0.2830	0.1044
377	map_cut_15	0.1216	0.0470
377	map_cut_20	0.1368	0.0527
377	map_cut_200	0.2664	0.1026
377	map_cut_30	0.1619	0.0630
377	map_cut_5	0.0597	0.0299
377	map_cut_500	0.2806	0.1052
377	ndcg	0.6605	0.1521
377	ndcg_cut_10	0.5561	0.1560
377	ndcg_cut_100	0.5017	0.1323
377	ndcg_cut_1000	0.6605	0.1521
377	ndcg_cut_15	0.5182	0.1384
377	ndcg_cut_20	0.4719	0.1267
377	ndcg_cut_200	0.5820	0.1510
377	ndcg_cut_30	0.4156	0.1135
377	ndcg_cut_5	0.6071	0.2089
377	ndcg_cut_500	0.6418	0.1571
377	ndcg_rel	0.5576	0.1239
377	num_nonrel_judged_ret	467.3636	149.1601
377	num_rel	39.0000	0.0000
377	num_rel_ret	33.7364	7.8296
377	num_ret	914.7000	244.8672
377	prefs_avgjg	0.7831	0.1824
377	prefs_avgjg_Rnonrel	0.0284	0.0032
377	prefs_avgjg_Rnonrel_ret	0.0606	0.0495
377	prefs_avgjg_imp	0.8610	0.0756
377	prefs_avgjg_ret	0.7854	0.0980
377	prefs_num_prefs_ful	30294.6000	7057.3491
377	prefs_num_prefs_ful_ret	13612.8909	5912.9470
377	prefs_num_prefs_poss	38688.0000	0.0000
377	prefs_pair	0.7831	0.1824
377	prefs_pair_imp	0.8610	0.0756
377	prefs_pair_ret	0.7854	0.0980
377	prefs_simp	0.7831	0.1824
377	prefs_simp_imp	0.8610	0.0756
377	prefs_simp_ret	0.7854	0.0980
377	recall_10	0.1317	0.0360
377	recall_100	0.5177	0.1495
377	recall_1000	0.8650	0.2008
377	recall_15	0.1811	0.0488
377	recall_20	0.2121	0.0585
377	recall_200	0.6779	0.1885
377	recall_30	0.2706	0.0767
377	recall_5	0.0723	0.0252
377	recall_500	0.8156	0.2070
377	recip_rank	0.8765	0.2451
377	relative_P_10	0.5136	0.1404
377	relative_P_100	0.5177	0.1495
377	relative_P_1000	0.8650	0.2008
377	relative_P_15	0.4709	0.1269
377	relative_P_20	0.4136	0.1140
377	relative_P_200	0.6779	0.1885
377	relative_P_30	0.3518	0.0998
377	relative_P_5	0.5636	0.1967
377	relative_P_500	0.8156	0.2070
377	set_F	0.0790	0.0559
377	set_P	0.0442	0.0482
377	set_map	0.0364	0.0279
377	set_recall	0.8650	0.2008
377	set_relative_P	0.8650	0.2008
377	success_1	0.7909	0.4067
377	success_10	0.9909	0.0949
377	success_5	0.9909	0.0949
377	utility	-847.2273	232.5678
378	11pt_avg	0.0560	0.0627
378	G	0.0494	0.0379
378	P_10	0.1536	0.1957
378	P_100	0.0725	0.0676
378	P_1000	0.0296	0.0187
378	P_15	0.1370	0.1705
378	P_20	0.1241	0.1531
378	P_200	0.0573	0.0445
378	P_30	0.1103	0.1324
378	P_5	0.2091	0.2715
378	P_500	0.0410	0.0267
378	Rndcg	0.1547	0.1236
378	Rprec	0.0734	0.0685
378	Rprec_mult_0.20	0.1241	0.1531
378	Rprec_mult_0.40	0.0986	0.1118
378	Rprec_mult_0.60	0.0847	0.0900
378	Rprec_mult_0.80	0.0762	0.0770
378	Rprec_mult_1.00	0.0734	0.0685
378	Rprec_mult_1.20	0.0682	0.0614
378	Rprec_mult_1.40	0.0648	0.0557
378	Rprec_mult_1.60	0.0622	0.0519
378	Rprec_mult_1.80	0.0597	0.0479
378	Rprec_mult_2.00	0.0578	0.0451
378	binG	0.0494	0.0379
378	bpref	0.0511	0.0550
378	infAP	0.0377	0.0465
378	iprec_at_recall_0.00	0.3554	0.3972
378	iprec_at_recall_0.10	0.1186	0.1344
378	iprec_at_recall_0.20	0.0627	0.0705
378	iprec_at_recall_0.30	0.0320	0.0484
378	iprec_at_recall_0.40	0.0206	0.0409
378	iprec_at_recall_0.50	0.0160	0.0337
378	iprec_at_recall_0.60	0.0077	0.0246
378	iprec_at_recall_0.70	0.0026	0.0134
378	iprec_at_recall_0.80	0.0000	0.0000
378	iprec_at_recall_0.90	0.0000	0.0000
378	iprec_at_recall_1.00	0.0000	0.0000
378	map	0.0377	0.0465
378	map_cut_10	0.0106	0.0163
378	map_cut_100	0.0229	0.0322
378	map_cut_1000	0.0377	0.0465
378	map_cut_15	0.0128	0.0192
378	map_cut_20	0.0142	0.0213
378	map_cut_200	0.0270	0.0367
378	map_cut_30	0.0166	0.0248
378	map_cut_5	0.0081	0.0126
378	map_cut_500	0.0332	0.0421
378	ndcg	0.2188	0.1568
378	ndcg_cut_10	0.1766	0.2329
378	ndcg_cut_100	0.0911	0.0943
378	ndcg_cut_1000	0.2188	0.1568
378	ndcg_cut_15	0.1605	0.2069
378	ndcg_cut_20	0.1479	0.1878
378	ndcg_cut_200	0.1195	0.1072
378	ndcg_cut_30	0.1327	0.1644
378	ndcg_cut_5	0.2183	0.2948
378	ndcg_cut_500	0.1721	0.1306
378	ndcg_rel	0.1996	0.1426
378	num_nonrel_judged_ret	485.0455	189.2135
378	num_rel	98.0000	0.0000
378	num_rel_ret	29.6455	18.7081
378	num_ret	914.0545	247.1939
378	prefs_avgjg	0.2604	0.1675
378	prefs_avgjg_Rnonrel	0.0277	0.0065
378	prefs_avgjg_Rnonrel_ret	0.0307	0.0231
378	prefs_avgjg_imp	0.4533	0.2127
378	prefs_avgjg_ret	0.4692	0.2096
378	prefs_num_prefs_ful	44095.5545	28371.3711
378	prefs_num_prefs_ful_ret	9120.6182	6448.8344
378	prefs_num_prefs_poss	169344.0000	0.0000
378	prefs_pair	0.2604	0.1675
378	prefs_pair_imp	0.4533	0.2127
378	prefs_pair_ret	0.4692	0.2096
378	prefs_simp	0.2604	0.1675
378	prefs_simp_imp	0.4533	0.2127
378	prefs_simp_ret	0.4692	0.2096
378	recall_10	0.0157	0.0200
378	recall_100	0.0739	0.0690
378	recall_1000	0.3025	0.1909
378	recall_15	0.0210	0.0261
378	recall_20	0.0253	0.0312
378	recall_200	0.1170	0.0908
378	recall_30	0.0338	0.0405
378	recall_5	0.0107	0.0138
378	recall_500	0.2093	0.1363
378	recip_rank	0.3333	0.4047
378	relative_P_10	0.1536	0.1957
378	relative_P_100	0.0739	0.0690
378	relative_P_1000	0.3025	0.1909
378	relative_P_15	0.1370	0.1705
378	relative_P_20	0.1241	0.1531
378	relative_P_200	0.1170	0.0908
378	relative_P_30	0.1103	0.1324
378	relative_P_5	0.2091	0.2715
378	relative_P_500	0.2093	0.1363
378	set_F	   nan	   nan
378	set_P	0.0298	0.0186
378	set_map	0.0126	0.0135
378	set_recall	0.3025	0.1909
378	set_relative_P	0.3025	0.1909
378	success_1	0.2455	0.4304
378	success_10	0.4909	0.4999
378	success_5	0.4727	0.4993
378	utility	-854.7636	229.0783
379	11pt_avg	0.1436	0.1484
379	G	0.1630	0.0986
379	P_10	0.1945	0.2148
379	P_100	0.0543	0.0320
379	P_1000	0.0101	0.0037
379	P_15	0.1679	0.1724
379	P_20	0.1400	0.1346
379	P_200	0.0351	0.0172
379	P_30	0.1124	0.0947
379	P_5	0.2273	0.2822
379	P_500	0.0173	0.0076
379	Rndcg	0.2853	0.1829
379	Rprec	0.1602	0.1627
379	Rprec_mult_0.20	0.2386	0.3041
379	Rprec_mult_0.40	0.2156	0.2404
379	Rprec_mult_0.60	0.1945	0.2148
379	Rprec_mult_0.80	0.1762	0.1818
379	Rprec_mult_1.00	0.1602	0.1627
379	Rprec_mult_1.20	0.1400	0.1346
379	Rprec_mult_1.40	0.1289	0.1207
379	Rprec_mult_1.60	0.1196	0.1078
379	Rprec_mult_1.80	0.1141	0.0974
379	Rprec_mult_2.00	0.1077	0.0883
379	binG	0.1630	0.0986
379	bpref	0.1298	0.1502
379	infAP	0.1290	0.1419
379	iprec_at_recall_0.00	0.4935	0.4243
379	iprec_at_recall_0.10	0.3329	0.3681
379	iprec_at_recall_0.20	0.2366	0.3042
379	iprec_at_recall_0.30	0.1887	0.2508
379	iprec_at_recall_0.40	0.1398	0.2113
379	iprec_at_recall_0.50	0.0759	0.1568
379	iprec_at_recall_0.60	0.0575	0.1280
379	iprec_at_recall_0.70	0.0241	0.0614
379	iprec_at_recall_0.80	0.0201	0.0570
379	iprec_at_recall_0.90	0.0089	0.0383
379	iprec_at_recall_1.00	0.0012	0.0062
379	map	0.1290	0.1419
379	map_cut_10	0.0848	0.1173
379	map_cut_100	0.1198	0.1440
379	map_cut_1000	0.1290	0.1419
379	map_cut_15	0.0974	0.1338
379	map_cut_20	0.1014	0.1382
379	map_cut_200	0.1249	0.1429
379	map_cut_30	0.1075	0.1427
379	map_cut_5	0.0606	0.0829
379	map_cut_500	0.1279	0.1421
379	ndcg	0.3751	0.1775
379	ndcg_cut_10	0.2270	0.2493
379	ndcg_cut_100	0.2821	0.1991
379	ndcg_cut_1000	0.3751	0.1775
379	ndcg_cut_15	0.2018	0.2102
379	ndcg_cut_20	0.2045	0.2042
379	ndcg_cut_200	0.3187	0.1901
379	ndcg_cut_30	0.2244	0.2078
379	ndcg_cut_5	0.2607	0.3121
379	ndcg_cut_500	0.3510	0.1830
379	ndcg_rel	0.3469	0.2073
379	num_nonrel_judged_ret	397.2182	160.9416
379	num_rel	16.0000	0.0000
379	num_rel_ret	10.0636	3.6934
379	num_ret	878.1364	298.5258
379	prefs_avgjg	0.5934	0.2183
379	prefs_avgjg_Rnonrel	0.0043	0.0010
379	prefs_avgjg_Rnonrel_ret	0.0444	0.1239
379	prefs_avgjg_imp	0.8487	0.0878
379	prefs_avgjg_ret	0.6818	0.1560
379	prefs_num_prefs_ful	20699.2818	7612.5628
379	prefs_num_prefs_ful_ret	3128.8273	2318.2502
379	prefs_num_prefs_poss	34880.0000	0.0000
379	prefs_pair	0.5934	0.2183
379	prefs_pair_imp	0.8487	0.0878
379	prefs_pair_ret	0.6818	0.1560
379	prefs_simp	0.5934	0.2183
379	prefs_simp_imp	0.8487	0.0878
379	prefs_simp_ret	0.6818	0.1560
379	recall_10	0.1216	0.1343
379	recall_100	0.3392	0.2002
379	recall_1000	0.6290	0.2308
379	recall_15	0.1574	0.1616
379	recall_20	0.1750	0.1683
379	recall_200	0.4392	0.2146
379	recall_30	0.2108	0.1776
379	recall_5	0.0710	0.0882
379	recall_500	0.5415	0.2378
379	recip_rank	0.4807	0.4339
379	relative_P_10	0.1945	0.2148
379	relative_P_100	0.3392	0.2002
379	relative_P_1000	0.6290	0.2308
379	relative_P_15	0.1679	0.1724
379	relative_P_20	0.1750	0.1683
379	relative_P_200	0.4392	0.2146
379	relative_P_30	0.2108	0.1776
379	relative_P_5	0.2273	0.2822
379	relative_P_500	0.5415	0.2378
379	set_F	0.0507	0.1181
379	set_P	0.0405	0.1217
379	set_map	0.0235	0.0686
379	set_recall	0.6290	0.2308
379	set_relative_P	0.6305	0.2303
379	success_1	0.4000	0.4899
379	success_10	0.7091	0.4542
379	success_5	0.5091	0.4999
379	utility	-858.0091	295.9127
380	11pt_avg	0.1929	0.1042
380	G	0.2431	0.0786
380	P_10	0.1827	0.1086
380	P_100	0.0450	0.0171
380	P_1000	0.0061	0.0014
380	P_15	0.1545	0.0741
380	P_20	0.1377	0.0569
380	P_200	0.0255	0.0086
380	P_30	0.1039	0.0421
380	P_5	0.2291	0.1637
380	P_500	0.0114	0.0032
380	Rndcg	0.3300	0.1264
380	Rprec	0.2091	0.1330
380	Rprec_mult_0.20	0.3045	0.2440
380	Rprec_mult_0.40	0.2757	0.1899
380	Rprec_mult_0.60	0.2291	0.1637
380	Rprec_mult_0.80	0.2167	0.1500
380	Rprec_mult_1.00	0.2091	0.1330
380	Rprec_mult_1.20	0.1909	0.1102
380	Rprec_mult_1.40	0.1827	0.1086
380	Rprec_mult_1.60	0.1742	0.0910
380	Rprec_mult_1.80	0.1678	0.0850
380	Rprec_mult_2.00	0.1604	0.0778
380	binG	0.2431	0.0786
380	bpref	0.1540	0.1008
380	infAP	0.1718	0.0936
380	iprec_at_recall_0.00	0.4630	0.2515
380	iprec_at_recall_0.10	0.4630	0.2515
380	iprec_at_recall_0.20	0.2919	0.1962
380	iprec_at_recall_0.30	0.2919	0.1962
380	iprec_at_recall_0.40	0.2280	0.1710
380	iprec_at_recall_0.50	0.1321	0.1120
380	iprec_at_recall_0.60	0.0829	0.0786
380	iprec_at_recall_0.70	0.0829	0.0786
380	iprec_at_recall_0.80	0.0392	0.0365
380	iprec_at_recall_0.90	0.0233	0.0301
380	iprec_at_recall_1.00	0.0233	0.0301
380	map	0.1718	0.0936
380	map_cut_10	0.1155	0.0812
380	map_cut_100	0.1664	0.0940
380	map_cut_1000	0.1718	0.0936
380	map_cut_15	0.1303	0.0836
380	map_cut_20	0.1412	0.0848
380	map_cut_200	0.1698	0.0945
380	map_cut_30	0.1491	0.0874
380	map_cut_5	0.0854	0.0681
380	map_cut_500	0.1714	0.0940
380	ndcg	0.4484	0.1355
380	ndcg_cut_10	0.2419	0.1348
380	ndcg_cut_100	0.3932	0.1556
380	ndcg_cut_1000	0.4484	0.1355
380	ndcg_cut_15	0.2780	0.1318
380	ndcg_cut_20	0.3063	0.1324
380	ndcg_cut_200	0.4165	0.1537
380	ndcg_cut_30	0.3276	0.1372
380	ndcg_cut_5	0.2238	0.1479
380	ndcg_cut_500	0.4364	0.1466
380	ndcg_rel	0.3691	0.1207
380	num_nonrel_judged_ret	483.9273	136.9947
380	num_rel	7.0000	0.0000
380	num_rel_ret	6.1182	1.3667
380	num_ret	914.3636	246.0877
380	prefs_avgjg	0.8336	0.1917
380	prefs_avgjg_Rnonrel	0.0024	0.0004
380	prefs_avgjg_Rnonrel_ret	0.0083	0.0065
380	prefs_avgjg_imp	0.9155	0.0798
380	prefs_avgjg_ret	0.8223	0.1377
380	prefs_num_prefs_ful	9768.3545	2246.3440
380	prefs_num_prefs_ful_ret	2617.9000	1173.7062
380	prefs_num_prefs_poss	11718.0000	0.0000
380	prefs_pair	0.8336	0.1917
380	prefs_pair_imp	0.9155	0.0798
380	prefs_pair_ret	0.8223	0.1377
380	prefs_simp	0.8336	0.1917
380	prefs_simp_imp	0.9155	0.0798
380	prefs_simp_ret	0.8223	0.1377
380	recall_10	0.2611	0.1551
380	recall_100	0.6429	0.2450
380	recall_1000	0.8740	0.1952
380	recall_15	0.3312	0.1588
380	recall_20	0.3935	0.1625
380	recall_200	0.7286	0.2444
380	recall_30	0.4455	0.1804
380	recall_5	0.1637	0.1169
380	recall_500	0.8143	0.2292
380	recip_rank	0.4316	0.2476
380	relative_P_10	0.2611	0.1551
380	relative_P_100	0.6429	0.2450
380	relative_P_1000	0.8740	0.1952
380	relative_P_15	0.3312	0.1588
380	relative_P_20	0.3935	0.1625
380	relative_P_200	0.7286	0.2444
380	relative_P_30	0.4455	0.1804
380	relative_P_5	0.2291	0.1637
380	relative_P_500	0.8143	0.2292
380	set_F	0.0167	0.0172
380	set_P	0.0086	0.0100
380	set_map	0.0071	0.0051
380	set_recall	0.8740	0.1952
380	set_relative_P	0.8740	0.1952
380	success_1	0.1000	0.3000
380	success_10	0.9091	0.2875
380	success_5	0.8000	0.4000
380	utility	-902.1273	244.7045
381	11pt_avg	0.0819	0.0378
381	G	0.0771	0.0281
381	P_10	0.1045	0.0529
381	P_100	0.0280	0.0139
381	P_1000	0.0109	0.0043
381	P_15	0.0782	0.0390
381	P_20	0.0641	0.0324
381	P_200	0.0225	0.0096
381	P_30	0.0515	0.0310
381	P_5	0.1800	0.0932
381	P_500	0.0152	0.0063
381	Rndcg	0.1777	0.0653
381	Rprec	0.0536	0.0311
381	Rprec_mult_0.20	0.1561	0.0819
381	Rprec_mult_0.40	0.0901	0.0451
381	Rprec_mult_0.60	0.0727	0.0363
381	Rprec_mult_0.80	0.0589	0.0313
381	Rprec_mult_1.00	0.0536	0.0311
381	Rprec_mult_1.20	0.0486	0.0279
381	Rprec_mult_1.40	0.0448	0.0252
381	Rprec_mult_1.60	0.0412	0.0230
381	Rprec_mult_1.80	0.0372	0.0201
381	Rprec_mult_2.00	0.0354	0.0189
381	binG	0.0771	0.0281
381	bpref	0.0424	0.0197
381	infAP	0.0406	0.0197
381	iprec_at_recall_0.00	0.7864	0.3656
381	iprec_at_recall_0.10	0.0542	0.0697
381	iprec_at_recall_0.20	0.0248	0.0234
381	iprec_at_recall_0.30	0.0166	0.0144
381	iprec_at_recall_0.40	0.0113	0.0112
381	iprec_at_recall_0.50	0.0060	0.0102
381	iprec_at_recall_0.60	0.0015	0.0067
381	iprec_at_recall_0.70	0.0000	0.0000
381	iprec_at_recall_0.80	0.0000	0.0000
381	iprec_at_recall_0.90	0.0000	0.0000
381	iprec_at_recall_1.00	0.0000	0.0000
381	map	0.0406	0.0197
381	map_cut_10	0.0298	0.0154
381	map_cut_100	0.0342	0.0173
381	map_cut_1000	0.0406	0.0197
381	map_cut_15	0.0304	0.0154
381	map_cut_20	0.0309	0.0155
381	map_cut_200	0.0362	0.0180
381	map_cut_30	0.0319	0.0165
381	map_cut_5	0.0286	0.0152
381	map_cut_500	0.0387	0.0191
381	ndcg	0.2449	0.0886
381	ndcg_cut_10	0.1896	0.0872
381	ndcg_cut_100	0.1358	0.0542
381	ndcg_cut_1000	0.2449	0.0886
381	ndcg_cut_15	0.1527	0.0668
381	ndcg_cut_20	0.1308	0.0559
381	ndcg_cut_200	0.1630	0.0598
381	ndcg_cut_30	0.1116	0.0492
381	ndcg_cut_5	0.2764	0.1354
381	ndcg_cut_500	0.2054	0.0751
381	ndcg_rel	0.2409	0.0842
381	num_nonrel_judged_ret	466.5909	144.1556
381	num_rel	28.0000	0.0000
381	num_rel_ret	10.8636	4.2820
381	num_ret	917.3091	236.3828
381	prefs_avgjg	0.3409	0.1292
381	prefs_avgjg_Rnonrel	0.0076	0.0003
381	prefs_avgjg_Rnonrel_ret	0.0118	0.0031
381	prefs_avgjg_imp	0.6341	0.0711
381	prefs_avgjg_ret	0.5497	0.1145
381	prefs_num_prefs_ful	18183.6545	6893.2908
381	prefs_num_prefs_ful_ret	3101.0909	1698.9655
381	prefs_num_prefs_poss	53340.0000	0.0000
381	prefs_pair	0.3409	0.1292
381	prefs_pair_imp	0.6341	0.0711
381	prefs_pair_ret	0.5497	0.1145
381	prefs_simp	0.3409	0.1292
381	prefs_simp_imp	0.6341	0.0711
381	prefs_simp_ret	0.5497	0.1145
381	recall_10	0.0373	0.0189
381	recall_100	0.1000	0.0496
381	recall_1000	0.3880	0.1529
381	recall_15	0.0419	0.0209
381	recall_20	0.0458	0.0232
381	recall_200	0.1610	0.0682
381	recall_30	0.0552	0.0332
381	recall_5	0.0321	0.0166
381	recall_500	0.2711	0.1117
381	recip_rank	0.7856	0.3672
381	relative_P_10	0.1045	0.0529
381	relative_P_100	0.1000	0.0496
381	relative_P_1000	0.3880	0.1529
381	relative_P_15	0.0782	0.0390
381	relative_P_20	0.0641	0.0324
381	relative_P_200	0.1610	0.0682
381	relative_P_30	0.0552	0.0332
381	relative_P_5	0.1800	0.0932
381	relative_P_500	0.2711	0.1117
381	set_F	0.0228	0.0072
381	set_P	0.0119	0.0038
381	set_map	0.0050	0.0028
381	set_recall	0.3880	0.1529
381	set_relative_P	0.3880	0.1529
381	success_1	0.7364	0.4406
381	success_10	0.8909	0.3118
381	success_5	0.8455	0.3615
381	utility	-895.5818	230.8123
382	11pt_avg	0.4783	0.1065
382	G	0.3652	0.0897
382	P_10	0.6573	0.1569
382	P_100	0.1594	0.0212
382	P_1000	0.0194	0.0026
382	P_15	0.5709	0.1304
382	P_20	0.5191	0.1097
382	P_200	0.0865	0.0106
382	P_30	0.4100	0.0746
382	P_5	0.7727	0.2215
382	P_500	0.0380	0.0050
382	Rndcg	0.6613	0.1050
382	Rprec	0.4955	0.0957
382	Rprec_mult_0.20	0.7727	0.2215
382	Rprec_mult_0.40	0.6727	0.1606
382	Rprec_mult_0.60	0.5883	0.1372
382	Rprec_mult_0.80	0.5409	0.1196
382	Rprec_mult_1.00	0.4955	0.0957
382	Rprec_mult_1.20	0.4401	0.0819
382	Rprec_mult_1.40	0.4009	0.0727
382	Rprec_mult_1.60	0.3611	0.0655
382	Rprec_mult_1.80	0.3341	0.0591
382	Rprec_mult_2.00	0.3172	0.0567
382	binG	0.3652	0.0897
382	bpref	0.4510	0.1032
382	infAP	0.4653	0.1145
382	iprec_at_recall_0.00	0.9371	0.1568
382	iprec_at_recall_0.10	0.8834	0.1797
382	iprec_at_recall_0.20	0.7991	0.1995
382	iprec_at_recall_0.30	0.6943	0.2108
382	iprec_at_recall_0.40	0.6344	0.1948
382	iprec_at_recall_0.50	0.5293	0.1806
382	iprec_at_recall_0.60	0.3860	0.1714
382	iprec_at_recall_0.70	0.2584	0.1275
382	iprec_at_recall_0.80	0.0943	0.0508
382	iprec_at_recall_0.90	0.0393	0.0290
382	iprec_at_recall_1.00	0.0055	0.0142
382	map	0.4653	0.1145
382	map_cut_10	0.2535	0.0878
382	map_cut_100	0.4522	0.1144
382	map_cut_1000	0.4653	0.1145
382	map_cut_15	0.3129	0.1029
382	map_cut_20	0.3606	0.1124
382	map_cut_200	0.4596	0.1140
382	map_cut_30	0.4027	0.1133
382	map_cut_5	0.1608	0.0632
382	map_cut_500	0.4647	0.1143
382	ndcg	0.7537	0.1086
382	ndcg_cut_10	0.7014	0.1612
382	ndcg_cut_100	0.6944	0.1064
382	ndcg_cut_1000	0.7537	0.1086
382	ndcg_cut_15	0.6335	0.1366
382	ndcg_cut_20	0.5885	0.1176
382	ndcg_cut_200	0.7196	0.1048
382	ndcg_cut_30	0.6083	0.1097
382	ndcg_cut_5	0.7869	0.2261
382	ndcg_cut_500	0.7471	0.1067
382	ndcg_rel	0.7237	0.1319
382	num_nonrel_judged_ret	398.9545	104.4236
382	num_rel	22.0000	0.0000
382	num_rel_ret	19.4455	2.5711
382	num_ret	914.0727	247.1284
382	prefs_avgjg	0.8430	0.1070
382	prefs_avgjg_Rnonrel	0.0197	0.0022
382	prefs_avgjg_Rnonrel_ret	0.0495	0.0221
382	prefs_avgjg_imp	0.9162	0.0189
382	prefs_avgjg_ret	0.8773	0.0542
382	prefs_num_prefs_ful	18861.5909	2393.2150
382	prefs_num_prefs_ful_ret	7056.4091	2124.7957
382	prefs_num_prefs_poss	22374.0000	0.0000
382	prefs_pair	0.8430	0.1070
382	prefs_pair_imp	0.9162	0.0189
382	prefs_pair_ret	0.8773	0.0542
382	prefs_simp	0.8430	0.1070
382	prefs_simp_imp	0.9162	0.0189
382	prefs_simp_ret	0.8773	0.0542
382	recall_10	0.2988	0.0713
382	recall_100	0.7244	0.0962
382	recall_1000	0.8839	0.1169
382	recall_15	0.3892	0.0889
382	recall_20	0.4719	0.0998
382	recall_200	0.7859	0.0964
382	recall_30	0.5591	0.1017
382	recall_5	0.1756	0.0504
382	recall_500	0.8628	0.1125
382	recip_rank	0.8924	0.2331
382	relative_P_10	0.6573	0.1569
382	relative_P_100	0.7244	0.0962
382	relative_P_1000	0.8839	0.1169
382	relative_P_15	0.5709	0.1304
382	relative_P_20	0.5191	0.1097
382	relative_P_200	0.7859	0.0964
382	relative_P_30	0.5591	0.1017
382	relative_P_5	0.7727	0.2215
382	relative_P_500	0.8628	0.1125
382	set_F	0.0499	0.0331
382	set_P	0.0276	0.0280
382	set_map	0.0217	0.0104
382	set_recall	0.8839	0.1169
382	set_relative_P	0.8839	0.1169
382	success_1	0.8182	0.3857
382	success_10	1.0000	0.0000
382	success_5	0.9818	0.1336
382	utility	-875.1818	243.3987
383	11pt_avg	0.0582	0.0293
383	G	0.0390	0.0107
383	P_10	0.2664	0.1208
383	P_100	0.1005	0.0237
383	P_1000	0.0347	0.0105
383	P_15	0.2327	0.0980
383	P_20	0.2173	0.0835
383	P_200	0.0701	0.0159
383	P_30	0.1779	0.0590
383	P_5	0.2600	0.1759
383	P_500	0.0494	0.0138
383	Rndcg	0.1516	0.0375
383	Rprec	0.0830	0.0190
383	Rprec_mult_0.20	0.1779	0.0590
383	Rprec_mult_0.40	0.1263	0.0312
383	Rprec_mult_0.60	0.1050	0.0262
383	Rprec_mult_0.80	0.0943	0.0221
383	Rprec_mult_1.00	0.0830	0.0190
383	Rprec_mult_1.20	0.0746	0.0162
383	Rprec_mult_1.40	0.0691	0.0159
383	Rprec_mult_1.60	0.0651	0.0164
383	Rprec_mult_1.80	0.0625	0.0157
383	Rprec_mult_2.00	0.0602	0.0154
383	binG	0.0390	0.0107
383	bpref	0.0602	0.0136
383	infAP	0.0276	0.0116
383	iprec_at_recall_0.00	0.5063	0.2907
383	iprec_at_recall_0.10	0.0780	0.0383
383	iprec_at_recall_0.20	0.0411	0.0313
383	iprec_at_recall_0.30	0.0147	0.0270
383	iprec_at_recall_0.40	0.0000	0.0000
383	iprec_at_recall_0.50	0.0000	0.0000
383	iprec_at_recall_0.60	0.0000	0.0000
383	iprec_at_recall_0.70	0.0000	0.0000
383	iprec_at_recall_0.80	0.0000	0.0000
383	iprec_at_recall_0.90	0.0000	0.0000
383	iprec_at_recall_1.00	0.0000	0.0000
383	map	0.0276	0.0116
383	map_cut_10	0.0079	0.0057
383	map_cut_100	0.0172	0.0079
383	map_cut_1000	0.0276	0.0116
383	map_cut_15	0.0096	0.0063
383	map_cut_20	0.0112	0.0070
383	map_cut_200	0.0196	0.0086
383	map_cut_30	0.0127	0.0071
383	map_cut_5	0.0047	0.0045
383	map_cut_500	0.0244	0.0102
383	ndcg	0.1986	0.0531
383	ndcg_cut_10	0.2549	0.1294
383	ndcg_cut_100	0.1234	0.0329
383	ndcg_cut_1000	0.1986	0.0531
383	ndcg_cut_15	0.2346	0.1061
383	ndcg_cut_20	0.2239	0.0934
383	ndcg_cut_200	0.1139	0.0281
383	ndcg_cut_30	0.1950	0.0698
383	ndcg_cut_5	0.2453	0.1831
383	ndcg_cut_500	0.1604	0.0401
383	ndcg_rel	0.1920	0.0490
383	num_nonrel_judged_ret	435.3182	104.4764
383	num_rel	146.0000	0.0000
383	num_rel_ret	34.7091	10.4875
383	num_ret	920.3455	228.1026
383	prefs_avgjg	0.2037	0.0575
383	prefs_avgjg_Rnonrel	0.0498	0.0012
383	prefs_avgjg_Rnonrel_ret	0.0453	0.0107
383	prefs_avgjg_imp	0.4450	0.0654
383	prefs_avgjg_ret	0.5503	0.0717
383	prefs_num_prefs_ful	44152.8818	12477.1107
383	prefs_num_prefs_ful_ret	8484.7182	3388.7263
383	prefs_num_prefs_poss	216810.0000	0.0000
383	prefs_pair	0.2037	0.0575
383	prefs_pair_imp	0.4450	0.0654
383	prefs_pair_ret	0.5503	0.0717
383	prefs_simp	0.2037	0.0575
383	prefs_simp_imp	0.4450	0.0654
383	prefs_simp_ret	0.5503	0.0717
383	recall_10	0.0182	0.0083
383	recall_100	0.0688	0.0162
383	recall_1000	0.2377	0.0718
383	recall_15	0.0239	0.0101
383	recall_20	0.0297	0.0114
383	recall_200	0.0960	0.0218
383	recall_30	0.0365	0.0121
383	recall_5	0.0089	0.0060
383	recall_500	0.1693	0.0473
383	recip_rank	0.4342	0.3201
383	relative_P_10	0.2664	0.1208
383	relative_P_100	0.1005	0.0237
383	relative_P_1000	0.2377	0.0718
383	relative_P_15	0.2327	0.0980
383	relative_P_20	0.2173	0.0835
383	relative_P_200	0.0960	0.0218
383	relative_P_30	0.1779	0.0590
383	relative_P_5	0.2600	0.1759
383	relative_P_500	0.1693	0.0473
383	set_F	0.0657	0.0146
383	set_P	0.0392	0.0104
383	set_map	0.0095	0.0043
383	set_recall	0.2377	0.0718
383	set_relative_P	0.2377	0.0718
383	success_1	0.2182	0.4130
383	success_10	0.9545	0.2083
383	success_5	0.8000	0.4000
383	utility	-850.9273	215.0541
384	11pt_avg	0.2125	0.0672
384	G	0.1629	0.0416
384	P_10	0.3482	0.1500
384	P_100	0.1725	0.0660
384	P_1000	0.0440	0.0105
384	P_15	0.2964	0.1248
384	P_20	0.2673	0.1015
384	P_200	0.1385	0.0509
384	P_30	0.2358	0.0878
384	P_5	0.3582	0.2337
384	P_500	0.0752	0.0281
384	Rndcg	0.4146	0.1044
384	Rprec	0.2054	0.0765
384	Rprec_mult_0.20	0.3430	0.1474
384	Rprec_mult_0.40	0.2662	0.1034
384	Rprec_mult_0.60	0.2325	0.0869
384	Rprec_mult_0.80	0.2195	0.0791
384	Rprec_mult_1.00	0.2054	0.0765
384	Rprec_mult_1.20	0.1916	0.0721
384	Rprec_mult_1.40	0.1852	0.0714
384	Rprec_mult_1.60	0.1797	0.0701
384	Rprec_mult_1.80	0.1757	0.0673
384	Rprec_mult_2.00	0.1722	0.0661
384	binG	0.1629	0.0416
384	bpref	0.1529	0.0492
384	infAP	0.1798	0.0678
384	iprec_at_recall_0.00	0.7672	0.2905
384	iprec_at_recall_0.10	0.3575	0.1919
384	iprec_at_recall_0.20	0.2354	0.0993
384	iprec_at_recall_0.30	0.1946	0.0906
384	iprec_at_recall_0.40	0.1770	0.0853
384	iprec_at_recall_0.50	0.1643	0.0782
384	iprec_at_recall_0.60	0.1432	0.0733
384	iprec_at_recall_0.70	0.1242	0.0643
384	iprec_at_recall_0.80	0.0959	0.0646
384	iprec_at_recall_0.90	0.0609	0.0592
384	iprec_at_recall_1.00	0.0174	0.0319
384	map	0.1798	0.0678
384	map_cut_10	0.0422	0.0274
384	map_cut_100	0.1118	0.0493
384	map_cut_1000	0.1798	0.0678
384	map_cut_15	0.0499	0.0295
384	map_cut_20	0.0555	0.0297
384	map_cut_200	0.1487	0.0612
384	map_cut_30	0.0656	0.0343
384	map_cut_5	0.0281	0.0235
384	map_cut_500	0.1736	0.0694
384	ndcg	0.5838	0.1394
384	ndcg_cut_10	0.3826	0.1650
384	ndcg_cut_100	0.3286	0.1055
384	ndcg_cut_1000	0.5838	0.1394
384	ndcg_cut_15	0.3403	0.1371
384	ndcg_cut_20	0.3135	0.1127
384	ndcg_cut_200	0.4403	0.1363
384	ndcg_cut_30	0.2810	0.0985
384	ndcg_cut_5	0.4066	0.2551
384	ndcg_cut_500	0.5326	0.1706
384	ndcg_rel	0.4342	0.1025
384	num_nonrel_judged_ret	348.9364	102.4443
384	num_rel	51.0000	0.0000
384	num_rel_ret	43.9636	10.5304
384	num_ret	915.6000	241.8256
384	prefs_avgjg	0.7625	0.1783
384	prefs_avgjg_Rnonrel	0.0304	0.0023
384	prefs_avgjg_Rnonrel_ret	0.0749	0.0197
384	prefs_avgjg_imp	0.8480	0.0554
384	prefs_avgjg_ret	0.6585	0.0860
384	prefs_num_prefs_ful	39935.8273	9337.0528
384	prefs_num_prefs_ful_ret	11102.8182	4643.5889
384	prefs_num_prefs_poss	52377.0000	0.0000
384	prefs_pair	0.7625	0.1783
384	prefs_pair_imp	0.8480	0.0554
384	prefs_pair_ret	0.6585	0.0860
384	prefs_simp	0.7625	0.1783
384	prefs_simp_imp	0.8480	0.0554
384	prefs_simp_ret	0.6585	0.0860
384	recall_10	0.0682	0.0294
384	recall_100	0.3383	0.1294
384	recall_1000	0.8620	0.2065
384	recall_15	0.0871	0.0367
384	recall_20	0.1048	0.0398
384	recall_200	0.5431	0.1996
384	recall_30	0.1387	0.0517
384	recall_5	0.0351	0.0229
384	recall_500	0.7376	0.2757
384	recip_rank	0.7077	0.3589
384	relative_P_10	0.3482	0.1500
384	relative_P_100	0.3383	0.1294
384	relative_P_1000	0.8620	0.2065
384	relative_P_15	0.2964	0.1248
384	relative_P_20	0.2673	0.1015
384	relative_P_200	0.5431	0.1996
384	relative_P_30	0.2358	0.0878
384	relative_P_5	0.3582	0.2337
384	relative_P_500	0.7376	0.2757
384	set_F	0.0949	0.0312
384	set_P	0.0514	0.0211
384	set_map	0.0436	0.0153
384	set_recall	0.8620	0.2065
384	set_relative_P	0.8620	0.2065
384	success_1	0.5818	0.4933
384	success_10	0.9636	0.1872
384	success_5	0.8727	0.3333
384	utility	-827.6727	224.4148
385	11pt_avg	0.2517	0.1195
385	G	0.1604	0.0667
385	P_10	0.6127	0.2548
385	P_100	0.2525	0.1040
385	P_1000	0.0597	0.0164
385	P_15	0.5424	0.2362
385	P_20	0.4886	0.2127
385	P_200	0.1750	0.0675
385	P_30	0.4221	0.1902
385	P_5	0.6655	0.2712
385	P_500	0.1003	0.0329
385	Rndcg	0.4535	0.1449
385	Rprec	0.2705	0.1148
385	Rprec_mult_0.20	0.5116	0.2227
385	Rprec_mult_0.40	0.3969	0.1773
385	Rprec_mult_0.60	0.3420	0.1491
385	Rprec_mult_0.80	0.3016	0.1294
385	Rprec_mult_1.00	0.2705	0.1148
385	Rprec_mult_1.20	0.2481	0.1018
385	Rprec_mult_1.40	0.2275	0.0921
385	Rprec_mult_1.60	0.2123	0.0850
385	Rprec_mult_1.80	0.1986	0.0781
385	Rprec_mult_2.00	0.1885	0.0728
385	binG	0.1604	0.0667
385	bpref	0.2282	0.1097
385	infAP	0.2245	0.1277
385	iprec_at_recall_0.00	0.8784	0.2115
385	iprec_at_recall_0.10	0.5545	0.2962
385	iprec_at_recall_0.20	0.3864	0.2398
385	iprec_at_recall_0.30	0.3042	0.2076
385	iprec_at_recall_0.40	0.2228	0.1645
385	iprec_at_recall_0.50	0.1624	0.1286
385	iprec_at_recall_0.60	0.1193	0.1071
385	iprec_at_recall_0.70	0.0824	0.0904
385	iprec_at_recall_0.80	0.0481	0.0724
385	iprec_at_recall_0.90	0.0106	0.0326
385	iprec_at_recall_1.00	0.0000	0.0000
385	map	0.2245	0.1277
385	map_cut_10	0.0583	0.0335
385	map_cut_100	0.1628	0.1055
385	map_cut_1000	0.2245	0.1277
385	map_cut_15	0.0751	0.0465
385	map_cut_20	0.0870	0.0557
385	map_cut_200	0.1896	0.1186
385	map_cut_30	0.1059	0.0710
385	map_cut_5	0.0334	0.0182
385	map_cut_500	0.2157	0.1271
385	ndcg	0.5731	0.1651
385	ndcg_cut_10	0.6364	0.2525
385	ndcg_cut_100	0.3500	0.1371
385	ndcg_cut_1000	0.5731	0.1651
385	ndcg_cut_15	0.5842	0.2393
385	ndcg_cut_20	0.5414	0.2214
385	ndcg_cut_200	0.4222	0.1567
385	ndcg_cut_30	0.4831	0.2015
385	ndcg_cut_5	0.6766	0.2730
385	ndcg_cut_500	0.5194	0.1704
385	ndcg_rel	0.5162	0.1539
385	num_nonrel_judged_ret	399.3091	120.9759
385	num_rel	86.0000	0.0000
385	num_rel_ret	59.7182	16.4423
385	num_ret	914.2909	246.3465
385	prefs_avgjg	0.6181	0.1712
385	prefs_avgjg_Rnonrel	0.0465	0.0078
385	prefs_avgjg_Rnonrel_ret	0.1115	0.0691
385	prefs_avgjg_imp	0.7863	0.0875
385	prefs_avgjg_ret	0.6626	0.0913
385	prefs_num_prefs_ful	65914.3273	18258.5682
385	prefs_num_prefs_ful_ret	17129.4273	8429.9534
385	prefs_num_prefs_poss	106640.0000	0.0000
385	prefs_pair	0.6181	0.1712
385	prefs_pair_imp	0.7863	0.0875
385	prefs_pair_ret	0.6626	0.0913
385	prefs_simp	0.6181	0.1712
385	prefs_simp_imp	0.7863	0.0875
385	prefs_simp_ret	0.6626	0.0913
385	recall_10	0.0713	0.0296
385	recall_100	0.2935	0.1209
385	recall_1000	0.6944	0.1912
385	recall_15	0.0946	0.0412
385	recall_20	0.1136	0.0495
385	recall_200	0.4071	0.1570
385	recall_30	0.1473	0.0663
385	recall_5	0.0387	0.0158
385	recall_500	0.5832	0.1913
385	recip_rank	0.8327	0.2701
385	relative_P_10	0.6127	0.2548
385	relative_P_100	0.2935	0.1209
385	relative_P_1000	0.6944	0.1912
385	relative_P_15	0.5424	0.2362
385	relative_P_20	0.4886	0.2127
385	relative_P_200	0.4071	0.1570
385	relative_P_30	0.4221	0.1902
385	relative_P_5	0.6655	0.2712
385	relative_P_500	0.5832	0.1913
385	set_F	0.1278	0.0444
385	set_P	0.0774	0.0577
385	set_map	0.0505	0.0205
385	set_recall	0.6944	0.1912
385	set_relative_P	0.6991	0.1816
385	success_1	0.7091	0.4542
385	success_10	0.9909	0.0949
385	success_5	0.9818	0.1336
385	utility	-794.8545	228.7273
386	11pt_avg	0.0356	0.0219
386	G	0.0830	0.0276
386	P_10	0.0545	0.0683
386	P_100	0.0390	0.0189
386	P_1000	0.0098	0.0032
386	P_15	0.0630	0.0545
386	P_20	0.0577	0.0411
386	P_200	0.0276	0.0121
386	P_30	0.0527	0.0380
386	P_5	0.0400	0.0844
386	P_500	0.0157	0.0061
386	Rndcg	0.1406	0.0509
386	Rprec	0.0584	0.0428
386	Rprec_mult_0.20	0.0409	0.0984
386	Rprec_mult_0.40	0.0591	0.0821
386	Rprec_mult_0.60	0.0568	0.0604
386	Rprec_mult_0.80	0.0614	0.0512
386	Rprec_mult_1.00	0.0584	0.0428
386	Rprec_mult_1.20	0.0581	0.0420
386	Rprec_mult_1.40	0.0522	0.0361
386	Rprec_mult_1.60	0.0519	0.0364
386	Rprec_mult_1.80	0.0506	0.0328
386	Rprec_mult_2.00	0.0495	0.0311
386	binG	0.0830	0.0276
386	bpref	0.0310	0.0291
386	infAP	0.0277	0.0169
386	iprec_at_recall_0.00	0.1421	0.1086
386	iprec_at_recall_0.10	0.1040	0.0826
386	iprec_at_recall_0.20	0.0565	0.0399
386	iprec_at_recall_0.30	0.0388	0.0340
386	iprec_at_recall_0.40	0.0244	0.0224
386	iprec_at_recall_0.50	0.0149	0.0166
386	iprec_at_recall_0.60	0.0083	0.0124
386	iprec_at_recall_0.70	0.0019	0.0058
386	iprec_at_recall_0.80	0.0005	0.0030
386	iprec_at_recall_0.90	0.0000	0.0000
386	iprec_at_recall_1.00	0.0000	0.0000
386	map	0.0277	0.0169
386	map_cut_10	0.0066	0.0102
386	map_cut_100	0.0198	0.0147
386	map_cut_1000	0.0277	0.0169
386	map_cut_15	0.0090	0.0112
386	map_cut_20	0.0100	0.0111
386	map_cut_200	0.0233	0.0156
386	map_cut_30	0.0123	0.0134
386	map_cut_5	0.0034	0.0077
386	map_cut_500	0.0263	0.0167
386	ndcg	0.2294	0.0754
386	ndcg_cut_10	0.0461	0.0599
386	ndcg_cut_100	0.1247	0.0584
386	ndcg_cut_1000	0.2294	0.0754
386	ndcg_cut_15	0.0537	0.0500
386	ndcg_cut_20	0.0534	0.0417
386	ndcg_cut_200	0.1581	0.0655
386	ndcg_cut_30	0.0667	0.0498
386	ndcg_cut_5	0.0329	0.0698
386	ndcg_cut_500	0.1991	0.0752
386	ndcg_rel	0.1851	0.0532
386	num_nonrel_judged_ret	470.4000	118.3099
386	num_rel	19.0000	0.0000
386	num_rel_ret	9.8182	3.2254
386	num_ret	931.5636	215.5374
386	prefs_avgjg	0.4628	0.1494
386	prefs_avgjg_Rnonrel	0.0055	0.0003
386	prefs_avgjg_Rnonrel_ret	0.0097	0.0027
386	prefs_avgjg_imp	0.7094	0.0850
386	prefs_avgjg_ret	0.6338	0.1039
386	prefs_num_prefs_ful	15053.1727	4861.2966
386	prefs_num_prefs_ful_ret	3151.1091	1614.5307
386	prefs_num_prefs_poss	32528.0000	0.0000
386	prefs_pair	0.4628	0.1494
386	prefs_pair_imp	0.7094	0.0850
386	prefs_pair_ret	0.6338	0.1039
386	prefs_simp	0.4628	0.1494
386	prefs_simp_imp	0.7094	0.0850
386	prefs_simp_ret	0.6338	0.1039
386	recall_10	0.0287	0.0359
386	recall_100	0.2053	0.0996
386	recall_1000	0.5167	0.1697
386	recall_15	0.0498	0.0431
386	recall_20	0.0608	0.0433
386	recall_200	0.2909	0.1269
386	recall_30	0.0833	0.0600
386	recall_5	0.0105	0.0222
386	recall_500	0.4139	0.1614
386	recip_rank	0.1237	0.1089
386	relative_P_10	0.0545	0.0683
386	relative_P_100	0.2053	0.0996
386	relative_P_1000	0.5167	0.1697
386	relative_P_15	0.0630	0.0545
386	relative_P_20	0.0608	0.0433
386	relative_P_200	0.2909	0.1269
386	relative_P_30	0.0833	0.0600
386	relative_P_5	0.0400	0.0844
386	relative_P_500	0.4139	0.1614
386	set_F	0.0216	0.0072
386	set_P	0.0111	0.0039
386	set_map	0.0060	0.0029
386	set_recall	0.5167	0.1697
386	set_relative_P	0.5167	0.1697
386	success_1	0.0000	0.0000
386	success_10	0.4364	0.4959
386	success_5	0.1909	0.3930
386	utility	-911.9273	212.3635
387	11pt_avg	0.1908	0.0836
387	G	0.1361	0.0463
387	P_10	0.3764	0.2479
387	P_100	0.1911	0.0730
387	P_1000	0.0648	0.0151
387	P_15	0.3600	0.2248
387	P_20	0.3409	0.2103
387	P_200	0.1552	0.0376
387	P_30	0.2906	0.1700
387	P_5	0.4091	0.2859
387	P_500	0.1051	0.0219
387	Rndcg	0.3917	0.1078
387	Rprec	0.2009	0.0824
387	Rprec_mult_0.20	0.3556	0.2206
387	Rprec_mult_0.40	0.2741	0.1560
387	Rprec_mult_0.60	0.2362	0.1236
387	Rprec_mult_0.80	0.2138	0.0962
387	Rprec_mult_1.00	0.2009	0.0824
387	Rprec_mult_1.20	0.1895	0.0711
387	Rprec_mult_1.40	0.1795	0.0626
387	Rprec_mult_1.60	0.1729	0.0560
387	Rprec_mult_1.80	0.1660	0.0486
387	Rprec_mult_2.00	0.1615	0.0435
387	binG	0.1361	0.0463
387	bpref	0.1500	0.0789
387	infAP	0.1611	0.0840
387	iprec_at_recall_0.00	0.6699	0.3172
387	iprec_at_recall_0.10	0.3634	0.2521
387	iprec_at_recall_0.20	0.2845	0.2028
387	iprec_at_recall_0.30	0.2038	0.1115
387	iprec_at_recall_0.40	0.1592	0.0832
387	iprec_at_recall_0.50	0.1386	0.0688
387	iprec_at_recall_0.60	0.1208	0.0588
387	iprec_at_recall_0.70	0.0918	0.0442
387	iprec_at_recall_0.80	0.0633	0.0406
387	iprec_at_recall_0.90	0.0030	0.0155
387	iprec_at_recall_1.00	0.0000	0.0000
387	map	0.1611	0.0840
387	map_cut_10	0.0295	0.0304
387	map_cut_100	0.0884	0.0759
387	map_cut_1000	0.1611	0.0840
387	map_cut_15	0.0393	0.0412
387	map_cut_20	0.0476	0.0503
387	map_cut_200	0.1126	0.0813
387	map_cut_30	0.0570	0.0586
387	map_cut_5	0.0177	0.0174
387	map_cut_500	0.1479	0.0821
387	ndcg	0.5488	0.1253
387	ndcg_cut_10	0.3872	0.2593
387	ndcg_cut_100	0.2512	0.1092
387	ndcg_cut_1000	0.5488	0.1253
387	ndcg_cut_15	0.3737	0.2351
387	ndcg_cut_20	0.3587	0.2213
387	ndcg_cut_200	0.3400	0.1070
387	ndcg_cut_30	0.3198	0.1891
387	ndcg_cut_5	0.4102	0.2963
387	ndcg_cut_500	0.4794	0.1091
387	ndcg_rel	0.4289	0.1188
387	num_nonrel_judged_ret	468.4636	125.7041
387	num_rel	85.0000	0.0000
387	num_rel_ret	64.7636	15.0779
387	num_ret	918.9727	231.5889
387	prefs_avgjg	0.6052	0.1291
387	prefs_avgjg_Rnonrel	0.0528	0.0065
387	prefs_avgjg_Rnonrel_ret	0.0828	0.0194
387	prefs_avgjg_imp	0.7050	0.0436
387	prefs_avgjg_ret	0.6024	0.0687
387	prefs_num_prefs_ful	48917.5818	10431.7031
387	prefs_num_prefs_ful_ret	19500.2091	7409.6581
387	prefs_num_prefs_poss	80835.0000	0.0000
387	prefs_pair	0.6052	0.1291
387	prefs_pair_imp	0.7050	0.0436
387	prefs_pair_ret	0.6024	0.0687
387	prefs_simp	0.6052	0.1291
387	prefs_simp_imp	0.7050	0.0436
387	prefs_simp_ret	0.6024	0.0687
387	recall_10	0.0443	0.0292
387	recall_100	0.2248	0.0859
387	recall_1000	0.7619	0.1774
387	recall_15	0.0635	0.0397
387	recall_20	0.0802	0.0495
387	recall_200	0.3652	0.0885
387	recall_30	0.1026	0.0600
387	recall_5	0.0241	0.0168
387	recall_500	0.6182	0.1288
387	recip_rank	0.6082	0.3616
387	relative_P_10	0.3764	0.2479
387	relative_P_100	0.2248	0.0859
387	relative_P_1000	0.7619	0.1774
387	relative_P_15	0.3600	0.2248
387	relative_P_20	0.3409	0.2103
387	relative_P_200	0.3652	0.0885
387	relative_P_30	0.2906	0.1700
387	relative_P_5	0.4091	0.2859
387	relative_P_500	0.6182	0.1288
387	set_F	0.1319	0.0231
387	set_P	0.0738	0.0178
387	set_map	0.0552	0.0125
387	set_recall	0.7619	0.1774
387	set_relative_P	0.7619	0.1774
387	success_1	0.4364	0.4959
387	success_10	0.9636	0.1872
387	success_5	0.8727	0.3333
387	utility	-789.4455	206.8789
388	11pt_avg	0.1791	0.1241
388	G	0.1390	0.0719
388	P_10	0.3645	0.2470
388	P_100	0.1638	0.0833
388	P_1000	0.0329	0.0122
388	P_15	0.3364	0.2099
388	P_20	0.3055	0.1792
388	P_200	0.1075	0.0487
388	P_30	0.2655	0.1656
388	P_5	0.4036	0.2904
388	P_500	0.0573	0.0238
388	Rndcg	0.3611	0.1693
388	Rprec	0.2184	0.1230
388	Rprec_mult_0.20	0.3603	0.2361
388	Rprec_mult_0.40	0.3026	0.1779
388	Rprec_mult_0.60	0.2625	0.1642
388	Rprec_mult_0.80	0.2397	0.1411
388	Rprec_mult_1.00	0.2184	0.1230
388	Rprec_mult_1.20	0.2015	0.1072
388	Rprec_mult_1.40	0.1923	0.0992
388	Rprec_mult_1.60	0.1813	0.0936
388	Rprec_mult_1.80	0.1713	0.0885
388	Rprec_mult_2.00	0.1619	0.0820
388	binG	0.1390	0.0719
388	bpref	0.1715	0.1125
388	infAP	0.1603	0.1232
388	iprec_at_recall_0.00	0.6033	0.3224
388	iprec_at_recall_0.10	0.3678	0.2761
388	iprec_at_recall_0.20	0.2864	0.2312
388	iprec_at_recall_0.30	0.2135	0.1895
388	iprec_at_recall_0.40	0.1690	0.1679
388	iprec_at_recall_0.50	0.1334	0.1398
388	iprec_at_recall_0.60	0.0951	0.0964
388	iprec_at_recall_0.70	0.0622	0.0665
388	iprec_at_recall_0.80	0.0324	0.0503
388	iprec_at_recall_0.90	0.0065	0.0198
388	iprec_at_recall_1.00	0.0000	0.0000
388	map	0.1603	0.1232
388	map_cut_10	0.0460	0.0465
388	map_cut_100	0.1272	0.1093
388	map_cut_1000	0.1603	0.1232
388	map_cut_15	0.0593	0.0585
388	map_cut_20	0.0680	0.0659
388	map_cut_200	0.1430	0.1157
388	map_cut_30	0.0835	0.0830
388	map_cut_5	0.0282	0.0280
388	map_cut_500	0.1564	0.1220
388	ndcg	0.4712	0.1988
388	ndcg_cut_10	0.3679	0.2575
388	ndcg_cut_100	0.3159	0.1632
388	ndcg_cut_1000	0.4712	0.1988
388	ndcg_cut_15	0.3483	0.2267
388	ndcg_cut_20	0.3256	0.2016
388	ndcg_cut_200	0.3707	0.1765
388	ndcg_cut_30	0.2933	0.1853
388	ndcg_cut_5	0.3923	0.2975
388	ndcg_cut_500	0.4370	0.1964
388	ndcg_rel	0.4022	0.1768
388	num_nonrel_judged_ret	419.0545	116.5537
388	num_rel	51.0000	0.0000
388	num_rel_ret	32.8636	12.2151
388	num_ret	914.2818	246.2724
388	prefs_avgjg	0.5882	0.2239
388	prefs_avgjg_Rnonrel	0.0228	0.0043
388	prefs_avgjg_Rnonrel_ret	0.0499	0.0207
388	prefs_avgjg_imp	0.7626	0.1504
388	prefs_avgjg_ret	0.6805	0.1393
388	prefs_num_prefs_ful	42475.7545	16171.4283
388	prefs_num_prefs_ful_ret	10725.6909	5739.4889
388	prefs_num_prefs_poss	72216.0000	0.0000
388	prefs_pair	0.5882	0.2239
388	prefs_pair_imp	0.7626	0.1504
388	prefs_pair_ret	0.6805	0.1393
388	prefs_simp	0.5882	0.2239
388	prefs_simp_imp	0.7626	0.1504
388	prefs_simp_ret	0.6805	0.1393
388	recall_10	0.0715	0.0485
388	recall_100	0.3212	0.1633
388	recall_1000	0.6444	0.2395
388	recall_15	0.0989	0.0618
388	recall_20	0.1198	0.0703
388	recall_200	0.4214	0.1910
388	recall_30	0.1561	0.0974
388	recall_5	0.0396	0.0285
388	recall_500	0.5619	0.2336
388	recip_rank	0.5426	0.3462
388	relative_P_10	0.3645	0.2470
388	relative_P_100	0.3212	0.1633
388	relative_P_1000	0.6444	0.2395
388	relative_P_15	0.3364	0.2099
388	relative_P_20	0.3055	0.1792
388	relative_P_200	0.4214	0.1910
388	relative_P_30	0.2655	0.1656
388	relative_P_5	0.4036	0.2904
388	relative_P_500	0.5619	0.2336
388	set_F	   nan	   nan
388	set_P	0.0364	0.0127
388	set_map	0.0251	0.0130
388	set_recall	0.6444	0.2395
388	set_relative_P	0.6444	0.2395
388	success_1	0.3273	0.4692
388	success_10	0.9364	0.2441
388	success_5	0.8182	0.3857
388	utility	-848.5545	231.4198
389	11pt_avg	0.0451	0.0410
389	G	0.0143	0.0123
389	P_10	0.1455	0.1570
389	P_100	0.0522	0.0567
389	P_1000	0.0141	0.0104
389	P_15	0.1255	0.1317
389	P_20	0.1095	0.1073
389	P_200	0.0354	0.0333
389	P_30	0.0912	0.0945
389	P_5	0.1982	0.2374
389	P_500	0.0205	0.0162
389	Rndcg	0.0642	0.0525
389	Rprec	0.0360	0.0341
389	Rprec_mult_0.20	0.0853	0.0929
389	Rprec_mult_0.40	0.0606	0.0674
389	Rprec_mult_0.60	0.0474	0.0495
389	Rprec_mult_0.80	0.0385	0.0380
389	Rprec_mult_1.00	0.0360	0.0341
389	Rprec_mult_1.20	0.0328	0.0295
389	Rprec_mult_1.40	0.0294	0.0263
389	Rprec_mult_1.60	0.0271	0.0237
389	Rprec_mult_1.80	0.0254	0.0215
389	Rprec_mult_2.00	0.0237	0.0197
389	binG	0.0143	0.0123
389	bpref	0.0290	0.0291
389	infAP	0.0104	0.0149
389	iprec_at_recall_0.00	0.4688	0.4161
389	iprec_at_recall_0.10	0.0255	0.0772
389	iprec_at_recall_0.20	0.0019	0.0096
389	iprec_at_recall_0.30	0.0000	0.0000
389	iprec_at_recall_0.40	0.0000	0.0000
389	iprec_at_recall_0.50	0.0000	0.0000
389	iprec_at_recall_0.60	0.0000	0.0000
389	iprec_at_recall_0.70	0.0000	0.0000
389	iprec_at_recall_0.80	0.0000	0.0000
389	iprec_at_recall_0.90	0.0000	0.0000
389	iprec_at_recall_1.00	0.0000	0.0000
389	map	0.0104	0.0149
389	map_cut_10	0.0048	0.0068
389	map_cut_100	0.0087	0.0135
389	map_cut_1000	0.0104	0.0149
389	map_cut_15	0.0054	0.0080
389	map_cut_20	0.0057	0.0082
389	map_cut_200	0.0093	0.0139
389	map_cut_30	0.0064	0.0092
389	map_cut_5	0.0039	0.0055
389	map_cut_500	0.0099	0.0145
389	ndcg	0.0760	0.0584
389	ndcg_cut_10	0.1785	0.1894
389	ndcg_cut_100	0.0737	0.0733
389	ndcg_cut_1000	0.0760	0.0584
389	ndcg_cut_15	0.1573	0.1624
389	ndcg_cut_20	0.1413	0.1394
389	ndcg_cut_200	0.0529	0.0481
389	ndcg_cut_30	0.1212	0.1198
389	ndcg_cut_5	0.2255	0.2632
389	ndcg_cut_500	0.0640	0.0526
389	ndcg_rel	0.0807	0.0651
389	num_nonrel_judged_ret	409.0636	137.7077
389	num_rel	194.0000	0.0000
389	num_rel_ret	14.1000	10.4429
389	num_ret	915.7455	241.3417
389	prefs_avgjg	0.0672	0.0502
389	prefs_avgjg_Rnonrel	0.0385	0.0042
389	prefs_avgjg_Rnonrel_ret	0.0249	0.0319
389	prefs_avgjg_imp	0.2876	0.1828
389	prefs_avgjg_ret	0.5853	0.1383
389	prefs_num_prefs_ful	31191.1818	23287.7593
389	prefs_num_prefs_ful_ret	3520.0727	3419.5059
389	prefs_num_prefs_poss	463854.0000	0.0000
389	prefs_pair	0.0672	0.0502
389	prefs_pair_imp	0.2876	0.1828
389	prefs_pair_ret	0.5853	0.1383
389	prefs_simp	0.0672	0.0502
389	prefs_simp_imp	0.2876	0.1828
389	prefs_simp_ret	0.5853	0.1383
389	recall_10	0.0075	0.0081
389	recall_100	0.0269	0.0292
389	recall_1000	0.0727	0.0538
389	recall_15	0.0097	0.0102
389	recall_20	0.0113	0.0111
389	recall_200	0.0365	0.0344
389	recall_30	0.0141	0.0146
389	recall_5	0.0051	0.0061
389	recall_500	0.0528	0.0417
389	recip_rank	0.4508	0.4241
389	relative_P_10	0.1455	0.1570
389	relative_P_100	0.0522	0.0567
389	relative_P_1000	0.0727	0.0538
389	relative_P_15	0.1255	0.1317
389	relative_P_20	0.1095	0.1073
389	relative_P_200	0.0365	0.0344
389	relative_P_30	0.0912	0.0945
389	relative_P_5	0.1982	0.2374
389	relative_P_500	0.0528	0.0417
389	set_F	0.0274	0.0200
389	set_P	0.0186	0.0176
389	set_map	0.0019	0.0022
389	set_recall	0.0727	0.0538
389	set_relative_P	0.0734	0.0540
389	success_1	0.3545	0.4784
389	success_10	0.6909	0.4621
389	success_5	0.5455	0.4979
389	utility	-887.5455	239.9275
390	11pt_avg	0.2445	0.1628
390	G	0.1556	0.0876
390	P_10	0.8836	0.1570
390	P_100	0.2757	0.1719
390	P_1000	0.0721	0.0364
390	P_15	0.7703	0.1669
390	P_20	0.6632	0.1799
390	P_200	0.1904	0.1269
390	P_30	0.5245	0.1981
390	P_5	0.9182	0.1383
390	P_500	0.1115	0.0672
390	Rndcg	0.4143	0.1783
390	Rprec	0.2345	0.1479
390	Rprec_mult_0.20	0.5569	0.1958
390	Rprec_mult_0.40	0.3843	0.2007
390	Rprec_mult_0.60	0.3095	0.1811
390	Rprec_mult_0.80	0.2657	0.1664
390	Rprec_mult_1.00	0.2345	0.1479
390	Rprec_mult_1.20	0.2136	0.1371
390	Rprec_mult_1.40	0.1969	0.1308
390	Rprec_mult_1.60	0.1835	0.1217
390	Rprec_mult_1.80	0.1723	0.1137
390	Rprec_mult_2.00	0.1625	0.1059
390	binG	0.1556	0.0876
390	bpref	0.2183	0.1571
390	infAP	0.2211	0.1736
390	iprec_at_recall_0.00	0.9932	0.0529
390	iprec_at_recall_0.10	0.5309	0.3304
390	iprec_at_recall_0.20	0.2984	0.3128
390	iprec_at_recall_0.30	0.2341	0.2784
390	iprec_at_recall_0.40	0.1917	0.2494
390	iprec_at_recall_0.50	0.1546	0.2113
390	iprec_at_recall_0.60	0.1168	0.1748
390	iprec_at_recall_0.70	0.0919	0.1533
390	iprec_at_recall_0.80	0.0538	0.1201
390	iprec_at_recall_0.90	0.0238	0.0640
390	iprec_at_recall_1.00	0.0000	0.0000
390	map	0.2211	0.1736
390	map_cut_10	0.0633	0.0146
390	map_cut_100	0.1562	0.1175
390	map_cut_1000	0.2211	0.1736
390	map_cut_15	0.0814	0.0223
390	map_cut_20	0.0921	0.0309
390	map_cut_200	0.1830	0.1495
390	map_cut_30	0.1064	0.0477
390	map_cut_5	0.0336	0.0065
390	map_cut_500	0.2090	0.1710
390	ndcg	0.5062	0.2181
390	ndcg_cut_10	0.9045	0.1360
390	ndcg_cut_100	0.3718	0.1616
390	ndcg_cut_1000	0.5062	0.2181
390	ndcg_cut_15	0.8242	0.1423
390	ndcg_cut_20	0.7436	0.1512
390	ndcg_cut_200	0.3573	0.1731
390	ndcg_cut_30	0.6288	0.1661
390	ndcg_cut_5	0.9338	0.1254
390	ndcg_cut_500	0.4398	0.2105
390	ndcg_rel	0.5023	0.1812
390	num_nonrel_judged_ret	381.1818	121.6039
390	num_rel	134.0000	0.0000
390	num_rel_ret	72.0545	36.3870
390	num_ret	913.8545	247.9181
390	prefs_avgjg	0.4880	0.2513
390	prefs_avgjg_Rnonrel	0.0573	0.0147
390	prefs_avgjg_Rnonrel_ret	0.1316	0.0620
390	prefs_avgjg_imp	0.7247	0.1438
390	prefs_avgjg_ret	0.6678	0.1533
390	prefs_num_prefs_ful	98684.7636	50813.2320
390	prefs_num_prefs_ful_ret	20189.4273	13745.8827
390	prefs_num_prefs_poss	202206.0000	0.0000
390	prefs_pair	0.4880	0.2513
390	prefs_pair_imp	0.7247	0.1438
390	prefs_pair_ret	0.6678	0.1533
390	prefs_simp	0.4880	0.2513
390	prefs_simp_imp	0.7247	0.1438
390	prefs_simp_ret	0.6678	0.1533
390	recall_10	0.0659	0.0117
390	recall_100	0.2058	0.1283
390	recall_1000	0.5377	0.2715
390	recall_15	0.0862	0.0187
390	recall_20	0.0990	0.0268
390	recall_200	0.2841	0.1894
390	recall_30	0.1174	0.0443
390	recall_5	0.0343	0.0051
390	recall_500	0.4162	0.2506
390	recip_rank	0.9894	0.0787
390	relative_P_10	0.8836	0.1570
390	relative_P_100	0.2757	0.1719
390	relative_P_1000	0.5377	0.2715
390	relative_P_15	0.7703	0.1669
390	relative_P_20	0.6632	0.1799
390	relative_P_200	0.2841	0.1894
390	relative_P_30	0.5245	0.1981
390	relative_P_5	0.9182	0.1383
390	relative_P_500	0.4162	0.2506
390	set_F	0.1334	0.0564
390	set_P	0.0894	0.0951
390	set_map	0.0500	0.0381
390	set_recall	0.5377	0.2715
390	set_relative_P	0.5501	0.2653
390	success_1	0.9818	0.1336
390	success_10	1.0000	0.0000
390	success_5	1.0000	0.0000
390	utility	-769.7455	215.4598
391	11pt_avg	0.2346	0.1309
391	G	0.1199	0.0591
391	P_10	0.5555	0.3605
391	P_100	0.3675	0.1699
391	P_1000	0.0992	0.0340
391	P_15	0.5303	0.3409
391	P_20	0.5077	0.3233
391	P_200	0.2695	0.1064
391	P_30	0.4809	0.2981
391	P_5	0.5745	0.3890
391	P_500	0.1586	0.0558
391	Rndcg	0.4132	0.1578
391	Rprec	0.2853	0.1159
391	Rprec_mult_0.20	0.4710	0.2874
391	Rprec_mult_0.40	0.4051	0.2102
391	Rprec_mult_0.60	0.3573	0.1623
391	Rprec_mult_0.80	0.3147	0.1350
391	Rprec_mult_1.00	0.2853	0.1159
391	Rprec_mult_1.20	0.2609	0.1024
391	Rprec_mult_1.40	0.2403	0.0901
391	Rprec_mult_1.60	0.2234	0.0847
391	Rprec_mult_1.80	0.2094	0.0778
391	Rprec_mult_2.00	0.1964	0.0720
391	binG	0.1199	0.0591
391	bpref	0.2682	0.1225
391	infAP	0.2105	0.1343
391	iprec_at_recall_0.00	0.7463	0.3300
391	iprec_at_recall_0.10	0.5340	0.2928
391	iprec_at_recall_0.20	0.4335	0.2726
391	iprec_at_recall_0.30	0.3236	0.2132
391	iprec_at_recall_0.40	0.2352	0.1719
391	iprec_at_recall_0.50	0.1447	0.1500
391	iprec_at_recall_0.60	0.0928	0.1213
391	iprec_at_recall_0.70	0.0530	0.0948
391	iprec_at_recall_0.80	0.0176	0.0530
391	iprec_at_recall_0.90	0.0000	0.0000
391	iprec_at_recall_1.00	0.0000	0.0000
391	map	0.2105	0.1343
391	map_cut_10	0.0265	0.0216
391	map_cut_100	0.1272	0.0988
391	map_cut_1000	0.2105	0.1343
391	map_cut_15	0.0369	0.0305
391	map_cut_20	0.0460	0.0384
391	map_cut_200	0.1612	0.1174
391	map_cut_30	0.0623	0.0526
391	map_cut_5	0.0143	0.0116
391	map_cut_500	0.1946	0.1300
391	ndcg	0.5007	0.1781
391	ndcg_cut_10	0.5613	0.3690
391	ndcg_cut_100	0.4018	0.2011
391	ndcg_cut_1000	0.5007	0.1781
391	ndcg_cut_15	0.5431	0.3528
391	ndcg_cut_20	0.5258	0.3376
391	ndcg_cut_200	0.3387	0.1495
391	ndcg_cut_30	0.5031	0.3150
391	ndcg_cut_5	0.5736	0.3953
391	ndcg_cut_500	0.4346	0.1660
391	ndcg_rel	0.4752	0.1836
391	num_nonrel_judged_ret	338.4818	101.4943
391	num_rel	178.0000	0.0000
391	num_rel_ret	99.2182	34.0356
391	num_ret	931.3636	215.4900
391	prefs_avgjg	0.5232	0.1798
391	prefs_avgjg_Rnonrel	0.0631	0.0108
391	prefs_avgjg_Rnonrel_ret	0.1964	0.0794
391	prefs_avgjg_imp	0.8167	0.0808
391	prefs_avgjg_ret	0.6524	0.1074
391	prefs_num_prefs_ful	183087.9909	62922.0275
391	prefs_num_prefs_ful_ret	23488.6727	11339.4117
391	prefs_num_prefs_poss	349948.0000	0.0000
391	prefs_pair	0.5232	0.1798
391	prefs_pair_imp	0.8167	0.0808
391	prefs_pair_ret	0.6524	0.1074
391	prefs_simp	0.5232	0.1798
391	prefs_simp_imp	0.8167	0.0808
391	prefs_simp_ret	0.6524	0.1074
391	recall_10	0.0312	0.0203
391	recall_100	0.2064	0.0955
391	recall_1000	0.5574	0.1912
391	recall_15	0.0447	0.0287
391	recall_20	0.0571	0.0363
391	recall_200	0.3029	0.1196
391	recall_30	0.0811	0.0502
391	recall_5	0.0161	0.0109
391	recall_500	0.4454	0.1566
391	recip_rank	0.6798	0.3981
391	relative_P_10	0.5555	0.3605
391	relative_P_100	0.3675	0.1699
391	relative_P_1000	0.5574	0.1912
391	relative_P_15	0.5303	0.3409
391	relative_P_20	0.5077	0.3233
391	relative_P_200	0.3029	0.1196
391	relative_P_30	0.4809	0.2981
391	relative_P_5	0.5745	0.3890
391	relative_P_500	0.4454	0.1566
391	set_F	0.1757	0.0462
391	set_P	0.1066	0.0259
391	set_map	0.0630	0.0342
391	set_recall	0.5574	0.1912
391	set_relative_P	0.5574	0.1912
391	success_1	0.5909	0.4917
391	success_10	0.8545	0.3526
391	success_5	0.8182	0.3857
391	utility	-732.9273	176.9318
392	11pt_avg	0.3809	0.1027
392	G	0.1874	0.0507
392	P_10	0.6600	0.1759
392	P_100	0.4105	0.0855
392	P_1000	0.0880	0.0223
392	P_15	0.6267	0.1478
392	P_20	0.5782	0.1216
392	P_200	0.3052	0.0691
392	P_30	0.5221	0.1072
392	P_5	0.7364	0.2319
392	P_500	0.1632	0.0402
392	Rndcg	0.5870	0.1255
392	Rprec	0.4029	0.0854
392	Rprec_mult_0.20	0.5701	0.1188
392	Rprec_mult_0.40	0.4980	0.1016
392	Rprec_mult_0.60	0.4700	0.0949
392	Rprec_mult_0.80	0.4366	0.0907
392	Rprec_mult_1.00	0.4029	0.0854
392	Rprec_mult_1.20	0.3803	0.0847
392	Rprec_mult_1.40	0.3570	0.0788
392	Rprec_mult_1.60	0.3347	0.0744
392	Rprec_mult_1.80	0.3132	0.0705
392	Rprec_mult_2.00	0.2968	0.0672
392	binG	0.1874	0.0507
392	bpref	0.3527	0.0833
392	infAP	0.3589	0.1153
392	iprec_at_recall_0.00	0.9488	0.1272
392	iprec_at_recall_0.10	0.6599	0.1659
392	iprec_at_recall_0.20	0.5269	0.1220
392	iprec_at_recall_0.30	0.4702	0.1269
392	iprec_at_recall_0.40	0.4106	0.1446
392	iprec_at_recall_0.50	0.3559	0.1422
392	iprec_at_recall_0.60	0.2975	0.1521
392	iprec_at_recall_0.70	0.2425	0.1331
392	iprec_at_recall_0.80	0.1618	0.1195
392	iprec_at_recall_0.90	0.1158	0.0973
392	iprec_at_recall_1.00	0.0000	0.0000
392	map	0.3589	0.1153
392	map_cut_10	0.0534	0.0204
392	map_cut_100	0.2270	0.0704
392	map_cut_1000	0.3589	0.1153
392	map_cut_15	0.0717	0.0256
392	map_cut_20	0.0847	0.0275
392	map_cut_200	0.3002	0.0965
392	map_cut_30	0.1073	0.0335
392	map_cut_5	0.0322	0.0133
392	map_cut_500	0.3499	0.1122
392	ndcg	0.7206	0.1639
392	ndcg_cut_10	0.7026	0.1784
392	ndcg_cut_100	0.4605	0.0927
392	ndcg_cut_1000	0.7206	0.1639
392	ndcg_cut_15	0.6708	0.1569
392	ndcg_cut_20	0.6311	0.1353
392	ndcg_cut_200	0.5737	0.1223
392	ndcg_cut_30	0.5801	0.1189
392	ndcg_cut_5	0.7643	0.2270
392	ndcg_cut_500	0.6889	0.1540
392	ndcg_rel	0.6063	0.1160
392	num_nonrel_judged_ret	313.2182	91.3168
392	num_rel	105.0000	0.0000
392	num_rel_ret	88.0273	22.3308
392	num_ret	865.8727	269.2796
392	prefs_avgjg	0.7722	0.1884
392	prefs_avgjg_Rnonrel	0.0689	0.0072
392	prefs_avgjg_Rnonrel_ret	0.1970	0.0527
392	prefs_avgjg_imp	0.8789	0.0622
392	prefs_avgjg_ret	0.7061	0.0562
392	prefs_num_prefs_ful	96079.2273	23441.0657
392	prefs_num_prefs_ful_ret	21008.2091	9588.8415
392	prefs_num_prefs_poss	124425.0000	0.0000
392	prefs_pair	0.7722	0.1884
392	prefs_pair_imp	0.8789	0.0622
392	prefs_pair_ret	0.7061	0.0562
392	prefs_simp	0.7722	0.1884
392	prefs_simp_imp	0.8789	0.0622
392	prefs_simp_ret	0.7061	0.0562
392	recall_10	0.0629	0.0168
392	recall_100	0.3910	0.0815
392	recall_1000	0.8384	0.2127
392	recall_15	0.0895	0.0211
392	recall_20	0.1101	0.0232
392	recall_200	0.5813	0.1315
392	recall_30	0.1492	0.0306
392	recall_5	0.0351	0.0110
392	recall_500	0.7773	0.1912
392	recip_rank	0.9061	0.2176
392	relative_P_10	0.6600	0.1759
392	relative_P_100	0.4105	0.0855
392	relative_P_1000	0.8384	0.2127
392	relative_P_15	0.6267	0.1478
392	relative_P_20	0.5782	0.1216
392	relative_P_200	0.5813	0.1315
392	relative_P_30	0.5221	0.1072
392	relative_P_5	0.7364	0.2319
392	relative_P_500	0.7773	0.1912
392	set_F	0.1990	0.0824
392	set_P	0.1182	0.0634
392	set_map	0.0989	0.0464
392	set_recall	0.8384	0.2127
392	set_relative_P	0.8384	0.2127
392	success_1	0.8364	0.3699
392	success_10	0.9909	0.0949
392	success_5	0.9909	0.0949
392	utility	-689.8182	251.9410
393	11pt_avg	0.1207	0.0619
393	G	0.0882	0.0504
393	P_10	0.5155	0.2896
393	P_100	0.1050	0.0467
393	P_1000	0.0172	0.0083
393	P_15	0.4224	0.2461
393	P_20	0.3514	0.2030
393	P_200	0.0620	0.0256
393	P_30	0.2615	0.1429
393	P_5	0.5909	0.3195
393	P_500	0.0301	0.0137
393	Rndcg	0.2420	0.1014
393	Rprec	0.1370	0.0639
393	Rprec_mult_0.20	0.4224	0.2461
393	Rprec_mult_0.40	0.2696	0.1471
393	Rprec_mult_0.60	0.1992	0.1020
393	Rprec_mult_0.80	0.1603	0.0786
393	Rprec_mult_1.00	0.1370	0.0639
393	Rprec_mult_1.20	0.1182	0.0541
393	Rprec_mult_1.40	0.1050	0.0467
393	Rprec_mult_1.60	0.0958	0.0428
393	Rprec_mult_1.80	0.0872	0.0386
393	Rprec_mult_2.00	0.0799	0.0348
393	binG	0.0882	0.0504
393	bpref	0.1218	0.0574
393	infAP	0.0934	0.0636
393	iprec_at_recall_0.00	0.8301	0.3092
393	iprec_at_recall_0.10	0.4075	0.3742
393	iprec_at_recall_0.20	0.0575	0.1258
393	iprec_at_recall_0.30	0.0200	0.0517
393	iprec_at_recall_0.40	0.0090	0.0296
393	iprec_at_recall_0.50	0.0040	0.0171
393	iprec_at_recall_0.60	0.0000	0.0000
393	iprec_at_recall_0.70	0.0000	0.0000
393	iprec_at_recall_0.80	0.0000	0.0000
393	iprec_at_recall_0.90	0.0000	0.0000
393	iprec_at_recall_1.00	0.0000	0.0000
393	map	0.0934	0.0636
393	map_cut_10	0.0605	0.0429
393	map_cut_100	0.0878	0.0601
393	map_cut_1000	0.0934	0.0636
393	map_cut_15	0.0715	0.0523
393	map_cut_20	0.0766	0.0561
393	map_cut_200	0.0903	0.0614
393	map_cut_30	0.0808	0.0583
393	map_cut_5	0.0368	0.0237
393	map_cut_500	0.0924	0.0631
393	ndcg	0.2702	0.1104
393	ndcg_cut_10	0.5560	0.2910
393	ndcg_cut_100	0.2211	0.0974
393	ndcg_cut_1000	0.2702	0.1104
393	ndcg_cut_15	0.4844	0.2534
393	ndcg_cut_20	0.4264	0.2230
393	ndcg_cut_200	0.2373	0.0988
393	ndcg_cut_30	0.3467	0.1758
393	ndcg_cut_5	0.6154	0.3221
393	ndcg_cut_500	0.2566	0.1062
393	ndcg_rel	0.3120	0.1343
393	num_nonrel_judged_ret	354.8182	122.5328
393	num_rel	71.0000	0.0000
393	num_rel_ret	17.1545	8.3287
393	num_ret	915.0727	243.6109
393	prefs_avgjg	0.2318	0.1085
393	prefs_avgjg_Rnonrel	0.0190	0.0020
393	prefs_avgjg_Rnonrel_ret	0.0424	0.0283
393	prefs_avgjg_imp	0.6283	0.1233
393	prefs_avgjg_ret	0.7579	0.1730
393	prefs_num_prefs_ful	36529.0364	17105.8725
393	prefs_num_prefs_ful_ret	5034.3273	3273.2882
393	prefs_num_prefs_poss	157620.0000	0.0000
393	prefs_pair	0.2318	0.1085
393	prefs_pair_imp	0.6283	0.1233
393	prefs_pair_ret	0.7579	0.1730
393	prefs_simp	0.2318	0.1085
393	prefs_simp_imp	0.6283	0.1233
393	prefs_simp_ret	0.7579	0.1730
393	recall_10	0.0726	0.0408
393	recall_100	0.1479	0.0657
393	recall_1000	0.2416	0.1173
393	recall_15	0.0892	0.0520
393	recall_20	0.0990	0.0572
393	recall_200	0.1746	0.0721
393	recall_30	0.1105	0.0604
393	recall_5	0.0416	0.0225
393	recall_500	0.2117	0.0966
393	recip_rank	0.7882	0.3510
393	relative_P_10	0.5155	0.2896
393	relative_P_100	0.1479	0.0657
393	relative_P_1000	0.2416	0.1173
393	relative_P_15	0.4224	0.2461
393	relative_P_20	0.3514	0.2030
393	relative_P_200	0.1746	0.0721
393	relative_P_30	0.2615	0.1429
393	relative_P_5	0.5909	0.3195
393	relative_P_500	0.2117	0.0966
393	set_F	   nan	   nan
393	set_P	0.0224	0.0208
393	set_map	0.0060	0.0060
393	set_recall	0.2416	0.1173
393	set_relative_P	0.2416	0.1173
393	success_1	0.7182	0.4499
393	success_10	0.9273	0.2597
393	success_5	0.8818	0.3228
393	utility	-880.7636	239.3172
394	11pt_avg	0.0707	0.0722
394	G	0.0799	0.0549
394	P_10	0.1100	0.0990
394	P_100	0.0247	0.0180
394	P_1000	0.0052	0.0024
394	P_15	0.0842	0.0717
394	P_20	0.0705	0.0573
394	P_200	0.0155	0.0099
394	P_30	0.0506	0.0414
394	P_5	0.1782	0.1836
394	P_500	0.0084	0.0043
394	Rndcg	0.1600	0.1160
394	Rprec	0.0781	0.0659
394	Rprec_mult_0.20	0.1932	0.2123
394	Rprec_mult_0.40	0.1390	0.1382
394	Rprec_mult_0.60	0.1025	0.0926
394	Rprec_mult_0.80	0.0883	0.0758
394	Rprec_mult_1.00	0.0781	0.0659
394	Rprec_mult_1.20	0.0675	0.0554
394	Rprec_mult_1.40	0.0606	0.0492
394	Rprec_mult_1.60	0.0532	0.0435
394	Rprec_mult_1.80	0.0502	0.0414
394	Rprec_mult_2.00	0.0465	0.0377
394	binG	0.0799	0.0549
394	bpref	0.0620	0.0559
394	infAP	0.0511	0.0539
394	iprec_at_recall_0.00	0.4528	0.4297
394	iprec_at_recall_0.10	0.2389	0.3264
394	iprec_at_recall_0.20	0.0522	0.1226
394	iprec_at_recall_0.30	0.0253	0.0392
394	iprec_at_recall_0.40	0.0059	0.0150
394	iprec_at_recall_0.50	0.0023	0.0139
394	iprec_at_recall_0.60	0.0000	0.0000
394	iprec_at_recall_0.70	0.0000	0.0000
394	iprec_at_recall_0.80	0.0000	0.0000
394	iprec_at_recall_0.90	0.0000	0.0000
394	iprec_at_recall_1.00	0.0000	0.0000
394	map	0.0511	0.0539
394	map_cut_10	0.0418	0.0506
394	map_cut_100	0.0489	0.0535
394	map_cut_1000	0.0511	0.0539
394	map_cut_15	0.0435	0.0511
394	map_cut_20	0.0446	0.0510
394	map_cut_200	0.0498	0.0535
394	map_cut_30	0.0454	0.0516
394	map_cut_5	0.0388	0.0495
394	map_cut_500	0.0507	0.0537
394	ndcg	0.2017	0.1271
394	ndcg_cut_10	0.1522	0.1483
394	ndcg_cut_100	0.1508	0.1213
394	ndcg_cut_1000	0.2017	0.1271
394	ndcg_cut_15	0.1254	0.1164
394	ndcg_cut_20	0.1213	0.1078
394	ndcg_cut_200	0.1646	0.1206
394	ndcg_cut_30	0.1249	0.1100
394	ndcg_cut_5	0.2119	0.2265
394	ndcg_cut_500	0.1849	0.1231
394	ndcg_rel	0.2140	0.1504
394	num_nonrel_judged_ret	504.9364	160.6927
394	num_rel	17.0000	0.0000
394	num_rel_ret	5.2000	2.4264
394	num_ret	931.8182	215.6098
394	prefs_avgjg	0.2833	0.1333
394	prefs_avgjg_Rnonrel	0.0039	0.0004
394	prefs_avgjg_Rnonrel_ret	0.0055	0.0037
394	prefs_avgjg_imp	0.5780	0.1826
394	prefs_avgjg_ret	0.6164	0.2294
394	prefs_num_prefs_ful	11061.2182	5205.4660
394	prefs_num_prefs_ful_ret	1948.9091	1115.2296
394	prefs_num_prefs_poss	39049.0000	0.0000
394	prefs_pair	0.2833	0.1333
394	prefs_pair_imp	0.5780	0.1826
394	prefs_pair_ret	0.6164	0.2294
394	prefs_simp	0.2833	0.1333
394	prefs_simp_imp	0.5780	0.1826
394	prefs_simp_ret	0.6164	0.2294
394	recall_10	0.0647	0.0583
394	recall_100	0.1454	0.1060
394	recall_1000	0.3059	0.1427
394	recall_15	0.0743	0.0633
394	recall_20	0.0829	0.0674
394	recall_200	0.1823	0.1163
394	recall_30	0.0893	0.0730
394	recall_5	0.0524	0.0540
394	recall_500	0.2465	0.1273
394	recip_rank	0.4507	0.4309
394	relative_P_10	0.1100	0.0990
394	relative_P_100	0.1454	0.1060
394	relative_P_1000	0.3059	0.1427
394	relative_P_15	0.0842	0.0717
394	relative_P_20	0.0829	0.0674
394	relative_P_200	0.1823	0.1163
394	relative_P_30	0.0893	0.0730
394	relative_P_5	0.1782	0.1836
394	relative_P_500	0.2465	0.1273
394	set_F	   nan	   nan
394	set_P	0.0054	0.0023
394	set_map	0.0020	0.0014
394	set_recall	0.3059	0.1427
394	set_relative_P	0.3059	0.1427
394	success_1	0.3636	0.4810
394	success_10	0.6909	0.4621
394	success_5	0.6000	0.4899
394	utility	-921.4182	212.8642
395	11pt_avg	0.1494	0.0653
395	G	0.0791	0.0240
395	P_10	0.2609	0.1508
395	P_100	0.2507	0.0797
395	P_1000	0.1124	0.0330
395	P_15	0.2794	0.1459
395	P_20	0.2777	0.1359
395	P_200	0.2325	0.0679
395	P_30	0.2794	0.1254
395	P_5	0.2418	0.2125
395	P_500	0.1695	0.0525
395	Rndcg	0.3338	0.0933
395	Rprec	0.2301	0.0681
395	Rprec_mult_0.20	0.2776	0.1066
395	Rprec_mult_0.40	0.2564	0.0875
395	Rprec_mult_0.60	0.2434	0.0741
395	Rprec_mult_0.80	0.2367	0.0678
395	Rprec_mult_1.00	0.2301	0.0681
395	Rprec_mult_1.20	0.2215	0.0698
395	Rprec_mult_1.40	0.2099	0.0641
395	Rprec_mult_1.60	0.2000	0.0601
395	Rprec_mult_1.80	0.1897	0.0565
395	Rprec_mult_2.00	0.1827	0.0546
395	binG	0.0791	0.0240
395	bpref	0.1803	0.0514
395	infAP	0.1249	0.0612
395	iprec_at_recall_0.00	0.5151	0.2657
395	iprec_at_recall_0.10	0.2936	0.1085
395	iprec_at_recall_0.20	0.2459	0.0928
395	iprec_at_recall_0.30	0.2037	0.1070
395	iprec_at_recall_0.40	0.1705	0.1027
395	iprec_at_recall_0.50	0.1321	0.1029
395	iprec_at_recall_0.60	0.0587	0.1016
395	iprec_at_recall_0.70	0.0241	0.0814
395	iprec_at_recall_0.80	0.0000	0.0000
395	iprec_at_recall_0.90	0.0000	0.0000
395	iprec_at_recall_1.00	0.0000	0.0000
395	map	0.1249	0.0612
395	map_cut_10	0.0055	0.0049
395	map_cut_100	0.0382	0.0228
395	map_cut_1000	0.1249	0.0612
395	map_cut_15	0.0082	0.0070
395	map_cut_20	0.0104	0.0085
395	map_cut_200	0.0645	0.0341
395	map_cut_30	0.0149	0.0115
395	map_cut_5	0.0031	0.0040
395	map_cut_500	0.1050	0.0546
395	ndcg	0.4325	0.1237
395	ndcg_cut_10	0.2455	0.1538
395	ndcg_cut_100	0.2520	0.0837
395	ndcg_cut_1000	0.4325	0.1237
395	ndcg_cut_15	0.2614	0.1439
395	ndcg_cut_20	0.2632	0.1334
395	ndcg_cut_200	0.2371	0.0693
395	ndcg_cut_30	0.2678	0.1219
395	ndcg_cut_5	0.2272	0.2155
395	ndcg_cut_500	0.3523	0.1047
395	ndcg_rel	0.3597	0.0910
395	num_nonrel_judged_ret	371.0091	101.4701
395	num_rel	213.0000	0.0000
395	num_rel_ret	112.4364	33.0109
395	num_ret	931.8182	215.6098
395	prefs_avgjg	0.4551	0.1278
395	prefs_avgjg_Rnonrel	0.0957	0.0098
395	prefs_avgjg_Rnonrel_ret	0.1612	0.0303
395	prefs_avgjg_imp	0.6898	0.0470
395	prefs_avgjg_ret	0.5431	0.0548
395	prefs_num_prefs_ful	123983.5545	34823.3466
395	prefs_num_prefs_ful_ret	24918.6182	12146.0268
395	prefs_num_prefs_poss	272427.0000	0.0000
395	prefs_pair	0.4551	0.1278
395	prefs_pair_imp	0.6898	0.0470
395	prefs_pair_ret	0.5431	0.0548
395	prefs_simp	0.4551	0.1278
395	prefs_simp_imp	0.6898	0.0470
395	prefs_simp_ret	0.5431	0.0548
395	recall_10	0.0123	0.0071
395	recall_100	0.1177	0.0374
395	recall_1000	0.5279	0.1550
395	recall_15	0.0197	0.0103
395	recall_20	0.0261	0.0128
395	recall_200	0.2184	0.0637
395	recall_30	0.0394	0.0176
395	recall_5	0.0057	0.0050
395	recall_500	0.3980	0.1231
395	recip_rank	0.4041	0.3184
395	relative_P_10	0.2609	0.1508
395	relative_P_100	0.2507	0.0797
395	relative_P_1000	0.5279	0.1550
395	relative_P_15	0.2794	0.1459
395	relative_P_20	0.2777	0.1359
395	relative_P_200	0.2325	0.0679
395	relative_P_30	0.2794	0.1254
395	relative_P_5	0.2418	0.2125
395	relative_P_500	0.3980	0.1231
395	set_F	0.1962	0.0427
395	set_P	0.1246	0.0320
395	set_map	0.0671	0.0273
395	set_recall	0.5279	0.1550
395	set_relative_P	0.5279	0.1550
395	success_1	0.1909	0.3930
395	success_10	0.9455	0.2271
395	success_5	0.7364	0.4406
395	utility	-706.9455	179.8490
396	11pt_avg	0.3918	0.0884
396	G	0.3092	0.0757
396	P_10	0.9536	0.1015
396	P_100	0.2515	0.0584
396	P_1000	0.0361	0.0110
396	P_15	0.9054	0.1207
396	P_20	0.8145	0.1287
396	P_200	0.1414	0.0363
396	P_30	0.6388	0.1179
396	P_5	0.9764	0.1035
396	P_500	0.0650	0.0194
396	Rndcg	0.5705	0.1001
396	Rprec	0.3897	0.0900
396	Rprec_mult_0.20	0.9462	0.1099
396	Rprec_mult_0.40	0.7375	0.1269
396	Rprec_mult_0.60	0.5689	0.1185
396	Rprec_mult_0.80	0.4595	0.1033
396	Rprec_mult_1.00	0.3897	0.0900
396	Rprec_mult_1.20	0.3357	0.0790
396	Rprec_mult_1.40	0.2933	0.0692
396	Rprec_mult_1.60	0.2628	0.0612
396	Rprec_mult_1.80	0.2382	0.0536
396	Rprec_mult_2.00	0.2191	0.0500
396	binG	0.3092	0.0757
396	bpref	0.3717	0.0867
396	infAP	0.3773	0.1001
396	iprec_at_recall_0.00	0.9981	0.0141
396	iprec_at_recall_0.10	0.9778	0.0920
396	iprec_at_recall_0.20	0.9330	0.1485
396	iprec_at_recall_0.30	0.6994	0.2853
396	iprec_at_recall_0.40	0.3589	0.3072
396	iprec_at_recall_0.50	0.2032	0.2270
396	iprec_at_recall_0.60	0.0782	0.0998
396	iprec_at_recall_0.70	0.0398	0.0632
396	iprec_at_recall_0.80	0.0200	0.0468
396	iprec_at_recall_0.90	0.0012	0.0093
396	iprec_at_recall_1.00	0.0000	0.0000
396	map	0.3773	0.1001
396	map_cut_10	0.1594	0.0216
396	map_cut_100	0.3545	0.0917
396	map_cut_1000	0.3773	0.1001
396	map_cut_15	0.2254	0.0370
396	map_cut_20	0.2667	0.0515
396	map_cut_200	0.3658	0.0949
396	map_cut_30	0.3044	0.0671
396	map_cut_5	0.0822	0.0100
396	map_cut_500	0.3739	0.0989
396	ndcg	0.6284	0.1232
396	ndcg_cut_10	0.9623	0.0894
396	ndcg_cut_100	0.5365	0.0884
396	ndcg_cut_1000	0.6284	0.1232
396	ndcg_cut_15	0.9287	0.1020
396	ndcg_cut_20	0.8640	0.1071
396	ndcg_cut_200	0.5668	0.0974
396	ndcg_cut_30	0.7309	0.1018
396	ndcg_cut_5	0.9787	0.0901
396	ndcg_cut_500	0.6019	0.1148
396	ndcg_rel	0.7114	0.1011
396	num_nonrel_judged_ret	377.3909	118.4720
396	num_rel	59.0000	0.0000
396	num_rel_ret	36.1273	10.9570
396	num_ret	914.9727	243.9205
396	prefs_avgjg	0.5817	0.1687
396	prefs_avgjg_Rnonrel	0.0331	0.0034
396	prefs_avgjg_Rnonrel_ret	0.1050	0.0503
396	prefs_avgjg_imp	0.8233	0.0706
396	prefs_avgjg_ret	0.8264	0.0808
396	prefs_num_prefs_ful	50690.7091	14701.3425
396	prefs_num_prefs_ful_ret	11812.0091	5339.6935
396	prefs_num_prefs_poss	87143.0000	0.0000
396	prefs_pair	0.5817	0.1687
396	prefs_pair_imp	0.8233	0.0706
396	prefs_pair_ret	0.8264	0.0808
396	prefs_simp	0.5817	0.1687
396	prefs_simp_imp	0.8233	0.0706
396	prefs_simp_ret	0.8264	0.0808
396	recall_10	0.1616	0.0172
396	recall_100	0.4263	0.0990
396	recall_1000	0.6123	0.1857
396	recall_15	0.2302	0.0307
396	recall_20	0.2761	0.0436
396	recall_200	0.4794	0.1229
396	recall_30	0.3248	0.0599
396	recall_5	0.0827	0.0088
396	recall_500	0.5510	0.1645
396	recip_rank	0.9909	0.0668
396	relative_P_10	0.9536	0.1015
396	relative_P_100	0.4263	0.0990
396	relative_P_1000	0.6123	0.1857
396	relative_P_15	0.9054	0.1207
396	relative_P_20	0.8145	0.1287
396	relative_P_200	0.4794	0.1229
396	relative_P_30	0.6388	0.1179
396	relative_P_5	0.9764	0.1035
396	relative_P_500	0.5510	0.1645
396	set_F	0.0800	0.0309
396	set_P	0.0449	0.0262
396	set_map	0.0268	0.0124
396	set_recall	0.6123	0.1857
396	set_relative_P	0.6123	0.1857
396	success_1	0.9818	0.1336
396	success_10	1.0000	0.0000
396	success_5	1.0000	0.0000
396	utility	-842.7182	232.4807
397	11pt_avg	0.2462	0.1788
397	G	0.2240	0.1375
397	P_10	0.4373	0.3531
397	P_100	0.1035	0.0615
397	P_1000	0.0194	0.0077
397	P_15	0.3564	0.2820
397	P_20	0.2991	0.2300
397	P_200	0.0632	0.0328
397	P_30	0.2252	0.1626
397	P_5	0.5236	0.3991
397	P_500	0.0335	0.0149
397	Rndcg	0.4074	0.2294
397	Rprec	0.2401	0.1763
397	Rprec_mult_0.20	0.5076	0.3882
397	Rprec_mult_0.40	0.4132	0.3320
397	Rprec_mult_0.60	0.3310	0.2576
397	Rprec_mult_0.80	0.2781	0.2118
397	Rprec_mult_1.00	0.2401	0.1763
397	Rprec_mult_1.20	0.2118	0.1514
397	Rprec_mult_1.40	0.1892	0.1326
397	Rprec_mult_1.60	0.1746	0.1126
397	Rprec_mult_1.80	0.1616	0.1023
397	Rprec_mult_2.00	0.1512	0.0942
397	binG	0.2240	0.1375
397	bpref	0.2183	0.1689
397	infAP	0.2261	0.1733
397	iprec_at_recall_0.00	0.6242	0.4015
397	iprec_at_recall_0.10	0.5569	0.4285
397	iprec_at_recall_0.20	0.4805	0.4090
397	iprec_at_recall_0.30	0.4395	0.3800
397	iprec_at_recall_0.40	0.3115	0.2763
397	iprec_at_recall_0.50	0.1018	0.1030
397	iprec_at_recall_0.60	0.0723	0.0827
397	iprec_at_recall_0.70	0.0631	0.0787
397	iprec_at_recall_0.80	0.0391	0.0572
397	iprec_at_recall_0.90	0.0190	0.0282
397	iprec_at_recall_1.00	0.0000	0.0000
397	map	0.2261	0.1733
397	map_cut_10	0.1392	0.1312
397	map_cut_100	0.2079	0.1713
397	map_cut_1000	0.2261	0.1733
397	map_cut_15	0.1620	0.1504
397	map_cut_20	0.1736	0.1582
397	map_cut_200	0.2155	0.1718
397	map_cut_30	0.1832	0.1629
397	map_cut_5	0.0852	0.0781
397	map_cut_500	0.2233	0.1732
397	ndcg	0.5104	0.2417
397	ndcg_cut_10	0.4593	0.3730
397	ndcg_cut_100	0.3826	0.2416
397	ndcg_cut_1000	0.5104	0.2417
397	ndcg_cut_15	0.3999	0.3178
397	ndcg_cut_20	0.3543	0.2762
397	ndcg_cut_200	0.4197	0.2384
397	ndcg_cut_30	0.3109	0.2327
397	ndcg_cut_5	0.5157	0.4115
397	ndcg_cut_500	0.4773	0.2440
397	ndcg_rel	0.4784	0.2700
397	num_nonrel_judged_ret	485.9273	166.5988
397	num_rel	27.0000	0.0000
397	num_rel_ret	19.4273	7.7136
397	num_ret	915.0727	243.6109
397	prefs_avgjg	0.6635	0.2643
397	prefs_avgjg_Rnonrel	0.0104	0.0025
397	prefs_avgjg_Rnonrel_ret	0.0306	0.0248
397	prefs_avgjg_imp	0.7840	0.2348
397	prefs_avgjg_ret	0.6897	0.2262
397	prefs_num_prefs_ful	32122.6636	12796.4850
397	prefs_num_prefs_ful_ret	7575.1636	4191.2038
397	prefs_num_prefs_poss	48411.0000	0.0000
397	prefs_pair	0.6635	0.2643
397	prefs_pair_imp	0.7840	0.2348
397	prefs_pair_ret	0.6897	0.2262
397	prefs_simp	0.6635	0.2643
397	prefs_simp_imp	0.7840	0.2348
397	prefs_simp_ret	0.6897	0.2262
397	recall_10	0.1620	0.1308
397	recall_100	0.3835	0.2280
397	recall_1000	0.7195	0.2857
397	recall_15	0.1980	0.1567
397	recall_20	0.2215	0.1704
397	recall_200	0.4680	0.2430
397	recall_30	0.2501	0.1806
397	recall_5	0.0970	0.0739
397	recall_500	0.6209	0.2760
397	recip_rank	0.5797	0.4234
397	relative_P_10	0.4373	0.3531
397	relative_P_100	0.3835	0.2280
397	relative_P_1000	0.7195	0.2857
397	relative_P_15	0.3564	0.2820
397	relative_P_20	0.2991	0.2300
397	relative_P_200	0.4680	0.2430
397	relative_P_30	0.2501	0.1806
397	relative_P_5	0.5236	0.3991
397	relative_P_500	0.6209	0.2760
397	set_F	   nan	   nan
397	set_P	0.0242	0.0224
397	set_map	0.0190	0.0140
397	set_recall	0.7195	0.2857
397	set_relative_P	0.7195	0.2857
397	success_1	0.4818	0.4997
397	success_10	0.7545	0.4304
397	success_5	0.7455	0.4356
397	utility	-876.2182	236.7532
398	11pt_avg	0.2240	0.1610
398	G	0.1209	0.0807
398	P_10	0.5527	0.3539
398	P_100	0.2743	0.1839
398	P_1000	0.0789	0.0429
398	P_15	0.5048	0.3393
398	P_20	0.4686	0.3162
398	P_200	0.2049	0.1283
398	P_30	0.4136	0.2850
398	P_5	0.6055	0.3828
398	P_500	0.1282	0.0753
398	Rndcg	0.3791	0.2190
398	Rprec	0.2331	0.1513
398	Rprec_mult_0.20	0.4172	0.2879
398	Rprec_mult_0.40	0.3345	0.2308
398	Rprec_mult_0.60	0.2921	0.1981
398	Rprec_mult_0.80	0.2570	0.1708
398	Rprec_mult_1.00	0.2331	0.1513
398	Rprec_mult_1.20	0.2166	0.1380
398	Rprec_mult_1.40	0.2034	0.1273
398	Rprec_mult_1.60	0.1939	0.1196
398	Rprec_mult_1.80	0.1835	0.1127
398	Rprec_mult_2.00	0.1745	0.1075
398	binG	0.1209	0.0807
398	bpref	0.2042	0.1426
398	infAP	0.1965	0.1639
398	iprec_at_recall_0.00	0.7759	0.3695
398	iprec_at_recall_0.10	0.4390	0.3491
398	iprec_at_recall_0.20	0.3317	0.2988
398	iprec_at_recall_0.30	0.2544	0.2435
398	iprec_at_recall_0.40	0.2070	0.1960
398	iprec_at_recall_0.50	0.1669	0.1608
398	iprec_at_recall_0.60	0.1279	0.1334
398	iprec_at_recall_0.70	0.0934	0.1132
398	iprec_at_recall_0.80	0.0554	0.0899
398	iprec_at_recall_0.90	0.0125	0.0594
398	iprec_at_recall_1.00	0.0000	0.0000
398	map	0.1965	0.1639
398	map_cut_10	0.0337	0.0255
398	map_cut_100	0.1188	0.1083
398	map_cut_1000	0.1965	0.1639
398	map_cut_15	0.0450	0.0363
398	map_cut_20	0.0539	0.0446
398	map_cut_200	0.1486	0.1332
398	map_cut_30	0.0679	0.0591
398	map_cut_5	0.0195	0.0136
398	map_cut_500	0.1839	0.1566
398	ndcg	0.4761	0.2644
398	ndcg_cut_10	0.5824	0.3577
398	ndcg_cut_100	0.3255	0.2101
398	ndcg_cut_1000	0.4761	0.2644
398	ndcg_cut_15	0.5437	0.3441
398	ndcg_cut_20	0.5129	0.3260
398	ndcg_cut_200	0.3173	0.1962
398	ndcg_cut_30	0.4645	0.3002
398	ndcg_cut_5	0.6275	0.3854
398	ndcg_cut_500	0.4190	0.2450
398	ndcg_rel	0.4353	0.2374
398	num_nonrel_judged_ret	347.7545	109.8807
398	num_rel	145.0000	0.0000
398	num_rel_ret	78.9000	42.8655
398	num_ret	914.0727	247.1284
398	prefs_avgjg	0.4863	0.2678
398	prefs_avgjg_Rnonrel	0.0687	0.0162
398	prefs_avgjg_Rnonrel_ret	0.1385	0.0699
398	prefs_avgjg_imp	0.6935	0.1764
398	prefs_avgjg_ret	0.5969	0.1279
398	prefs_num_prefs_ful	92504.7909	50943.4979
398	prefs_num_prefs_ful_ret	19435.6273	13808.5522
398	prefs_num_prefs_poss	190240.0000	0.0000
398	prefs_pair	0.4863	0.2678
398	prefs_pair_imp	0.6935	0.1764
398	prefs_pair_ret	0.5969	0.1279
398	prefs_simp	0.4863	0.2678
398	prefs_simp_imp	0.6935	0.1764
398	prefs_simp_ret	0.5969	0.1279
398	recall_10	0.0381	0.0244
398	recall_100	0.1892	0.1268
398	recall_1000	0.5441	0.2956
398	recall_15	0.0522	0.0351
398	recall_20	0.0646	0.0436
398	recall_200	0.2826	0.1770
398	recall_30	0.0856	0.0589
398	recall_5	0.0209	0.0132
398	recall_500	0.4419	0.2596
398	recip_rank	0.7545	0.3932
398	relative_P_10	0.5527	0.3539
398	relative_P_100	0.2743	0.1839
398	relative_P_1000	0.5441	0.2956
398	relative_P_15	0.5048	0.3393
398	relative_P_20	0.4686	0.3162
398	relative_P_200	0.2826	0.1770
398	relative_P_30	0.4136	0.2850
398	relative_P_5	0.6055	0.3828
398	relative_P_500	0.4419	0.2596
398	set_F	0.1446	0.0689
398	set_P	0.0868	0.0388
398	set_map	0.0566	0.0424
398	set_recall	0.5441	0.2956
398	set_relative_P	0.5460	0.2926
398	success_1	0.7091	0.4542
398	success_10	0.8455	0.3615
398	success_5	0.8000	0.4000
398	utility	-756.2727	217.1681
399	11pt_avg	0.1636	0.0766
399	G	0.0901	0.0357
399	P_10	0.4173	0.1887
399	P_100	0.2300	0.1028
399	P_1000	0.0424	0.0177
399	P_15	0.4394	0.1744
399	P_20	0.4373	0.1562
399	P_200	0.1396	0.0637
399	P_30	0.4012	0.1382
399	P_5	0.3945	0.2449
399	P_500	0.0715	0.0313
399	Rndcg	0.3209	0.1168
399	Rprec	0.2276	0.1020
399	Rprec_mult_0.20	0.4385	0.1502
399	Rprec_mult_0.40	0.3634	0.1380
399	Rprec_mult_0.60	0.3038	0.1245
399	Rprec_mult_0.80	0.2582	0.1151
399	Rprec_mult_1.00	0.2276	0.1020
399	Rprec_mult_1.20	0.1990	0.0895
399	Rprec_mult_1.40	0.1782	0.0804
399	Rprec_mult_1.60	0.1595	0.0720
399	Rprec_mult_1.80	0.1485	0.0670
399	Rprec_mult_2.00	0.1383	0.0634
399	binG	0.0901	0.0357
399	bpref	0.1857	0.0824
399	infAP	0.1291	0.0758
399	iprec_at_recall_0.00	0.7275	0.2525
399	iprec_at_recall_0.10	0.4368	0.2255
399	iprec_at_recall_0.20	0.2918	0.2072
399	iprec_at_recall_0.30	0.1841	0.1685
399	iprec_at_recall_0.40	0.0868	0.1135
399	iprec_at_recall_0.50	0.0435	0.0871
399	iprec_at_recall_0.60	0.0200	0.0558
399	iprec_at_recall_0.70	0.0064	0.0278
399	iprec_at_recall_0.80	0.0030	0.0178
399	iprec_at_recall_0.90	0.0000	0.0000
399	iprec_at_recall_1.00	0.0000	0.0000
399	map	0.1291	0.0758
399	map_cut_10	0.0246	0.0179
399	map_cut_100	0.1050	0.0595
399	map_cut_1000	0.1291	0.0758
399	map_cut_15	0.0365	0.0242
399	map_cut_20	0.0469	0.0272
399	map_cut_200	0.1158	0.0684
399	map_cut_30	0.0623	0.0316
399	map_cut_5	0.0137	0.0115
399	map_cut_500	0.1250	0.0742
399	ndcg	0.3751	0.1379
399	ndcg_cut_10	0.4151	0.2029
399	ndcg_cut_100	0.2690	0.1027
399	ndcg_cut_1000	0.3751	0.1379
399	ndcg_cut_15	0.4303	0.1843
399	ndcg_cut_20	0.4306	0.1606
399	ndcg_cut_200	0.2976	0.1165
399	ndcg_cut_30	0.4074	0.1360
399	ndcg_cut_5	0.4020	0.2551
399	ndcg_cut_500	0.3420	0.1302
399	ndcg_rel	0.3686	0.1218
399	num_nonrel_judged_ret	452.0636	144.4320
399	num_rel	102.0000	0.0000
399	num_rel_ret	42.4364	17.7234
399	num_ret	913.9000	247.7168
399	prefs_avgjg	0.3779	0.1574
399	prefs_avgjg_Rnonrel	0.0457	0.0076
399	prefs_avgjg_Rnonrel_ret	0.0766	0.0429
399	prefs_avgjg_imp	0.6258	0.1349
399	prefs_avgjg_ret	0.7379	0.0960
399	prefs_num_prefs_ful	53662.2273	22344.9653
399	prefs_num_prefs_ful_ret	15093.7182	7604.5053
399	prefs_num_prefs_poss	141984.0000	0.0000
399	prefs_pair	0.3779	0.1574
399	prefs_pair_imp	0.6258	0.1349
399	prefs_pair_ret	0.7379	0.0960
399	prefs_simp	0.3779	0.1574
399	prefs_simp_imp	0.6258	0.1349
399	prefs_simp_ret	0.7379	0.0960
399	recall_10	0.0409	0.0185
399	recall_100	0.2255	0.1008
399	recall_1000	0.4160	0.1738
399	recall_15	0.0646	0.0256
399	recall_20	0.0857	0.0306
399	recall_200	0.2737	0.1249
399	recall_30	0.1180	0.0407
399	recall_5	0.0193	0.0120
399	recall_500	0.3505	0.1534
399	recip_rank	0.6203	0.3360
399	relative_P_10	0.4173	0.1887
399	relative_P_100	0.2300	0.1028
399	relative_P_1000	0.4160	0.1738
399	relative_P_15	0.4394	0.1744
399	relative_P_20	0.4373	0.1562
399	relative_P_200	0.2737	0.1249
399	relative_P_30	0.4012	0.1382
399	relative_P_5	0.3945	0.2449
399	relative_P_500	0.3505	0.1534
399	set_F	0.0850	0.0313
399	set_P	0.0594	0.0931
399	set_map	0.0228	0.0167
399	set_recall	0.4160	0.1738
399	set_relative_P	0.4274	0.1737
399	success_1	0.4091	0.4917
399	success_10	0.9818	0.1336
399	success_5	0.9000	0.3000
399	utility	-829.0273	229.3171
400	11pt_avg	0.3852	0.1118
400	G	0.1879	0.0468
400	P_10	0.7745	0.1687
400	P_100	0.4526	0.1306
400	P_1000	0.0990	0.0209
400	P_15	0.7103	0.1568
400	P_20	0.6700	0.1442
400	P_200	0.3206	0.0827
400	P_30	0.6136	0.1436
400	P_5	0.8600	0.1738
400	P_500	0.1751	0.0365
400	Rndcg	0.5909	0.1232
400	Rprec	0.4087	0.1238
400	Rprec_mult_0.20	0.6385	0.1450
400	Rprec_mult_0.40	0.5498	0.1211
400	Rprec_mult_0.60	0.5001	0.1343
400	Rprec_mult_0.80	0.4526	0.1306
400	Rprec_mult_1.00	0.4087	0.1238
400	Rprec_mult_1.20	0.3703	0.1109
400	Rprec_mult_1.40	0.3425	0.0983
400	Rprec_mult_1.60	0.3206	0.0827
400	Rprec_mult_1.80	0.2997	0.0727
400	Rprec_mult_2.00	0.2823	0.0629
400	binG	0.1879	0.0468
400	bpref	0.3753	0.1052
400	infAP	0.3640	0.1239
400	iprec_at_recall_0.00	0.9842	0.0822
400	iprec_at_recall_0.10	0.7233	0.1578
400	iprec_at_recall_0.20	0.5657	0.1790
400	iprec_at_recall_0.30	0.4864	0.1912
400	iprec_at_recall_0.40	0.4449	0.1967
400	iprec_at_recall_0.50	0.3701	0.1923
400	iprec_at_recall_0.60	0.2917	0.1535
400	iprec_at_recall_0.70	0.2108	0.1118
400	iprec_at_recall_0.80	0.1306	0.0938
400	iprec_at_recall_0.90	0.0292	0.0627
400	iprec_at_recall_1.00	0.0000	0.0000
400	map	0.3640	0.1239
400	map_cut_10	0.0572	0.0160
400	map_cut_100	0.2423	0.0940
400	map_cut_1000	0.3640	0.1239
400	map_cut_15	0.0754	0.0218
400	map_cut_20	0.0914	0.0268
400	map_cut_200	0.3038	0.1179
400	map_cut_30	0.1190	0.0366
400	map_cut_5	0.0335	0.0082
400	map_cut_500	0.3506	0.1224
400	ndcg	0.7093	0.1392
400	ndcg_cut_10	0.8190	0.1546
400	ndcg_cut_100	0.5144	0.1245
400	ndcg_cut_1000	0.7093	0.1392
400	ndcg_cut_15	0.7657	0.1466
400	ndcg_cut_20	0.7294	0.1394
400	ndcg_cut_200	0.5448	0.1264
400	ndcg_cut_30	0.6767	0.1374
400	ndcg_cut_5	0.8893	0.1544
400	ndcg_cut_500	0.6600	0.1297
400	ndcg_rel	0.6439	0.1186
400	num_nonrel_judged_ret	334.5455	87.0840
400	num_rel	125.0000	0.0000
400	num_rel_ret	98.9545	20.8821
400	num_ret	915.4182	242.4357
400	prefs_avgjg	0.7052	0.1450
400	prefs_avgjg_Rnonrel	0.1074	0.0136
400	prefs_avgjg_Rnonrel_ret	0.2149	0.0574
400	prefs_avgjg_imp	0.8196	0.0486
400	prefs_avgjg_ret	0.7074	0.0808
400	prefs_num_prefs_ful	77922.4000	16022.8026
400	prefs_num_prefs_ful_ret	25229.1818	9331.9166
400	prefs_num_prefs_poss	110500.0000	0.0000
400	prefs_pair	0.7052	0.1450
400	prefs_pair_imp	0.8196	0.0486
400	prefs_pair_ret	0.7074	0.0808
400	prefs_simp	0.7052	0.1450
400	prefs_simp_imp	0.8196	0.0486
400	prefs_simp_ret	0.7074	0.0808
400	recall_10	0.0620	0.0135
400	recall_100	0.3621	0.1045
400	recall_1000	0.7916	0.1671
400	recall_15	0.0852	0.0188
400	recall_20	0.1072	0.0231
400	recall_200	0.5129	0.1324
400	recall_30	0.1473	0.0345
400	recall_5	0.0344	0.0070
400	recall_500	0.7004	0.1458
400	recip_rank	0.9818	0.0936
400	relative_P_10	0.7745	0.1687
400	relative_P_100	0.4526	0.1306
400	relative_P_1000	0.7916	0.1671
400	relative_P_15	0.7103	0.1568
400	relative_P_20	0.6700	0.1442
400	relative_P_200	0.5129	0.1324
400	relative_P_30	0.6136	0.1436
400	relative_P_5	0.8600	0.1738
400	relative_P_500	0.7004	0.1458
400	set_F	0.1974	0.0497
400	set_P	0.1202	0.0651
400	set_map	0.0905	0.0274
400	set_recall	0.7916	0.1671
400	set_relative_P	0.7938	0.1631
400	success_1	0.9636	0.1872
400	success_10	1.0000	0.0000
400	success_5	1.0000	0.0000
400	utility	-717.5091	206.8178
401	11pt_avg	0.0805	0.0858
401	G	0.0374	0.0323
401	P_10	0.2618	0.2819
401	P_100	0.1661	0.1709
401	P_1000	0.0663	0.0434
401	P_15	0.2533	0.2634
401	P_20	0.2386	0.2539
401	P_200	0.1320	0.1297
401	P_30	0.2206	0.2328
401	P_5	0.2800	0.3272
401	P_500	0.0914	0.0695
401	Rndcg	0.1681	0.1305
401	Rprec	0.1137	0.0999
401	Rprec_mult_0.20	0.1889	0.2017
401	Rprec_mult_0.40	0.1578	0.1566
401	Rprec_mult_0.60	0.1367	0.1348
401	Rprec_mult_0.80	0.1242	0.1164
401	Rprec_mult_1.00	0.1137	0.0999
401	Rprec_mult_1.20	0.1052	0.0877
401	Rprec_mult_1.40	0.0983	0.0786
401	Rprec_mult_1.60	0.0926	0.0717
401	Rprec_mult_1.80	0.0884	0.0656
401	Rprec_mult_2.00	0.0847	0.0615
401	binG	0.0374	0.0323
401	bpref	0.1100	0.1039
401	infAP	0.0527	0.0779
401	iprec_at_recall_0.00	0.4910	0.4105
401	iprec_at_recall_0.10	0.1659	0.2312
401	iprec_at_recall_0.20	0.1138	0.1883
401	iprec_at_recall_0.30	0.0646	0.1397
401	iprec_at_recall_0.40	0.0385	0.1036
401	iprec_at_recall_0.50	0.0112	0.0433
401	iprec_at_recall_0.60	0.0000	0.0000
401	iprec_at_recall_0.70	0.0000	0.0000
401	iprec_at_recall_0.80	0.0000	0.0000
401	iprec_at_recall_0.90	0.0000	0.0000
401	iprec_at_recall_1.00	0.0000	0.0000
401	map	0.0527	0.0779
401	map_cut_10	0.0061	0.0087
401	map_cut_100	0.0265	0.0453
401	map_cut_1000	0.0527	0.0779
401	map_cut_15	0.0082	0.0120
401	map_cut_20	0.0100	0.0149
401	map_cut_200	0.0357	0.0605
401	map_cut_30	0.0130	0.0200
401	map_cut_5	0.0037	0.0052
401	map_cut_500	0.0457	0.0725
401	ndcg	0.2052	0.1459
401	ndcg_cut_10	0.2722	0.2942
401	ndcg_cut_100	0.1848	0.1870
401	ndcg_cut_1000	0.2052	0.1459
401	ndcg_cut_15	0.2641	0.2760
401	ndcg_cut_20	0.2525	0.2644
401	ndcg_cut_200	0.1503	0.1453
401	ndcg_cut_30	0.2368	0.2452
401	ndcg_cut_5	0.2876	0.3365
401	ndcg_cut_500	0.1593	0.1288
401	ndcg_rel	0.2052	0.1547
401	num_nonrel_judged_ret	367.8000	114.2086
401	num_rel	300.0000	0.0000
401	num_rel_ret	66.3000	43.3941
401	num_ret	931.8091	215.6386
401	prefs_avgjg	0.2063	0.1389
401	prefs_avgjg_Rnonrel	0.0643	0.0142
401	prefs_avgjg_Rnonrel_ret	0.1098	0.0958
401	prefs_avgjg_imp	0.5519	0.1972
401	prefs_avgjg_ret	0.5223	0.1152
401	prefs_num_prefs_ful	150933.1000	101640.5228
401	prefs_num_prefs_ful_ret	13848.8909	11316.9437
401	prefs_num_prefs_poss	731700.0000	0.0000
401	prefs_pair	0.2063	0.1389
401	prefs_pair_imp	0.5519	0.1972
401	prefs_pair_ret	0.5223	0.1152
401	prefs_simp	0.2063	0.1389
401	prefs_simp_imp	0.5519	0.1972
401	prefs_simp_ret	0.5223	0.1152
401	recall_10	0.0087	0.0094
401	recall_100	0.0554	0.0570
401	recall_1000	0.2210	0.1446
401	recall_15	0.0127	0.0132
401	recall_20	0.0159	0.0169
401	recall_200	0.0880	0.0865
401	recall_30	0.0221	0.0233
401	recall_5	0.0047	0.0055
401	recall_500	0.1523	0.1159
401	recip_rank	0.4376	0.4258
401	relative_P_10	0.2618	0.2819
401	relative_P_100	0.1661	0.1709
401	relative_P_1000	0.2210	0.1446
401	relative_P_15	0.2533	0.2634
401	relative_P_20	0.2386	0.2539
401	relative_P_200	0.1320	0.1297
401	relative_P_30	0.2206	0.2328
401	relative_P_5	0.2800	0.3272
401	relative_P_500	0.1523	0.1159
401	set_F	0.1046	0.0644
401	set_P	0.0700	0.0411
401	set_map	0.0211	0.0243
401	set_recall	0.2210	0.1446
401	set_relative_P	0.2218	0.1437
401	success_1	0.3455	0.4755
401	success_10	0.6727	0.4692
401	success_5	0.5455	0.4979
401	utility	-799.2091	199.0044
402	11pt_avg	0.2474	0.1056
402	G	0.1573	0.0627
402	P_10	0.5736	0.2426
402	P_100	0.2331	0.0882
402	P_1000	0.0538	0.0182
402	P_15	0.5042	0.2270
402	P_20	0.4641	0.2054
402	P_200	0.1621	0.0587
402	P_30	0.3900	0.1765
402	P_5	0.6836	0.2688
402	P_500	0.0915	0.0314
402	Rndcg	0.4449	0.1471
402	Rprec	0.2575	0.1003
402	Rprec_mult_0.20	0.4994	0.2221
402	Rprec_mult_0.40	0.3795	0.1723
402	Rprec_mult_0.60	0.3210	0.1321
402	Rprec_mult_0.80	0.2828	0.1116
402	Rprec_mult_1.00	0.2575	0.1003
402	Rprec_mult_1.20	0.2384	0.0909
402	Rprec_mult_1.40	0.2207	0.0836
402	Rprec_mult_1.60	0.2063	0.0771
402	Rprec_mult_1.80	0.1950	0.0722
402	Rprec_mult_2.00	0.1837	0.0665
402	binG	0.1573	0.0627
402	bpref	0.2125	0.0921
402	infAP	0.2123	0.1121
402	iprec_at_recall_0.00	0.9411	0.1965
402	iprec_at_recall_0.10	0.5497	0.2891
402	iprec_at_recall_0.20	0.3733	0.2245
402	iprec_at_recall_0.30	0.2677	0.1899
402	iprec_at_recall_0.40	0.1998	0.1427
402	iprec_at_recall_0.50	0.1538	0.1095
402	iprec_at_recall_0.60	0.1130	0.0808
402	iprec_at_recall_0.70	0.0760	0.0635
402	iprec_at_recall_0.80	0.0391	0.0524
402	iprec_at_recall_0.90	0.0075	0.0308
402	iprec_at_recall_1.00	0.0000	0.0000
402	map	0.2123	0.1121
402	map_cut_10	0.0620	0.0310
402	map_cut_100	0.1555	0.0898
402	map_cut_1000	0.2123	0.1121
402	map_cut_15	0.0775	0.0428
402	map_cut_20	0.0901	0.0511
402	map_cut_200	0.1809	0.1018
402	map_cut_30	0.1059	0.0632
402	map_cut_5	0.0400	0.0178
402	map_cut_500	0.2041	0.1099
402	ndcg	0.5611	0.1830
402	ndcg_cut_10	0.6393	0.2279
402	ndcg_cut_100	0.3519	0.1255
402	ndcg_cut_1000	0.5611	0.1830
402	ndcg_cut_15	0.5780	0.2183
402	ndcg_cut_20	0.5390	0.2039
402	ndcg_cut_200	0.4233	0.1471
402	ndcg_cut_30	0.4701	0.1827
402	ndcg_cut_5	0.7334	0.2513
402	ndcg_cut_500	0.5133	0.1706
402	ndcg_rel	0.5104	0.1611
402	num_nonrel_judged_ret	431.5909	143.1090
402	num_rel	80.0000	0.0000
402	num_rel_ret	53.8000	18.2098
402	num_ret	907.1636	247.6667
402	prefs_avgjg	0.6128	0.2033
402	prefs_avgjg_Rnonrel	0.0338	0.0057
402	prefs_avgjg_Rnonrel_ret	0.0866	0.0365
402	prefs_avgjg_imp	0.8142	0.0595
402	prefs_avgjg_ret	0.6816	0.1012
402	prefs_num_prefs_ful	77059.9000	25565.2234
402	prefs_num_prefs_ful_ret	18161.9909	9156.5120
402	prefs_num_prefs_poss	125760.0000	0.0000
402	prefs_pair	0.6128	0.2033
402	prefs_pair_imp	0.8142	0.0595
402	prefs_pair_ret	0.6816	0.1012
402	prefs_simp	0.6128	0.2033
402	prefs_simp_imp	0.8142	0.0595
402	prefs_simp_ret	0.6816	0.1012
402	recall_10	0.0717	0.0303
402	recall_100	0.2914	0.1102
402	recall_1000	0.6725	0.2276
402	recall_15	0.0945	0.0426
402	recall_20	0.1160	0.0513
402	recall_200	0.4053	0.1468
402	recall_30	0.1463	0.0662
402	recall_5	0.0427	0.0168
402	recall_500	0.5718	0.1964
402	recip_rank	0.9308	0.2161
402	relative_P_10	0.5736	0.2426
402	relative_P_100	0.2914	0.1102
402	relative_P_1000	0.6725	0.2276
402	relative_P_15	0.5042	0.2270
402	relative_P_20	0.4641	0.2054
402	relative_P_200	0.4053	0.1468
402	relative_P_30	0.3900	0.1765
402	relative_P_5	0.6836	0.2688
402	relative_P_500	0.5718	0.1964
402	set_F	0.1077	0.0239
402	set_P	0.0650	0.0428
402	set_map	0.0418	0.0177
402	set_recall	0.6725	0.2276
402	set_relative_P	0.6782	0.2156
402	success_1	0.9000	0.3000
402	success_10	0.9818	0.1336
402	success_5	0.9636	0.1872
402	utility	-799.5636	219.7704
403	11pt_avg	0.7794	0.1183
403	G	0.5921	0.1504
403	P_10	0.8845	0.1288
403	P_100	0.2017	0.0156
403	P_1000	0.0208	0.0008
403	P_15	0.8436	0.1316
403	P_20	0.7523	0.1127
403	P_200	0.1025	0.0051
403	P_30	0.5821	0.0779
403	P_5	0.8855	0.1694
403	P_500	0.0414	0.0016
403	Rndcg	0.8421	0.1005
403	Rprec	0.7333	0.1055
403	Rprec_mult_0.20	0.8855	0.1694
403	Rprec_mult_0.40	0.8838	0.1266
403	Rprec_mult_0.60	0.8574	0.1344
403	Rprec_mult_0.80	0.8123	0.1263
403	Rprec_mult_1.00	0.7333	0.1055
403	Rprec_mult_1.20	0.6409	0.0864
403	Rprec_mult_1.40	0.5821	0.0779
403	Rprec_mult_1.60	0.5270	0.0649
403	Rprec_mult_1.80	0.4801	0.0554
403	Rprec_mult_2.00	0.4405	0.0479
403	binG	0.5921	0.1504
403	bpref	0.7570	0.1196
403	infAP	0.7717	0.1337
403	iprec_at_recall_0.00	0.9647	0.0849
403	iprec_at_recall_0.10	0.9461	0.1176
403	iprec_at_recall_0.20	0.9329	0.1275
403	iprec_at_recall_0.30	0.9107	0.1401
403	iprec_at_recall_0.40	0.9000	0.1407
403	iprec_at_recall_0.50	0.8774	0.1464
403	iprec_at_recall_0.60	0.8540	0.1524
403	iprec_at_recall_0.70	0.8165	0.1605
403	iprec_at_recall_0.80	0.6938	0.1730
403	iprec_at_recall_0.90	0.4839	0.1869
403	iprec_at_recall_1.00	0.1937	0.1339
403	map	0.7717	0.1337
403	map_cut_10	0.3851	0.0947
403	map_cut_100	0.7688	0.1356
403	map_cut_1000	0.7717	0.1337
403	map_cut_15	0.5467	0.1315
403	map_cut_20	0.6405	0.1435
403	map_cut_200	0.7709	0.1341
403	map_cut_30	0.7189	0.1463
403	map_cut_5	0.1955	0.0605
403	map_cut_500	0.7716	0.1337
403	ndcg	0.9104	0.0874
403	ndcg_cut_10	0.8740	0.1484
403	ndcg_cut_100	0.8999	0.0972
403	ndcg_cut_1000	0.9104	0.0874
403	ndcg_cut_15	0.8488	0.1399
403	ndcg_cut_20	0.7871	0.1213
403	ndcg_cut_200	0.9061	0.0899
403	ndcg_cut_30	0.8339	0.1184
403	ndcg_cut_5	0.8697	0.1959
403	ndcg_cut_500	0.9098	0.0876
403	ndcg_rel	0.8675	0.1334
403	num_nonrel_judged_ret	262.2636	106.2620
403	num_rel	21.0000	0.0000
403	num_rel_ret	20.7545	0.7768
403	num_ret	813.1636	355.7614
403	prefs_avgjg	0.9787	0.0384
403	prefs_avgjg_Rnonrel	0.0248	0.0024
403	prefs_avgjg_Rnonrel_ret	0.1183	0.0814
403	prefs_avgjg_imp	0.9886	0.0086
403	prefs_avgjg_ret	0.9417	0.0695
403	prefs_num_prefs_ful	21067.1909	825.7466
403	prefs_num_prefs_ful_ret	5268.1545	2257.0098
403	prefs_num_prefs_poss	21525.0000	0.0000
403	prefs_pair	0.9787	0.0384
403	prefs_pair_imp	0.9886	0.0086
403	prefs_pair_ret	0.9417	0.0695
403	prefs_simp	0.9787	0.0384
403	prefs_simp_imp	0.9886	0.0086
403	prefs_simp_ret	0.9417	0.0695
403	recall_10	0.4212	0.0613
403	recall_100	0.9606	0.0743
403	recall_1000	0.9883	0.0370
403	recall_15	0.6026	0.0940
403	recall_20	0.7164	0.1073
403	recall_200	0.9758	0.0484
403	recall_30	0.8316	0.1113
403	recall_5	0.2108	0.0403
403	recall_500	0.9861	0.0376
403	recip_rank	0.8886	0.2259
403	relative_P_10	0.8845	0.1288
403	relative_P_100	0.9606	0.0743
403	relative_P_1000	0.9883	0.0370
403	relative_P_15	0.8436	0.1316
403	relative_P_20	0.7523	0.1127
403	relative_P_200	0.9758	0.0484
403	relative_P_30	0.8316	0.1113
403	relative_P_5	0.8855	0.1694
403	relative_P_500	0.9861	0.0376
403	set_F	0.1002	0.1295
403	set_P	0.0588	0.0850
403	set_map	0.0576	0.0830
403	set_recall	0.9883	0.0370
403	set_relative_P	0.9883	0.0370
403	success_1	0.8000	0.4000
403	success_10	1.0000	0.0000
403	success_5	1.0000	0.0000
403	utility	-771.6545	355.1090
404	11pt_avg	0.1986	0.0661
404	G	0.1140	0.0298
404	P_10	0.2627	0.1519
404	P_100	0.2348	0.0618
404	P_1000	0.1072	0.0273
404	P_15	0.2612	0.1407
404	P_20	0.2641	0.1333
404	P_200	0.2168	0.0485
404	P_30	0.2576	0.1133
404	P_5	0.2964	0.2119
404	P_500	0.1628	0.0393
404	Rndcg	0.4006	0.0993
404	Rprec	0.2249	0.0539
404	Rprec_mult_0.20	0.2574	0.1156
404	Rprec_mult_0.40	0.2485	0.0808
404	Rprec_mult_0.60	0.2380	0.0637
404	Rprec_mult_0.80	0.2302	0.0601
404	Rprec_mult_1.00	0.2249	0.0539
404	Rprec_mult_1.20	0.2199	0.0511
404	Rprec_mult_1.40	0.2170	0.0484
404	Rprec_mult_1.60	0.2105	0.0475
404	Rprec_mult_1.80	0.2050	0.0469
404	Rprec_mult_2.00	0.1997	0.0459
404	binG	0.1140	0.0298
404	bpref	0.1607	0.0408
404	infAP	0.1670	0.0568
404	iprec_at_recall_0.00	0.6605	0.3352
404	iprec_at_recall_0.10	0.2853	0.0855
404	iprec_at_recall_0.20	0.2478	0.0644
404	iprec_at_recall_0.30	0.2254	0.0616
404	iprec_at_recall_0.40	0.1975	0.0737
404	iprec_at_recall_0.50	0.1807	0.0737
404	iprec_at_recall_0.60	0.1593	0.0710
404	iprec_at_recall_0.70	0.1285	0.0719
404	iprec_at_recall_0.80	0.0792	0.0774
404	iprec_at_recall_0.90	0.0197	0.0540
404	iprec_at_recall_1.00	0.0000	0.0000
404	map	0.1670	0.0568
404	map_cut_10	0.0106	0.0079
404	map_cut_100	0.0520	0.0236
404	map_cut_1000	0.1670	0.0568
404	map_cut_15	0.0138	0.0100
404	map_cut_20	0.0170	0.0119
404	map_cut_200	0.0851	0.0320
404	map_cut_30	0.0224	0.0141
404	map_cut_5	0.0075	0.0065
404	map_cut_500	0.1399	0.0489
404	ndcg	0.5646	0.1428
404	ndcg_cut_10	0.2921	0.1757
404	ndcg_cut_100	0.2469	0.0719
404	ndcg_cut_1000	0.5646	0.1428
404	ndcg_cut_15	0.2844	0.1589
404	ndcg_cut_20	0.2824	0.1477
404	ndcg_cut_200	0.2937	0.0724
404	ndcg_cut_30	0.2737	0.1277
404	ndcg_cut_5	0.3273	0.2381
404	ndcg_cut_500	0.4630	0.1141
404	ndcg_rel	0.4112	0.0963
404	num_nonrel_judged_ret	428.2818	97.5393
404	num_rel	142.0000	0.0000
404	num_rel_ret	107.2000	27.3346
404	num_ret	929.1818	215.6465
404	prefs_avgjg	0.6473	0.1583
404	prefs_avgjg_Rnonrel	0.0607	0.0048
404	prefs_avgjg_Rnonrel_ret	0.1293	0.0246
404	prefs_avgjg_imp	0.7732	0.1019
404	prefs_avgjg_ret	0.5536	0.0435
404	prefs_num_prefs_ful	127854.4545	31274.3380
404	prefs_num_prefs_ful_ret	27103.3727	9141.1352
404	prefs_num_prefs_poss	197522.0000	0.0000
404	prefs_pair	0.6473	0.1583
404	prefs_pair_imp	0.7732	0.1019
404	prefs_pair_ret	0.5536	0.0435
404	prefs_simp	0.6473	0.1583
404	prefs_simp_imp	0.7732	0.1019
404	prefs_simp_ret	0.5536	0.0435
404	recall_10	0.0185	0.0107
404	recall_100	0.1654	0.0435
404	recall_1000	0.7549	0.1925
404	recall_15	0.0276	0.0149
404	recall_20	0.0372	0.0188
404	recall_200	0.3053	0.0683
404	recall_30	0.0544	0.0239
404	recall_5	0.0104	0.0075
404	recall_500	0.5732	0.1385
404	recip_rank	0.5933	0.3932
404	relative_P_10	0.2627	0.1519
404	relative_P_100	0.2348	0.0618
404	relative_P_1000	0.7549	0.1925
404	relative_P_15	0.2612	0.1407
404	relative_P_20	0.2641	0.1333
404	relative_P_200	0.3053	0.0683
404	relative_P_30	0.2576	0.1133
404	relative_P_5	0.2964	0.2119
404	relative_P_500	0.5732	0.1385
404	set_F	0.1986	0.0408
404	set_P	0.1168	0.0299
404	set_map	0.0895	0.0256
404	set_recall	0.7549	0.1925
404	set_relative_P	0.7549	0.1925
404	success_1	0.4545	0.4979
404	success_10	0.8636	0.3432
404	success_5	0.7636	0.4248
404	utility	-714.7818	170.9998
405	11pt_avg	0.1718	0.0929
405	G	0.1356	0.0568
405	P_10	0.3373	0.1227
405	P_100	0.1400	0.0632
405	P_1000	0.0223	0.0094
405	P_15	0.3151	0.0997
405	P_20	0.2927	0.0963
405	P_200	0.0833	0.0365
405	P_30	0.2685	0.0956
405	P_5	0.3655	0.1997
405	P_500	0.0406	0.0169
405	Rndcg	0.3532	0.1347
405	Rprec	0.2490	0.0938
405	Rprec_mult_0.20	0.3591	0.1391
405	Rprec_mult_0.40	0.3114	0.0957
405	Rprec_mult_0.60	0.2790	0.0933
405	Rprec_mult_0.80	0.2654	0.0931
405	Rprec_mult_1.00	0.2490	0.0938
405	Rprec_mult_1.20	0.2247	0.0889
405	Rprec_mult_1.40	0.2101	0.0850
405	Rprec_mult_1.60	0.1951	0.0807
405	Rprec_mult_1.80	0.1804	0.0761
405	Rprec_mult_2.00	0.1685	0.0731
405	binG	0.1356	0.0568
405	bpref	0.1834	0.0732
405	infAP	0.1484	0.0910
405	iprec_at_recall_0.00	0.6149	0.2700
405	iprec_at_recall_0.10	0.4061	0.1698
405	iprec_at_recall_0.20	0.2807	0.1515
405	iprec_at_recall_0.30	0.2023	0.1535
405	iprec_at_recall_0.40	0.1335	0.1372
405	iprec_at_recall_0.50	0.1042	0.1267
405	iprec_at_recall_0.60	0.0714	0.1016
405	iprec_at_recall_0.70	0.0479	0.0795
405	iprec_at_recall_0.80	0.0238	0.0443
405	iprec_at_recall_0.90	0.0053	0.0166
405	iprec_at_recall_1.00	0.0000	0.0000
405	map	0.1484	0.0910
405	map_cut_10	0.0464	0.0303
405	map_cut_100	0.1310	0.0813
405	map_cut_1000	0.1484	0.0910
405	map_cut_15	0.0598	0.0345
405	map_cut_20	0.0703	0.0390
405	map_cut_200	0.1400	0.0873
405	map_cut_30	0.0895	0.0505
405	map_cut_5	0.0292	0.0252
405	map_cut_500	0.1464	0.0902
405	ndcg	0.4367	0.1712
405	ndcg_cut_10	0.3362	0.1511
405	ndcg_cut_100	0.3411	0.1396
405	ndcg_cut_1000	0.4367	0.1712
405	ndcg_cut_15	0.3216	0.1236
405	ndcg_cut_20	0.3055	0.1124
405	ndcg_cut_200	0.3756	0.1509
405	ndcg_cut_30	0.2856	0.1080
405	ndcg_cut_5	0.3489	0.2235
405	ndcg_cut_500	0.4164	0.1633
405	ndcg_rel	0.3809	0.1322
405	num_nonrel_judged_ret	322.8273	109.5223
405	num_rel	38.0000	0.0000
405	num_rel_ret	22.3455	9.3948
405	num_ret	913.9727	247.4473
405	prefs_avgjg	0.5524	0.2290
405	prefs_avgjg_Rnonrel	0.0165	0.0020
405	prefs_avgjg_Rnonrel_ret	0.0463	0.0190
405	prefs_avgjg_imp	0.8157	0.0768
405	prefs_avgjg_ret	0.7375	0.0903
405	prefs_num_prefs_ful	31509.7091	13060.6838
405	prefs_num_prefs_ful_ret	6126.8636	4042.6703
405	prefs_num_prefs_poss	57038.0000	0.0000
405	prefs_pair	0.5524	0.2290
405	prefs_pair_imp	0.8157	0.0768
405	prefs_pair_ret	0.7375	0.0903
405	prefs_simp	0.5524	0.2290
405	prefs_simp_imp	0.8157	0.0768
405	prefs_simp_ret	0.7375	0.0903
405	recall_10	0.0887	0.0323
405	recall_100	0.3684	0.1664
405	recall_1000	0.5880	0.2472
405	recall_15	0.1244	0.0393
405	recall_20	0.1541	0.0507
405	recall_200	0.4383	0.1920
405	recall_30	0.2120	0.0755
405	recall_5	0.0481	0.0263
405	recall_500	0.5342	0.2230
405	recip_rank	0.5212	0.3238
405	relative_P_10	0.3373	0.1227
405	relative_P_100	0.3684	0.1664
405	relative_P_1000	0.5880	0.2472
405	relative_P_15	0.3151	0.0997
405	relative_P_20	0.2927	0.0963
405	relative_P_200	0.4383	0.1920
405	relative_P_30	0.2685	0.0956
405	relative_P_5	0.3655	0.1997
405	relative_P_500	0.5342	0.2230
405	set_F	0.0485	0.0176
405	set_P	0.0271	0.0180
405	set_map	0.0162	0.0100
405	set_recall	0.5880	0.2472
405	set_relative_P	0.5892	0.2450
405	success_1	0.2818	0.4499
405	success_10	0.9909	0.0949
405	success_5	0.9273	0.2597
405	utility	-869.2818	237.3721
406	11pt_avg	0.3254	0.1022
406	G	0.2960	0.0634
406	P_10	0.3564	0.1180
406	P_100	0.1001	0.0250
406	P_1000	0.0123	0.0013
406	P_15	0.3200	0.1004
406	P_20	0.2823	0.0676
406	P_200	0.0536	0.0112
406	P_30	0.2200	0.0553
406	P_5	0.4200	0.1234
406	P_500	0.0235	0.0035
406	Rndcg	0.5123	0.1163
406	Rprec	0.3440	0.1106
406	Rprec_mult_0.20	0.5333	0.2020
406	Rprec_mult_0.40	0.4045	0.1261
406	Rprec_mult_0.60	0.3739	0.1162
406	Rprec_mult_0.80	0.3562	0.1233
406	Rprec_mult_1.00	0.3440	0.1106
406	Rprec_mult_1.20	0.3176	0.0924
406	Rprec_mult_1.40	0.2914	0.0740
406	Rprec_mult_1.60	0.2732	0.0660
406	Rprec_mult_1.80	0.2549	0.0637
406	Rprec_mult_2.00	0.2423	0.0613
406	binG	0.2960	0.0634
406	bpref	0.2724	0.0913
406	infAP	0.3018	0.0994
406	iprec_at_recall_0.00	0.7954	0.2390
406	iprec_at_recall_0.10	0.6909	0.2402
406	iprec_at_recall_0.20	0.4629	0.1513
406	iprec_at_recall_0.30	0.4058	0.1603
406	iprec_at_recall_0.40	0.3462	0.1519
406	iprec_at_recall_0.50	0.2743	0.1370
406	iprec_at_recall_0.60	0.2031	0.1103
406	iprec_at_recall_0.70	0.1669	0.1012
406	iprec_at_recall_0.80	0.1032	0.0751
406	iprec_at_recall_0.90	0.0743	0.0691
406	iprec_at_recall_1.00	0.0560	0.0633
406	map	0.3018	0.0994
406	map_cut_10	0.1695	0.0772
406	map_cut_100	0.2941	0.0999
406	map_cut_1000	0.3018	0.0994
406	map_cut_15	0.2079	0.0896
406	map_cut_20	0.2283	0.0873
406	map_cut_200	0.2982	0.1006
406	map_cut_30	0.2493	0.0903
406	map_cut_5	0.1172	0.0512
406	map_cut_500	0.3011	0.0998
406	ndcg	0.6392	0.1142
406	ndcg_cut_10	0.4000	0.1341
406	ndcg_cut_100	0.5867	0.1336
406	ndcg_cut_1000	0.6392	0.1142
406	ndcg_cut_15	0.4010	0.1264
406	ndcg_cut_20	0.4385	0.1161
406	ndcg_cut_200	0.6055	0.1314
406	ndcg_cut_30	0.4765	0.1183
406	ndcg_cut_5	0.4579	0.1483
406	ndcg_cut_500	0.6289	0.1209
406	ndcg_rel	0.5466	0.1250
406	num_nonrel_judged_ret	425.9091	130.2374
406	num_rel	13.0000	0.0000
406	num_rel_ret	12.2727	1.3067
406	num_ret	915.2636	242.9249
406	prefs_avgjg	0.9041	0.1042
406	prefs_avgjg_Rnonrel	0.0067	0.0008
406	prefs_avgjg_Rnonrel_ret	0.0241	0.0137
406	prefs_avgjg_imp	0.9434	0.0461
406	prefs_avgjg_ret	0.8450	0.1009
406	prefs_num_prefs_ful	16537.7727	1905.5845
406	prefs_num_prefs_ful_ret	4588.1091	1776.8867
406	prefs_num_prefs_poss	18291.0000	0.0000
406	prefs_pair	0.9041	0.1042
406	prefs_pair_imp	0.9434	0.0461
406	prefs_pair_ret	0.8450	0.1009
406	prefs_simp	0.9041	0.1042
406	prefs_simp_imp	0.9434	0.0461
406	prefs_simp_ret	0.8450	0.1009
406	recall_10	0.2741	0.0907
406	recall_100	0.7699	0.1925
406	recall_1000	0.9441	0.1005
406	recall_15	0.3692	0.1159
406	recall_20	0.4343	0.1040
406	recall_200	0.8252	0.1726
406	recall_30	0.5077	0.1275
406	recall_5	0.1615	0.0475
406	recall_500	0.9042	0.1341
406	recip_rank	0.7303	0.3007
406	relative_P_10	0.3564	0.1180
406	relative_P_100	0.7699	0.1925
406	relative_P_1000	0.9441	0.1005
406	relative_P_15	0.3692	0.1159
406	relative_P_20	0.4343	0.1040
406	relative_P_200	0.8252	0.1726
406	relative_P_30	0.5077	0.1275
406	relative_P_5	0.4200	0.1234
406	relative_P_500	0.9042	0.1341
406	set_F	0.0332	0.0313
406	set_P	0.0172	0.0178
406	set_map	0.0159	0.0159
406	set_recall	0.9441	0.1005
406	set_relative_P	0.9441	0.1005
406	success_1	0.5364	0.4987
406	success_10	0.9909	0.0949
406	success_5	0.9818	0.1336
406	utility	-890.7182	241.6790
407	11pt_avg	0.2963	0.1095
407	G	0.1791	0.0603
407	P_10	0.6573	0.1687
407	P_100	0.2681	0.0978
407	P_1000	0.0438	0.0126
407	P_15	0.5806	0.1513
407	P_20	0.5391	0.1431
407	P_200	0.1597	0.0523
407	P_30	0.4906	0.1421
407	P_5	0.7455	0.1807
407	P_500	0.0767	0.0228
407	Rndcg	0.4981	0.1354
407	Rprec	0.3376	0.1195
407	Rprec_mult_0.20	0.5909	0.1565
407	Rprec_mult_0.40	0.5016	0.1397
407	Rprec_mult_0.60	0.4359	0.1374
407	Rprec_mult_0.80	0.3778	0.1252
407	Rprec_mult_1.00	0.3376	0.1195
407	Rprec_mult_1.20	0.3058	0.1119
407	Rprec_mult_1.40	0.2744	0.0998
407	Rprec_mult_1.60	0.2530	0.0914
407	Rprec_mult_1.80	0.2332	0.0824
407	Rprec_mult_2.00	0.2164	0.0762
407	binG	0.1791	0.0603
407	bpref	0.2927	0.1079
407	infAP	0.2673	0.1189
407	iprec_at_recall_0.00	0.9848	0.0730
407	iprec_at_recall_0.10	0.6839	0.2455
407	iprec_at_recall_0.20	0.5129	0.2111
407	iprec_at_recall_0.30	0.3913	0.2108
407	iprec_at_recall_0.40	0.2719	0.1969
407	iprec_at_recall_0.50	0.1967	0.1860
407	iprec_at_recall_0.60	0.1318	0.1527
407	iprec_at_recall_0.70	0.0623	0.0871
407	iprec_at_recall_0.80	0.0224	0.0396
407	iprec_at_recall_0.90	0.0012	0.0091
407	iprec_at_recall_1.00	0.0000	0.0000
407	map	0.2673	0.1189
407	map_cut_10	0.0822	0.0292
407	map_cut_100	0.2337	0.1065
407	map_cut_1000	0.2673	0.1189
407	map_cut_15	0.1034	0.0360
407	map_cut_20	0.1219	0.0431
407	map_cut_200	0.2510	0.1137
407	map_cut_30	0.1550	0.0581
407	map_cut_5	0.0500	0.0161
407	map_cut_500	0.2622	0.1172
407	ndcg	0.5822	0.1536
407	ndcg_cut_10	0.7099	0.1548
407	ndcg_cut_100	0.4521	0.1357
407	ndcg_cut_1000	0.5822	0.1536
407	ndcg_cut_15	0.6464	0.1408
407	ndcg_cut_20	0.6075	0.1363
407	ndcg_cut_200	0.4974	0.1413
407	ndcg_cut_30	0.5580	0.1356
407	ndcg_cut_5	0.7839	0.1619
407	ndcg_cut_500	0.5459	0.1461
407	ndcg_rel	0.5729	0.1343
407	num_nonrel_judged_ret	450.5273	132.5757
407	num_rel	68.0000	0.0000
407	num_rel_ret	43.8455	12.6269
407	num_ret	913.9091	247.7199
407	prefs_avgjg	0.5998	0.1740
407	prefs_avgjg_Rnonrel	0.0342	0.0058
407	prefs_avgjg_Rnonrel_ret	0.0870	0.0454
407	prefs_avgjg_imp	0.8032	0.0818
407	prefs_avgjg_ret	0.7642	0.0811
407	prefs_num_prefs_ful	60241.7727	17476.5094
407	prefs_num_prefs_ful_ret	16429.7455	7505.6802
407	prefs_num_prefs_poss	100436.0000	0.0000
407	prefs_pair	0.5998	0.1740
407	prefs_pair_imp	0.8032	0.0818
407	prefs_pair_ret	0.7642	0.0811
407	prefs_simp	0.5998	0.1740
407	prefs_simp_imp	0.8032	0.0818
407	prefs_simp_ret	0.7642	0.0811
407	recall_10	0.0966	0.0248
407	recall_100	0.3943	0.1438
407	recall_1000	0.6448	0.1857
407	recall_15	0.1281	0.0334
407	recall_20	0.1586	0.0421
407	recall_200	0.4698	0.1540
407	recall_30	0.2164	0.0627
407	recall_5	0.0548	0.0133
407	recall_500	0.5643	0.1673
407	recip_rank	0.9689	0.1315
407	relative_P_10	0.6573	0.1687
407	relative_P_100	0.3943	0.1438
407	relative_P_1000	0.6448	0.1857
407	relative_P_15	0.5806	0.1513
407	relative_P_20	0.5391	0.1431
407	relative_P_200	0.4698	0.1540
407	relative_P_30	0.4906	0.1421
407	relative_P_5	0.7455	0.1807
407	relative_P_500	0.5643	0.1673
407	set_F	0.0939	0.0266
407	set_P	0.0574	0.0497
407	set_map	0.0335	0.0127
407	set_recall	0.6448	0.1857
407	set_relative_P	0.6505	0.1729
407	success_1	0.9455	0.2271
407	success_10	1.0000	0.0000
407	success_5	1.0000	0.0000
407	utility	-826.2182	231.7078
408	11pt_avg	0.2426	0.0762
408	G	0.1195	0.0335
408	P_10	0.4045	0.1461
408	P_100	0.3374	0.0800
408	P_1000	0.0731	0.0219
408	P_15	0.3933	0.1168
408	P_20	0.3809	0.1016
408	P_200	0.2507	0.0749
408	P_30	0.3797	0.0805
408	P_5	0.4345	0.2484
408	P_500	0.1297	0.0404
408	Rndcg	0.4359	0.1042
408	Rprec	0.3195	0.0808
408	Rprec_mult_0.20	0.3758	0.0935
408	Rprec_mult_0.40	0.3771	0.0650
408	Rprec_mult_0.60	0.3620	0.0652
408	Rprec_mult_0.80	0.3431	0.0798
408	Rprec_mult_1.00	0.3195	0.0808
408	Rprec_mult_1.20	0.2984	0.0811
408	Rprec_mult_1.40	0.2773	0.0799
408	Rprec_mult_1.60	0.2591	0.0767
408	Rprec_mult_1.80	0.2407	0.0725
408	Rprec_mult_2.00	0.2260	0.0687
408	binG	0.1195	0.0335
408	bpref	0.2528	0.0601
408	infAP	0.2024	0.0731
408	iprec_at_recall_0.00	0.8381	0.2438
408	iprec_at_recall_0.10	0.4442	0.0938
408	iprec_at_recall_0.20	0.3579	0.1389
408	iprec_at_recall_0.30	0.3246	0.1374
408	iprec_at_recall_0.40	0.2576	0.1475
408	iprec_at_recall_0.50	0.2156	0.1447
408	iprec_at_recall_0.60	0.1445	0.1144
408	iprec_at_recall_0.70	0.0668	0.0859
408	iprec_at_recall_0.80	0.0190	0.0433
408	iprec_at_recall_0.90	0.0000	0.0000
408	iprec_at_recall_1.00	0.0000	0.0000
408	map	0.2024	0.0731
408	map_cut_10	0.0228	0.0140
408	map_cut_100	0.1222	0.0394
408	map_cut_1000	0.2024	0.0731
408	map_cut_15	0.0298	0.0154
408	map_cut_20	0.0359	0.0166
408	map_cut_200	0.1687	0.0604
408	map_cut_30	0.0486	0.0198
408	map_cut_5	0.0152	0.0113
408	map_cut_500	0.1950	0.0711
408	ndcg	0.5284	0.1392
408	ndcg_cut_10	0.4460	0.1676
408	ndcg_cut_100	0.3590	0.0770
408	ndcg_cut_1000	0.5284	0.1392
408	ndcg_cut_15	0.4292	0.1236
408	ndcg_cut_20	0.4149	0.1060
408	ndcg_cut_200	0.4161	0.1067
408	ndcg_cut_30	0.4060	0.0901
408	ndcg_cut_5	0.4834	0.2662
408	ndcg_cut_500	0.4915	0.1320
408	ndcg_rel	0.4588	0.1013
408	num_nonrel_judged_ret	342.6000	109.0472
408	num_rel	118.0000	0.0000
408	num_rel_ret	73.0636	21.8617
408	num_ret	914.7091	244.8703
408	prefs_avgjg	0.5624	0.1634
408	prefs_avgjg_Rnonrel	0.0683	0.0089
408	prefs_avgjg_Rnonrel_ret	0.1445	0.0334
408	prefs_avgjg_imp	0.7814	0.0486
408	prefs_avgjg_ret	0.6943	0.0804
408	prefs_num_prefs_ful	76389.9182	22197.5600
408	prefs_num_prefs_ful_ret	19502.6545	9165.7661
408	prefs_num_prefs_poss	135818.0000	0.0000
408	prefs_pair	0.5624	0.1634
408	prefs_pair_imp	0.7814	0.0486
408	prefs_pair_ret	0.6943	0.0804
408	prefs_simp	0.5624	0.1634
408	prefs_simp_imp	0.7814	0.0486
408	prefs_simp_ret	0.6943	0.0804
408	recall_10	0.0343	0.0124
408	recall_100	0.2859	0.0678
408	recall_1000	0.6192	0.1853
408	recall_15	0.0500	0.0148
408	recall_20	0.0645	0.0172
408	recall_200	0.4250	0.1269
408	recall_30	0.0965	0.0205
408	recall_5	0.0184	0.0105
408	recall_500	0.5496	0.1713
408	recip_rank	0.7814	0.3301
408	relative_P_10	0.4045	0.1461
408	relative_P_100	0.3374	0.0800
408	relative_P_1000	0.6192	0.1853
408	relative_P_15	0.3933	0.1168
408	relative_P_20	0.3809	0.1016
408	relative_P_200	0.4250	0.1269
408	relative_P_30	0.3797	0.0805
408	relative_P_5	0.4345	0.2484
408	relative_P_500	0.5496	0.1713
408	set_F	0.1423	0.0292
408	set_P	0.0856	0.0385
408	set_map	0.0518	0.0198
408	set_recall	0.6192	0.1853
408	set_relative_P	0.6223	0.1791
408	success_1	0.6818	0.4658
408	success_10	1.0000	0.0000
408	success_5	0.9364	0.2441
408	utility	-768.5818	212.1895
409	11pt_avg	0.1825	0.0732
409	G	0.1879	0.0624
409	P_10	0.2500	0.1340
409	P_100	0.0900	0.0281
409	P_1000	0.0176	0.0059
409	P_15	0.2188	0.1053
409	P_20	0.1995	0.0761
409	P_200	0.0666	0.0236
409	P_30	0.1646	0.0491
409	P_5	0.3327	0.1912
409	P_500	0.0336	0.0113
409	Rndcg	0.3810	0.1166
409	Rprec	0.1922	0.0695
409	Rprec_mult_0.20	0.3327	0.1912
409	Rprec_mult_0.40	0.2545	0.1384
409	Rprec_mult_0.60	0.2273	0.1116
409	Rprec_mult_0.80	0.2061	0.0849
409	Rprec_mult_1.00	0.1922	0.0695
409	Rprec_mult_1.20	0.1724	0.0570
409	Rprec_mult_1.40	0.1636	0.0488
409	Rprec_mult_1.60	0.1533	0.0430
409	Rprec_mult_1.80	0.1475	0.0424
409	Rprec_mult_2.00	0.1397	0.0418
409	binG	0.1879	0.0624
409	bpref	0.1402	0.0604
409	infAP	0.1570	0.0685
409	iprec_at_recall_0.00	0.7880	0.3129
409	iprec_at_recall_0.10	0.3737	0.2406
409	iprec_at_recall_0.20	0.2530	0.1511
409	iprec_at_recall_0.30	0.1528	0.0960
409	iprec_at_recall_0.40	0.1170	0.0692
409	iprec_at_recall_0.50	0.0854	0.0504
409	iprec_at_recall_0.60	0.0738	0.0465
409	iprec_at_recall_0.70	0.0671	0.0432
409	iprec_at_recall_0.80	0.0511	0.0351
409	iprec_at_recall_0.90	0.0308	0.0286
409	iprec_at_recall_1.00	0.0146	0.0228
409	map	0.1570	0.0685
409	map_cut_10	0.0753	0.0519
409	map_cut_100	0.1282	0.0618
409	map_cut_1000	0.1570	0.0685
409	map_cut_15	0.0860	0.0554
409	map_cut_20	0.0932	0.0549
409	map_cut_200	0.1468	0.0664
409	map_cut_30	0.1016	0.0552
409	map_cut_5	0.0607	0.0441
409	map_cut_500	0.1560	0.0682
409	ndcg	0.5119	0.1546
409	ndcg_cut_10	0.3181	0.1576
409	ndcg_cut_100	0.3634	0.1148
409	ndcg_cut_1000	0.5119	0.1546
409	ndcg_cut_15	0.2820	0.1294
409	ndcg_cut_20	0.2585	0.1035
409	ndcg_cut_200	0.4443	0.1412
409	ndcg_cut_30	0.2700	0.0940
409	ndcg_cut_5	0.4007	0.2092
409	ndcg_cut_500	0.5010	0.1517
409	ndcg_rel	0.4289	0.1325
409	num_nonrel_judged_ret	323.7818	99.6911
409	num_rel	22.0000	0.0000
409	num_rel_ret	17.5636	5.9107
409	num_ret	931.8091	215.6070
409	prefs_avgjg	0.7413	0.2428
409	prefs_avgjg_Rnonrel	0.0092	0.0009
409	prefs_avgjg_Rnonrel_ret	0.0324	0.0082
409	prefs_avgjg_imp	0.8771	0.1004
409	prefs_avgjg_ret	0.7145	0.1028
409	prefs_num_prefs_ful	23713.9909	7765.8256
409	prefs_num_prefs_ful_ret	4396.5727	2039.0843
409	prefs_num_prefs_poss	31988.0000	0.0000
409	prefs_pair	0.7413	0.2428
409	prefs_pair_imp	0.8771	0.1004
409	prefs_pair_ret	0.7145	0.1028
409	prefs_simp	0.7413	0.2428
409	prefs_simp_imp	0.8771	0.1004
409	prefs_simp_ret	0.7145	0.1028
409	recall_10	0.1136	0.0609
409	recall_100	0.4091	0.1275
409	recall_1000	0.7983	0.2687
409	recall_15	0.1492	0.0718
409	recall_20	0.1814	0.0692
409	recall_200	0.6054	0.2143
409	recall_30	0.2244	0.0669
409	recall_5	0.0756	0.0434
409	recall_500	0.7636	0.2570
409	recip_rank	0.7845	0.3176
409	relative_P_10	0.2500	0.1340
409	relative_P_100	0.4091	0.1275
409	relative_P_1000	0.7983	0.2687
409	relative_P_15	0.2188	0.1053
409	relative_P_20	0.1995	0.0761
409	relative_P_200	0.6054	0.2143
409	relative_P_30	0.2244	0.0669
409	relative_P_5	0.3327	0.1912
409	relative_P_500	0.7636	0.2570
409	set_F	   nan	   nan
409	set_P	0.0192	0.0052
409	set_map	0.0161	0.0069
409	set_recall	0.7983	0.2687
409	set_relative_P	0.7983	0.2687
409	success_1	0.6636	0.4725
409	success_10	0.9545	0.2083
409	success_5	0.9545	0.2083
409	utility	-896.6818	208.4352
410	11pt_avg	0.7259	0.1603
410	G	0.4685	0.1317
410	P_10	0.9282	0.1538
410	P_100	0.5385	0.1196
410	P_1000	0.0589	0.0108
410	P_15	0.9115	0.1633
410	P_20	0.9032	0.1555
410	P_200	0.2826	0.0579
410	P_30	0.8755	0.1551
410	P_5	0.9509	0.1482
410	P_500	0.1159	0.0221
410	Rndcg	0.8212	0.1403
410	Rprec	0.6978	0.1452
410	Rprec_mult_0.20	0.9196	0.1628
410	Rprec_mult_0.40	0.8864	0.1567
410	Rprec_mult_0.60	0.8333	0.1485
410	Rprec_mult_0.80	0.7640	0.1496
410	Rprec_mult_1.00	0.6978	0.1452
410	Rprec_mult_1.20	0.6448	0.1420
410	Rprec_mult_1.40	0.5806	0.1290
410	Rprec_mult_1.60	0.5203	0.1144
410	Rprec_mult_1.80	0.4678	0.1019
410	Rprec_mult_2.00	0.4245	0.0916
410	binG	0.4685	0.1317
410	bpref	0.7507	0.1674
410	infAP	0.7421	0.1789
410	iprec_at_recall_0.00	0.9913	0.0904
410	iprec_at_recall_0.10	0.9522	0.1513
410	iprec_at_recall_0.20	0.9316	0.1672
410	iprec_at_recall_0.30	0.9088	0.1707
410	iprec_at_recall_0.40	0.8896	0.1716
410	iprec_at_recall_0.50	0.8149	0.2404
410	iprec_at_recall_0.60	0.7547	0.2512
410	iprec_at_recall_0.70	0.6728	0.2682
410	iprec_at_recall_0.80	0.5672	0.3118
410	iprec_at_recall_0.90	0.4706	0.3168
410	iprec_at_recall_1.00	0.0317	0.0656
410	map	0.7421	0.1789
410	map_cut_10	0.1406	0.0267
410	map_cut_100	0.7200	0.1819
410	map_cut_1000	0.7421	0.1789
410	map_cut_15	0.2052	0.0434
410	map_cut_20	0.2682	0.0576
410	map_cut_200	0.7368	0.1806
410	map_cut_30	0.3842	0.0856
410	map_cut_5	0.0730	0.0118
410	map_cut_500	0.7408	0.1793
410	ndcg	0.8861	0.1493
410	ndcg_cut_10	0.9427	0.1385
410	ndcg_cut_100	0.8437	0.1593
410	ndcg_cut_1000	0.8861	0.1493
410	ndcg_cut_15	0.9283	0.1469
410	ndcg_cut_20	0.9199	0.1443
410	ndcg_cut_200	0.8682	0.1559
410	ndcg_cut_30	0.8969	0.1458
410	ndcg_cut_5	0.9617	0.1303
410	ndcg_cut_500	0.8794	0.1513
410	ndcg_rel	0.8777	0.1338
410	num_nonrel_judged_ret	166.8182	68.4678
410	num_rel	65.0000	0.0000
410	num_rel_ret	58.9273	10.7929
410	num_ret	914.2364	246.5412
410	prefs_avgjg	0.8980	0.1654
410	prefs_avgjg_Rnonrel	0.0524	0.0083
410	prefs_avgjg_Rnonrel_ret	0.3709	0.1414
410	prefs_avgjg_imp	0.9776	0.0459
410	prefs_avgjg_ret	0.8959	0.0901
410	prefs_num_prefs_ful	85160.7000	15682.4490
410	prefs_num_prefs_ful_ret	9395.3636	4518.8726
410	prefs_num_prefs_poss	94835.0000	0.0000
410	prefs_pair	0.8980	0.1654
410	prefs_pair_imp	0.9776	0.0459
410	prefs_pair_ret	0.8959	0.0901
410	prefs_simp	0.8980	0.1654
410	prefs_simp_imp	0.9776	0.0459
410	prefs_simp_ret	0.8959	0.0901
410	recall_10	0.1428	0.0236
410	recall_100	0.8284	0.1840
410	recall_1000	0.9066	0.1660
410	recall_15	0.2104	0.0377
410	recall_20	0.2779	0.0479
410	recall_200	0.8696	0.1783
410	recall_30	0.4041	0.0716
410	recall_5	0.0731	0.0114
410	recall_500	0.8916	0.1697
410	recip_rank	0.9913	0.0904
410	relative_P_10	0.9282	0.1538
410	relative_P_100	0.8284	0.1840
410	relative_P_1000	0.9066	0.1660
410	relative_P_15	0.9115	0.1633
410	relative_P_20	0.9032	0.1555
410	relative_P_200	0.8696	0.1783
410	relative_P_30	0.8755	0.1551
410	relative_P_5	0.9509	0.1482
410	relative_P_500	0.8916	0.1697
410	set_F	0.1348	0.0745
410	set_P	0.0837	0.1085
410	set_map	0.0681	0.0455
410	set_recall	0.9066	0.1660
410	set_relative_P	0.9142	0.1532
410	success_1	0.9909	0.0949
410	success_10	0.9909	0.0949
410	success_5	0.9909	0.0949
410	utility	-796.3818	229.8867
411	11pt_avg	0.2707	0.0988
411	G	0.2085	0.0691
411	P_10	0.4845	0.1805
411	P_100	0.1140	0.0380
411	P_1000	0.0160	0.0050
411	P_15	0.4212	0.1593
411	P_20	0.3718	0.1329
411	P_200	0.0640	0.0202
411	P_30	0.2851	0.0956
411	P_5	0.5909	0.1970
411	P_500	0.0298	0.0097
411	Rndcg	0.4582	0.1218
411	Rprec	0.3061	0.1057
411	Rprec_mult_0.20	0.5606	0.1930
411	Rprec_mult_0.40	0.4645	0.1744
411	Rprec_mult_0.60	0.3995	0.1456
411	Rprec_mult_0.80	0.3496	0.1230
411	Rprec_mult_1.00	0.3061	0.1057
411	Rprec_mult_1.20	0.2636	0.0890
411	Rprec_mult_1.40	0.2402	0.0815
411	Rprec_mult_1.60	0.2159	0.0741
411	Rprec_mult_1.80	0.1982	0.0675
411	Rprec_mult_2.00	0.1843	0.0626
411	binG	0.2085	0.0691
411	bpref	0.2600	0.0973
411	infAP	0.2363	0.1024
411	iprec_at_recall_0.00	0.9353	0.1778
411	iprec_at_recall_0.10	0.7416	0.2608
411	iprec_at_recall_0.20	0.4888	0.2474
411	iprec_at_recall_0.30	0.3744	0.2645
411	iprec_at_recall_0.40	0.2337	0.2236
411	iprec_at_recall_0.50	0.1240	0.1372
411	iprec_at_recall_0.60	0.0540	0.0658
411	iprec_at_recall_0.70	0.0229	0.0311
411	iprec_at_recall_0.80	0.0025	0.0098
411	iprec_at_recall_0.90	0.0002	0.0024
411	iprec_at_recall_1.00	0.0000	0.0000
411	map	0.2363	0.1024
411	map_cut_10	0.1407	0.0654
411	map_cut_100	0.2263	0.1008
411	map_cut_1000	0.2363	0.1024
411	map_cut_15	0.1699	0.0814
411	map_cut_20	0.1884	0.0870
411	map_cut_200	0.2312	0.1011
411	map_cut_30	0.2034	0.0931
411	map_cut_5	0.0962	0.0420
411	map_cut_500	0.2353	0.1023
411	ndcg	0.5237	0.1353
411	ndcg_cut_10	0.5558	0.1765
411	ndcg_cut_100	0.4572	0.1263
411	ndcg_cut_1000	0.5237	0.1353
411	ndcg_cut_15	0.4972	0.1560
411	ndcg_cut_20	0.4514	0.1357
411	ndcg_cut_200	0.4802	0.1265
411	ndcg_cut_30	0.3995	0.1146
411	ndcg_cut_5	0.6514	0.2013
411	ndcg_cut_500	0.5097	0.1347
411	ndcg_rel	0.5428	0.1365
411	num_nonrel_judged_ret	376.3091	134.7938
411	num_rel	27.0000	0.0000
411	num_rel_ret	16.0182	5.0434
411	num_ret	914.1455	246.7954
411	prefs_avgjg	0.5729	0.1772
411	prefs_avgjg_Rnonrel	0.0097	0.0013
411	prefs_avgjg_Rnonrel_ret	0.0377	0.0199
411	prefs_avgjg_imp	0.8581	0.0680
411	prefs_avgjg_ret	0.8166	0.1107
411	prefs_num_prefs_ful	31383.4091	9706.2489
411	prefs_num_prefs_ful_ret	5390.0636	3002.7947
411	prefs_num_prefs_poss	54783.0000	0.0000
411	prefs_pair	0.5729	0.1772
411	prefs_pair_imp	0.8581	0.0680
411	prefs_pair_ret	0.8166	0.1107
411	prefs_simp	0.5729	0.1772
411	prefs_simp_imp	0.8581	0.0680
411	prefs_simp_ret	0.8166	0.1107
411	recall_10	0.1795	0.0669
411	recall_100	0.4222	0.1406
411	recall_1000	0.5933	0.1868
411	recall_15	0.2340	0.0885
411	recall_20	0.2754	0.0984
411	recall_200	0.4741	0.1497
411	recall_30	0.3168	0.1062
411	recall_5	0.1094	0.0365
411	recall_500	0.5512	0.1796
411	recip_rank	0.9254	0.2020
411	relative_P_10	0.4845	0.1805
411	relative_P_100	0.4222	0.1406
411	relative_P_1000	0.5933	0.1868
411	relative_P_15	0.4212	0.1593
411	relative_P_20	0.3718	0.1329
411	relative_P_200	0.4741	0.1497
411	relative_P_30	0.3168	0.1062
411	relative_P_5	0.5909	0.1970
411	relative_P_500	0.5512	0.1796
411	set_F	0.0381	0.0180
411	set_P	0.0207	0.0142
411	set_map	0.0118	0.0052
411	set_recall	0.5933	0.1868
411	set_relative_P	0.5933	0.1868
411	success_1	0.8727	0.3333
411	success_10	0.9909	0.0949
411	success_5	0.9909	0.0949
411	utility	-882.1091	242.0450
412	11pt_avg	0.1961	0.1435
412	G	0.1104	0.0664
412	P_10	0.4782	0.3342
412	P_100	0.2515	0.1650
412	P_1000	0.0630	0.0281
412	P_15	0.4570	0.3203
412	P_20	0.4400	0.3072
412	P_200	0.1778	0.1090
412	P_30	0.3961	0.2769
412	P_5	0.5073	0.3605
412	P_500	0.1026	0.0523
412	Rndcg	0.3554	0.1945
412	Rprec	0.2292	0.1497
412	Rprec_mult_0.20	0.4164	0.2869
412	Rprec_mult_0.40	0.3420	0.2278
412	Rprec_mult_0.60	0.2913	0.1941
412	Rprec_mult_0.80	0.2530	0.1662
412	Rprec_mult_1.00	0.2292	0.1497
412	Rprec_mult_1.20	0.2109	0.1351
412	Rprec_mult_1.40	0.1934	0.1217
412	Rprec_mult_1.60	0.1795	0.1104
412	Rprec_mult_1.80	0.1669	0.1009
412	Rprec_mult_2.00	0.1582	0.0935
412	binG	0.1104	0.0664
412	bpref	0.2070	0.1404
412	infAP	0.1724	0.1423
412	iprec_at_recall_0.00	0.6759	0.3650
412	iprec_at_recall_0.10	0.4544	0.3256
412	iprec_at_recall_0.20	0.3259	0.2753
412	iprec_at_recall_0.30	0.2494	0.2335
412	iprec_at_recall_0.40	0.1788	0.1849
412	iprec_at_recall_0.50	0.1366	0.1575
412	iprec_at_recall_0.60	0.0849	0.1092
412	iprec_at_recall_0.70	0.0420	0.0777
412	iprec_at_recall_0.80	0.0088	0.0348
412	iprec_at_recall_0.90	0.0000	0.0000
412	iprec_at_recall_1.00	0.0000	0.0000
412	map	0.1724	0.1423
412	map_cut_10	0.0306	0.0259
412	map_cut_100	0.1190	0.1064
412	map_cut_1000	0.1724	0.1423
412	map_cut_15	0.0425	0.0361
412	map_cut_20	0.0532	0.0459
412	map_cut_200	0.1434	0.1277
412	map_cut_30	0.0690	0.0596
412	map_cut_5	0.0168	0.0145
412	map_cut_500	0.1640	0.1392
412	ndcg	0.4406	0.2183
412	ndcg_cut_10	0.4795	0.3345
412	ndcg_cut_100	0.2924	0.1904
412	ndcg_cut_1000	0.4406	0.2183
412	ndcg_cut_15	0.4651	0.3237
412	ndcg_cut_20	0.4525	0.3129
412	ndcg_cut_200	0.3117	0.1936
412	ndcg_cut_30	0.4192	0.2888
412	ndcg_cut_5	0.4945	0.3614
412	ndcg_cut_500	0.3897	0.2122
412	ndcg_rel	0.4141	0.2109
412	num_nonrel_judged_ret	359.3636	123.4896
412	num_rel	123.0000	0.0000
412	num_rel_ret	63.0182	28.0930
412	num_ret	925.0182	219.2197
412	prefs_avgjg	0.4798	0.2179
412	prefs_avgjg_Rnonrel	0.0406	0.0084
412	prefs_avgjg_Rnonrel_ret	0.1223	0.0671
412	prefs_avgjg_imp	0.7715	0.1524
412	prefs_avgjg_ret	0.6183	0.1657
412	prefs_num_prefs_ful	117439.6909	53338.3562
412	prefs_num_prefs_ful_ret	16732.8000	10869.4777
412	prefs_num_prefs_poss	244770.0000	0.0000
412	prefs_pair	0.4798	0.2179
412	prefs_pair_imp	0.7715	0.1524
412	prefs_pair_ret	0.6183	0.1657
412	prefs_simp	0.4798	0.2179
412	prefs_simp_imp	0.7715	0.1524
412	prefs_simp_ret	0.6183	0.1657
412	recall_10	0.0389	0.0272
412	recall_100	0.2045	0.1342
412	recall_1000	0.5123	0.2284
412	recall_15	0.0557	0.0391
412	recall_20	0.0716	0.0499
412	recall_200	0.2891	0.1772
412	recall_30	0.0966	0.0675
412	recall_5	0.0206	0.0147
412	recall_500	0.4171	0.2127
412	recip_rank	0.5881	0.3914
412	relative_P_10	0.4782	0.3342
412	relative_P_100	0.2515	0.1650
412	relative_P_1000	0.5123	0.2284
412	relative_P_15	0.4570	0.3203
412	relative_P_20	0.4400	0.3072
412	relative_P_200	0.2891	0.1772
412	relative_P_30	0.3961	0.2769
412	relative_P_5	0.5073	0.3605
412	relative_P_500	0.4171	0.2127
412	set_F	0.1224	0.0537
412	set_P	0.0713	0.0349
412	set_map	0.0414	0.0278
412	set_recall	0.5123	0.2284
412	set_relative_P	0.5123	0.2284
412	success_1	0.4364	0.4959
412	success_10	0.8182	0.3857
412	success_5	0.7818	0.4130
412	utility	-798.9818	204.5806
413	11pt_avg	0.2065	0.1351
413	G	0.1525	0.0779
413	P_10	0.4400	0.2927
413	P_100	0.1915	0.0984
413	P_1000	0.0484	0.0129
413	P_15	0.4079	0.2708
413	P_20	0.3768	0.2431
413	P_200	0.1357	0.0565
413	P_30	0.3206	0.2037
413	P_5	0.5109	0.3287
413	P_500	0.0788	0.0250
413	Rndcg	0.4020	0.1625
413	Rprec	0.2271	0.1201
413	Rprec_mult_0.20	0.4169	0.2764
413	Rprec_mult_0.40	0.3295	0.2093
413	Rprec_mult_0.60	0.2792	0.1640
413	Rprec_mult_0.80	0.2500	0.1385
413	Rprec_mult_1.00	0.2271	0.1201
413	Rprec_mult_1.20	0.2083	0.1076
413	Rprec_mult_1.40	0.1939	0.0998
413	Rprec_mult_1.60	0.1826	0.0935
413	Rprec_mult_1.80	0.1730	0.0848
413	Rprec_mult_2.00	0.1634	0.0768
413	binG	0.1525	0.0779
413	bpref	0.1860	0.1173
413	infAP	0.1824	0.1350
413	iprec_at_recall_0.00	0.7023	0.3415
413	iprec_at_recall_0.10	0.4569	0.3074
413	iprec_at_recall_0.20	0.3312	0.2627
413	iprec_at_recall_0.30	0.2398	0.2098
413	iprec_at_recall_0.40	0.1804	0.1649
413	iprec_at_recall_0.50	0.1394	0.1245
413	iprec_at_recall_0.60	0.1019	0.0939
413	iprec_at_recall_0.70	0.0682	0.0812
413	iprec_at_recall_0.80	0.0355	0.0690
413	iprec_at_recall_0.90	0.0155	0.0598
413	iprec_at_recall_1.00	0.0000	0.0000
413	map	0.1824	0.1350
413	map_cut_10	0.0496	0.0440
413	map_cut_100	0.1336	0.1184
413	map_cut_1000	0.1824	0.1350
413	map_cut_15	0.0653	0.0604
413	map_cut_20	0.0765	0.0712
413	map_cut_200	0.1544	0.1301
413	map_cut_30	0.0913	0.0865
413	map_cut_5	0.0309	0.0256
413	map_cut_500	0.1741	0.1344
413	ndcg	0.5289	0.1781
413	ndcg_cut_10	0.4647	0.3087
413	ndcg_cut_100	0.3086	0.1664
413	ndcg_cut_1000	0.5289	0.1781
413	ndcg_cut_15	0.4377	0.2869
413	ndcg_cut_20	0.4118	0.2649
413	ndcg_cut_200	0.3779	0.1775
413	ndcg_cut_30	0.3648	0.2317
413	ndcg_cut_5	0.5166	0.3476
413	ndcg_cut_500	0.4695	0.1812
413	ndcg_rel	0.4576	0.1763
413	num_nonrel_judged_ret	504.5364	139.9057
413	num_rel	69.0000	0.0000
413	num_rel_ret	48.4455	12.9247
413	num_ret	931.8182	215.6098
413	prefs_avgjg	0.6280	0.1729
413	prefs_avgjg_Rnonrel	0.0282	0.0049
413	prefs_avgjg_Rnonrel_ret	0.0640	0.0223
413	prefs_avgjg_imp	0.7917	0.0742
413	prefs_avgjg_ret	0.6625	0.1012
413	prefs_num_prefs_ful	69030.9909	19002.4373
413	prefs_num_prefs_ful_ret	17718.3909	8372.1241
413	prefs_num_prefs_poss	109917.0000	0.0000
413	prefs_pair	0.6280	0.1729
413	prefs_pair_imp	0.7917	0.0742
413	prefs_pair_ret	0.6625	0.1012
413	prefs_simp	0.6280	0.1729
413	prefs_simp_imp	0.7917	0.0742
413	prefs_simp_ret	0.6625	0.1012
413	recall_10	0.0638	0.0424
413	recall_100	0.2775	0.1426
413	recall_1000	0.7021	0.1873
413	recall_15	0.0887	0.0589
413	recall_20	0.1092	0.0705
413	recall_200	0.3934	0.1638
413	recall_30	0.1394	0.0886
413	recall_5	0.0370	0.0238
413	recall_500	0.5707	0.1814
413	recip_rank	0.6543	0.3697
413	relative_P_10	0.4400	0.2927
413	relative_P_100	0.2775	0.1426
413	relative_P_1000	0.7021	0.1873
413	relative_P_15	0.4079	0.2708
413	relative_P_20	0.3768	0.2431
413	relative_P_200	0.3934	0.1638
413	relative_P_30	0.3206	0.2037
413	relative_P_5	0.5109	0.3287
413	relative_P_500	0.5707	0.1814
413	set_F	0.0975	0.0180
413	set_P	0.0531	0.0111
413	set_map	0.0377	0.0137
413	set_recall	0.7021	0.1873
413	set_relative_P	0.7021	0.1873
413	success_1	0.5091	0.4999
413	success_10	0.9273	0.2597
413	success_5	0.8364	0.3699
413	utility	-834.9273	196.5561
414	11pt_avg	0.2355	0.0671
414	G	0.1856	0.0377
414	P_10	0.3518	0.0861
414	P_100	0.1883	0.0384
414	P_1000	0.0341	0.0060
414	P_15	0.3303	0.0864
414	P_20	0.2986	0.0758
414	P_200	0.1285	0.0234
414	P_30	0.2739	0.0679
414	P_5	0.4800	0.1623
414	P_500	0.0637	0.0115
414	Rndcg	0.4487	0.0907
414	Rprec	0.2490	0.0624
414	Rprec_mult_0.20	0.3795	0.1091
414	Rprec_mult_0.40	0.3210	0.0810
414	Rprec_mult_0.60	0.2909	0.0688
414	Rprec_mult_0.80	0.2659	0.0659
414	Rprec_mult_1.00	0.2490	0.0624
414	Rprec_mult_1.20	0.2389	0.0566
414	Rprec_mult_1.40	0.2264	0.0514
414	Rprec_mult_1.60	0.2212	0.0496
414	Rprec_mult_1.80	0.2126	0.0465
414	Rprec_mult_2.00	0.2054	0.0446
414	binG	0.1856	0.0377
414	bpref	0.1877	0.0471
414	infAP	0.2098	0.0623
414	iprec_at_recall_0.00	0.7642	0.2688
414	iprec_at_recall_0.10	0.4415	0.1498
414	iprec_at_recall_0.20	0.3079	0.0943
414	iprec_at_recall_0.30	0.2544	0.0887
414	iprec_at_recall_0.40	0.2269	0.0731
414	iprec_at_recall_0.50	0.1939	0.0653
414	iprec_at_recall_0.60	0.1590	0.0569
414	iprec_at_recall_0.70	0.1209	0.0580
414	iprec_at_recall_0.80	0.0832	0.0467
414	iprec_at_recall_0.90	0.0352	0.0346
414	iprec_at_recall_1.00	0.0039	0.0160
414	map	0.2098	0.0623
414	map_cut_10	0.0548	0.0233
414	map_cut_100	0.1618	0.0547
414	map_cut_1000	0.2098	0.0623
414	map_cut_15	0.0691	0.0269
414	map_cut_20	0.0783	0.0312
414	map_cut_200	0.1904	0.0597
414	map_cut_30	0.0967	0.0378
414	map_cut_5	0.0422	0.0235
414	map_cut_500	0.2068	0.0622
414	ndcg	0.6077	0.1122
414	ndcg_cut_10	0.3904	0.1166
414	ndcg_cut_100	0.4286	0.0907
414	ndcg_cut_1000	0.6077	0.1122
414	ndcg_cut_15	0.3670	0.0998
414	ndcg_cut_20	0.3397	0.0909
414	ndcg_cut_200	0.5166	0.1014
414	ndcg_cut_30	0.3133	0.0826
414	ndcg_cut_5	0.4809	0.1981
414	ndcg_cut_500	0.5856	0.1114
414	ndcg_rel	0.4714	0.0907
414	num_nonrel_judged_ret	395.6273	98.7236
414	num_rel	39.0000	0.0000
414	num_rel_ret	34.1455	6.0375
414	num_ret	915.2182	243.1136
414	prefs_avgjg	0.8037	0.1371
414	prefs_avgjg_Rnonrel	0.0202	0.0014
414	prefs_avgjg_Rnonrel_ret	0.0568	0.0145
414	prefs_avgjg_imp	0.8861	0.0310
414	prefs_avgjg_ret	0.7355	0.0671
414	prefs_num_prefs_ful	39713.8000	6775.3663
414	prefs_num_prefs_ful_ret	10461.6636	3581.3502
414	prefs_num_prefs_poss	49413.0000	0.0000
414	prefs_pair	0.8037	0.1371
414	prefs_pair_imp	0.8861	0.0310
414	prefs_pair_ret	0.7355	0.0671
414	prefs_simp	0.8037	0.1371
414	prefs_simp_imp	0.8861	0.0310
414	prefs_simp_ret	0.7355	0.0671
414	recall_10	0.0902	0.0221
414	recall_100	0.4827	0.0986
414	recall_1000	0.8755	0.1548
414	recall_15	0.1270	0.0332
414	recall_20	0.1531	0.0389
414	recall_200	0.6592	0.1199
414	recall_30	0.2107	0.0523
414	recall_5	0.0615	0.0208
414	recall_500	0.8172	0.1471
414	recip_rank	0.6947	0.3331
414	relative_P_10	0.3518	0.0861
414	relative_P_100	0.4827	0.0986
414	relative_P_1000	0.8755	0.1548
414	relative_P_15	0.3303	0.0864
414	relative_P_20	0.2986	0.0758
414	relative_P_200	0.6592	0.1199
414	relative_P_30	0.2739	0.0679
414	relative_P_5	0.4800	0.1623
414	relative_P_500	0.8172	0.1471
414	set_F	0.0783	0.0290
414	set_P	0.0421	0.0189
414	set_map	0.0350	0.0092
414	set_recall	0.8755	0.1548
414	set_relative_P	0.8755	0.1548
414	success_1	0.5273	0.4993
414	success_10	0.9909	0.0949
414	success_5	0.9818	0.1336
414	utility	-846.9273	233.3642
415	11pt_avg	0.3854	0.1366
415	G	0.2076	0.0790
415	P_10	0.8945	0.1320
415	P_100	0.4800	0.1160
415	P_1000	0.0899	0.0299
415	P_15	0.8509	0.1404
415	P_20	0.8127	0.1493
415	P_200	0.3239	0.0913
415	P_30	0.7545	0.1514
415	P_5	0.9291	0.1516
415	P_500	0.1618	0.0532
415	Rndcg	0.5677	0.1349
415	Rprec	0.4075	0.1046
415	Rprec_mult_0.20	0.7594	0.1510
415	Rprec_mult_0.40	0.6221	0.1351
415	Rprec_mult_0.60	0.5261	0.1211
415	Rprec_mult_0.80	0.4612	0.1132
415	Rprec_mult_1.00	0.4075	0.1046
415	Rprec_mult_1.20	0.3664	0.0984
415	Rprec_mult_1.40	0.3328	0.0924
415	Rprec_mult_1.60	0.3065	0.0894
415	Rprec_mult_1.80	0.2835	0.0837
415	Rprec_mult_2.00	0.2635	0.0803
415	binG	0.2076	0.0790
415	bpref	0.3875	0.1203
415	infAP	0.3702	0.1515
415	iprec_at_recall_0.00	0.9902	0.0639
415	iprec_at_recall_0.10	0.8595	0.1509
415	iprec_at_recall_0.20	0.6995	0.2180
415	iprec_at_recall_0.30	0.5566	0.2167
415	iprec_at_recall_0.40	0.3799	0.2407
415	iprec_at_recall_0.50	0.2872	0.2210
415	iprec_at_recall_0.60	0.2021	0.2000
415	iprec_at_recall_0.70	0.1374	0.1838
415	iprec_at_recall_0.80	0.0838	0.1506
415	iprec_at_recall_0.90	0.0431	0.0991
415	iprec_at_recall_1.00	0.0000	0.0000
415	map	0.3702	0.1515
415	map_cut_10	0.0632	0.0128
415	map_cut_100	0.2718	0.0929
415	map_cut_1000	0.3702	0.1515
415	map_cut_15	0.0886	0.0200
415	map_cut_20	0.1110	0.0274
415	map_cut_200	0.3265	0.1256
415	map_cut_30	0.1496	0.0406
415	map_cut_5	0.0336	0.0067
415	map_cut_500	0.3609	0.1484
415	ndcg	0.6478	0.1725
415	ndcg_cut_10	0.9108	0.1238
415	ndcg_cut_100	0.5578	0.1098
415	ndcg_cut_1000	0.6478	0.1725
415	ndcg_cut_15	0.8779	0.1248
415	ndcg_cut_20	0.8480	0.1294
415	ndcg_cut_200	0.5363	0.1226
415	ndcg_cut_30	0.7996	0.1306
415	ndcg_cut_5	0.9371	0.1451
415	ndcg_cut_500	0.6114	0.1605
415	ndcg_rel	0.6583	0.1329
415	num_nonrel_judged_ret	261.3636	69.7280
415	num_rel	136.0000	0.0000
415	num_rel_ret	89.8909	29.9379
415	num_ret	914.7636	244.6800
415	prefs_avgjg	0.6219	0.2038
415	prefs_avgjg_Rnonrel	0.0908	0.0152
415	prefs_avgjg_Rnonrel_ret	0.2605	0.0725
415	prefs_avgjg_imp	0.8412	0.0677
415	prefs_avgjg_ret	0.7509	0.0658
415	prefs_num_prefs_ful	99205.3545	32514.3282
415	prefs_num_prefs_ful_ret	18631.3000	8305.1397
415	prefs_num_prefs_poss	159528.0000	0.0000
415	prefs_pair	0.6219	0.2038
415	prefs_pair_imp	0.8412	0.0677
415	prefs_pair_ret	0.7509	0.0658
415	prefs_simp	0.6219	0.2038
415	prefs_simp_imp	0.8412	0.0677
415	prefs_simp_ret	0.7509	0.0658
415	recall_10	0.0658	0.0097
415	recall_100	0.3529	0.0853
415	recall_1000	0.6610	0.2201
415	recall_15	0.0938	0.0155
415	recall_20	0.1195	0.0220
415	recall_200	0.4763	0.1343
415	recall_30	0.1664	0.0334
415	recall_5	0.0342	0.0056
415	recall_500	0.5950	0.1955
415	recip_rank	0.9680	0.1371
415	relative_P_10	0.8945	0.1320
415	relative_P_100	0.4800	0.1160
415	relative_P_1000	0.6610	0.2201
415	relative_P_15	0.8509	0.1404
415	relative_P_20	0.8127	0.1493
415	relative_P_200	0.4763	0.1343
415	relative_P_30	0.7545	0.1514
415	relative_P_5	0.9291	0.1516
415	relative_P_500	0.5950	0.1955
415	set_F	0.1749	0.0524
415	set_P	0.1065	0.0427
415	set_map	0.0712	0.0355
415	set_recall	0.6610	0.2201
415	set_relative_P	0.6632	0.2150
415	success_1	0.9455	0.2271
415	success_10	1.0000	0.0000
415	success_5	0.9909	0.0949
415	utility	-734.9818	215.6947
416	11pt_avg	0.3209	0.0748
416	G	0.1973	0.0388
416	P_10	0.3800	0.1069
416	P_100	0.2558	0.0420
416	P_1000	0.0365	0.0072
416	P_15	0.3794	0.1107
416	P_20	0.3914	0.0946
416	P_200	0.1619	0.0345
416	P_30	0.3988	0.0674
416	P_5	0.3364	0.1808
416	P_500	0.0710	0.0144
416	Rndcg	0.5126	0.0864
416	Rprec	0.3808	0.0594
416	Rprec_mult_0.20	0.3838	0.1087
416	Rprec_mult_0.40	0.3914	0.0979
416	Rprec_mult_0.60	0.4003	0.0827
416	Rprec_mult_0.80	0.3998	0.0611
416	Rprec_mult_1.00	0.3808	0.0594
416	Rprec_mult_1.20	0.3586	0.0540
416	Rprec_mult_1.40	0.3333	0.0490
416	Rprec_mult_1.60	0.3152	0.0481
416	Rprec_mult_1.80	0.3017	0.0485
416	Rprec_mult_2.00	0.2841	0.0446
416	binG	0.1973	0.0388
416	bpref	0.2959	0.0523
416	infAP	0.2931	0.0771
416	iprec_at_recall_0.00	0.7081	0.2379
416	iprec_at_recall_0.10	0.4807	0.0931
416	iprec_at_recall_0.20	0.4602	0.0875
416	iprec_at_recall_0.30	0.4321	0.0913
416	iprec_at_recall_0.40	0.3916	0.0980
416	iprec_at_recall_0.50	0.3300	0.0986
416	iprec_at_recall_0.60	0.2494	0.1127
416	iprec_at_recall_0.70	0.2010	0.1159
416	iprec_at_recall_0.80	0.1496	0.1073
416	iprec_at_recall_0.90	0.1086	0.0953
416	iprec_at_recall_1.00	0.0182	0.0442
416	map	0.2931	0.0771
416	map_cut_10	0.0466	0.0221
416	map_cut_100	0.2443	0.0595
416	map_cut_1000	0.2931	0.0771
416	map_cut_15	0.0661	0.0282
416	map_cut_20	0.0873	0.0331
416	map_cut_200	0.2823	0.0756
416	map_cut_30	0.1277	0.0373
416	map_cut_5	0.0254	0.0190
416	map_cut_500	0.2919	0.0771
416	ndcg	0.6453	0.1185
416	ndcg_cut_10	0.3741	0.1216
416	ndcg_cut_100	0.5190	0.0842
416	ndcg_cut_1000	0.6453	0.1185
416	ndcg_cut_15	0.3748	0.1058
416	ndcg_cut_20	0.3837	0.0904
416	ndcg_cut_200	0.6028	0.1152
416	ndcg_cut_30	0.3907	0.0722
416	ndcg_cut_5	0.3462	0.1926
416	ndcg_cut_500	0.6364	0.1179
416	ndcg_rel	0.4919	0.0787
416	num_nonrel_judged_ret	244.1091	62.8233
416	num_rel	42.0000	0.0000
416	num_rel_ret	36.4636	7.2421
416	num_ret	914.8182	244.4629
416	prefs_avgjg	0.8275	0.1607
416	prefs_avgjg_Rnonrel	0.0266	0.0018
416	prefs_avgjg_Rnonrel_ret	0.1106	0.0492
416	prefs_avgjg_imp	0.9253	0.0475
416	prefs_avgjg_ret	0.7643	0.0670
416	prefs_num_prefs_ful	41461.6636	8052.7729
416	prefs_num_prefs_ful_ret	7169.7636	2659.3879
416	prefs_num_prefs_poss	50106.0000	0.0000
416	prefs_pair	0.8275	0.1607
416	prefs_pair_imp	0.9253	0.0475
416	prefs_pair_ret	0.7643	0.0670
416	prefs_simp	0.8275	0.1607
416	prefs_simp_imp	0.9253	0.0475
416	prefs_simp_ret	0.7643	0.0670
416	recall_10	0.0904	0.0254
416	recall_100	0.6091	0.1001
416	recall_1000	0.8682	0.1724
416	recall_15	0.1355	0.0396
416	recall_20	0.1864	0.0450
416	recall_200	0.7710	0.1642
416	recall_30	0.2848	0.0481
416	recall_5	0.0400	0.0215
416	recall_500	0.8452	0.1711
416	recip_rank	0.6042	0.3182
416	relative_P_10	0.3800	0.1069
416	relative_P_100	0.6091	0.1001
416	relative_P_1000	0.8682	0.1724
416	relative_P_15	0.3794	0.1107
416	relative_P_20	0.3914	0.0946
416	relative_P_200	0.7710	0.1642
416	relative_P_30	0.3988	0.0674
416	relative_P_5	0.3364	0.1808
416	relative_P_500	0.8452	0.1711
416	set_F	0.0884	0.0559
416	set_P	0.0493	0.0447
416	set_map	0.0404	0.0238
416	set_recall	0.8682	0.1724
416	set_relative_P	0.8682	0.1724
416	success_1	0.3727	0.4835
416	success_10	1.0000	0.0000
416	success_5	0.9455	0.2271
416	utility	-841.8909	236.8420
417	11pt_avg	0.2656	0.1281
417	G	0.1648	0.0711
417	P_10	0.5655	0.2651
417	P_100	0.2521	0.1049
417	P_1000	0.0507	0.0168
417	P_15	0.5218	0.2383
417	P_20	0.4850	0.2218
417	P_200	0.1674	0.0638
417	P_30	0.4397	0.1898
417	P_5	0.6473	0.2929
417	P_500	0.0863	0.0307
417	Rndcg	0.4625	0.1739
417	Rprec	0.2939	0.1240
417	Rprec_mult_0.20	0.5218	0.2383
417	Rprec_mult_0.40	0.4397	0.1898
417	Rprec_mult_0.60	0.3774	0.1651
417	Rprec_mult_0.80	0.3282	0.1420
417	Rprec_mult_1.00	0.2939	0.1240
417	Rprec_mult_1.20	0.2675	0.1129
417	Rprec_mult_1.40	0.2456	0.1020
417	Rprec_mult_1.60	0.2280	0.0939
417	Rprec_mult_1.80	0.2122	0.0868
417	Rprec_mult_2.00	0.1991	0.0797
417	binG	0.1648	0.0711
417	bpref	0.2595	0.1091
417	infAP	0.2390	0.1311
417	iprec_at_recall_0.00	0.8591	0.2783
417	iprec_at_recall_0.10	0.5773	0.2877
417	iprec_at_recall_0.20	0.4547	0.2543
417	iprec_at_recall_0.30	0.3436	0.2079
417	iprec_at_recall_0.40	0.2521	0.1678
417	iprec_at_recall_0.50	0.1810	0.1347
417	iprec_at_recall_0.60	0.1292	0.1012
417	iprec_at_recall_0.70	0.0790	0.0704
417	iprec_at_recall_0.80	0.0396	0.0500
417	iprec_at_recall_0.90	0.0054	0.0192
417	iprec_at_recall_1.00	0.0000	0.0000
417	map	0.2390	0.1311
417	map_cut_10	0.0631	0.0376
417	map_cut_100	0.1882	0.1101
417	map_cut_1000	0.2390	0.1311
417	map_cut_15	0.0823	0.0480
417	map_cut_20	0.0977	0.0577
417	map_cut_200	0.2140	0.1222
417	map_cut_30	0.1232	0.0713
417	map_cut_5	0.0385	0.0216
417	map_cut_500	0.2316	0.1289
417	ndcg	0.5682	0.2013
417	ndcg_cut_10	0.6068	0.2734
417	ndcg_cut_100	0.3856	0.1599
417	ndcg_cut_1000	0.5682	0.2013
417	ndcg_cut_15	0.5681	0.2512
417	ndcg_cut_20	0.5357	0.2364
417	ndcg_cut_200	0.4532	0.1773
417	ndcg_cut_30	0.4928	0.2093
417	ndcg_cut_5	0.6716	0.3012
417	ndcg_cut_500	0.5215	0.1930
417	ndcg_rel	0.5245	0.1884
417	num_nonrel_judged_ret	370.3818	120.8469
417	num_rel	75.0000	0.0000
417	num_rel_ret	50.6636	16.8309
417	num_ret	931.8182	215.6098
417	prefs_avgjg	0.6513	0.2154
417	prefs_avgjg_Rnonrel	0.0188	0.0028
417	prefs_avgjg_Rnonrel_ret	0.0978	0.0278
417	prefs_avgjg_imp	0.9015	0.0875
417	prefs_avgjg_ret	0.7061	0.1025
417	prefs_num_prefs_ful	142491.5818	47134.2375
417	prefs_num_prefs_ful_ret	15233.1364	7784.5295
417	prefs_num_prefs_poss	218775.0000	0.0000
417	prefs_pair	0.6513	0.2154
417	prefs_pair_imp	0.9015	0.0875
417	prefs_pair_ret	0.7061	0.1025
417	prefs_simp	0.6513	0.2154
417	prefs_simp_imp	0.9015	0.0875
417	prefs_simp_ret	0.7061	0.1025
417	recall_10	0.0754	0.0353
417	recall_100	0.3361	0.1398
417	recall_1000	0.6755	0.2244
417	recall_15	0.1044	0.0477
417	recall_20	0.1293	0.0591
417	recall_200	0.4463	0.1703
417	recall_30	0.1759	0.0759
417	recall_5	0.0431	0.0195
417	recall_500	0.5753	0.2044
417	recip_rank	0.8342	0.3107
417	relative_P_10	0.5655	0.2651
417	relative_P_100	0.3361	0.1398
417	relative_P_1000	0.6755	0.2244
417	relative_P_15	0.5218	0.2383
417	relative_P_20	0.4850	0.2218
417	relative_P_200	0.4463	0.1703
417	relative_P_30	0.4397	0.1898
417	relative_P_5	0.6473	0.2929
417	relative_P_500	0.5753	0.2044
417	set_F	0.1023	0.0312
417	set_P	0.0563	0.0192
417	set_map	0.0398	0.0167
417	set_recall	0.6755	0.2244
417	set_relative_P	0.6755	0.2244
417	success_1	0.7636	0.4248
417	success_10	0.9455	0.2271
417	success_5	0.9364	0.2441
417	utility	-830.4909	198.5486
418	11pt_avg	0.3519	0.1713
418	G	0.1650	0.0665
418	P_10	0.6309	0.1600
418	P_100	0.3488	0.1533
418	P_1000	0.0890	0.0379
418	P_15	0.5176	0.1299
418	P_20	0.4614	0.1243
418	P_200	0.3112	0.1518
418	P_30	0.4136	0.1230
418	P_5	0.8182	0.2594
418	P_500	0.1668	0.0787
418	Rndcg	0.5241	0.2027
418	Rprec	0.3431	0.1578
418	Rprec_mult_0.20	0.4447	0.1271
418	Rprec_mult_0.40	0.3783	0.1322
418	Rprec_mult_0.60	0.3649	0.1438
418	Rprec_mult_0.80	0.3501	0.1507
418	Rprec_mult_1.00	0.3431	0.1578
418	Rprec_mult_1.20	0.3301	0.1568
418	Rprec_mult_1.40	0.3222	0.1543
418	Rprec_mult_1.60	0.3143	0.1519
418	Rprec_mult_1.80	0.3077	0.1518
418	Rprec_mult_2.00	0.2999	0.1506
418	binG	0.1650	0.0665
418	bpref	0.3091	0.1367
418	infAP	0.3296	0.1757
418	iprec_at_recall_0.00	0.9161	0.2068
418	iprec_at_recall_0.10	0.4432	0.1831
418	iprec_at_recall_0.20	0.3685	0.1862
418	iprec_at_recall_0.30	0.3428	0.1962
418	iprec_at_recall_0.40	0.3273	0.2007
418	iprec_at_recall_0.50	0.3153	0.2034
418	iprec_at_recall_0.60	0.2809	0.2101
418	iprec_at_recall_0.70	0.2698	0.2042
418	iprec_at_recall_0.80	0.2572	0.1998
418	iprec_at_recall_0.90	0.2381	0.1996
418	iprec_at_recall_1.00	0.1112	0.1736
418	map	0.3296	0.1757
418	map_cut_10	0.0484	0.0162
418	map_cut_100	0.1633	0.0767
418	map_cut_1000	0.3296	0.1757
418	map_cut_15	0.0561	0.0173
418	map_cut_20	0.0631	0.0201
418	map_cut_200	0.2614	0.1416
418	map_cut_30	0.0767	0.0256
418	map_cut_5	0.0335	0.0135
418	map_cut_500	0.3244	0.1789
418	ndcg	0.6592	0.2609
418	ndcg_cut_10	0.6932	0.1899
418	ndcg_cut_100	0.3982	0.1487
418	ndcg_cut_1000	0.6592	0.2609
418	ndcg_cut_15	0.6026	0.1526
418	ndcg_cut_20	0.5509	0.1451
418	ndcg_cut_200	0.5211	0.2217
418	ndcg_cut_30	0.4973	0.1368
418	ndcg_cut_5	0.8243	0.2758
418	ndcg_cut_500	0.6340	0.2702
418	ndcg_rel	0.5276	0.1762
418	num_nonrel_judged_ret	244.3000	84.8101
418	num_rel	116.0000	0.0000
418	num_rel_ret	88.9636	37.9274
418	num_ret	913.7091	248.4490
418	prefs_avgjg	0.7284	0.3095
418	prefs_avgjg_Rnonrel	0.0525	0.0117
418	prefs_avgjg_Rnonrel_ret	0.2293	0.0968
418	prefs_avgjg_imp	0.8794	0.1525
418	prefs_avgjg_ret	0.6763	0.1217
418	prefs_num_prefs_ful	137900.9636	58587.6997
418	prefs_num_prefs_ful_ret	16909.4182	10142.5599
418	prefs_num_prefs_poss	189312.0000	0.0000
418	prefs_pair	0.7284	0.3095
418	prefs_pair_imp	0.8794	0.1525
418	prefs_pair_ret	0.6763	0.1217
418	prefs_simp	0.7284	0.3095
418	prefs_simp_imp	0.8794	0.1525
418	prefs_simp_ret	0.6763	0.1217
418	recall_10	0.0544	0.0138
418	recall_100	0.3007	0.1321
418	recall_1000	0.7669	0.3270
418	recall_15	0.0669	0.0168
418	recall_20	0.0795	0.0214
418	recall_200	0.5365	0.2618
418	recall_30	0.1070	0.0318
418	recall_5	0.0353	0.0112
418	recall_500	0.7188	0.3390
418	recip_rank	0.8789	0.2685
418	relative_P_10	0.6309	0.1600
418	relative_P_100	0.3488	0.1533
418	relative_P_1000	0.7669	0.3270
418	relative_P_15	0.5176	0.1299
418	relative_P_20	0.4614	0.1243
418	relative_P_200	0.5365	0.2618
418	relative_P_30	0.4136	0.1230
418	relative_P_5	0.8182	0.2594
418	relative_P_500	0.7188	0.3390
418	set_F	0.1755	0.0801
418	set_P	0.1107	0.0753
418	set_map	0.0877	0.0455
418	set_recall	0.7669	0.3270
418	set_relative_P	0.7757	0.3129
418	success_1	0.8182	0.3857
418	success_10	0.9727	0.1629
418	success_5	0.9636	0.1872
418	utility	-735.7818	222.6505
419	11pt_avg	0.1733	0.0789
419	G	0.1783	0.0536
419	P_10	0.2345	0.1124
419	P_100	0.0634	0.0228
419	P_1000	0.0101	0.0026
419	P_15	0.2067	0.0912
419	P_20	0.1764	0.0741
419	P_200	0.0369	0.0122
419	P_30	0.1464	0.0581
419	P_5	0.3145	0.1778
419	P_500	0.0177	0.0047
419	Rndcg	0.3448	0.0975
419	Rprec	0.2006	0.0868
419	Rprec_mult_0.20	0.3682	0.2124
419	Rprec_mult_0.40	0.2766	0.1379
419	Rprec_mult_0.60	0.2345	0.1124
419	Rprec_mult_0.80	0.2161	0.1040
419	Rprec_mult_1.00	0.2006	0.0868
419	Rprec_mult_1.20	0.1764	0.0741
419	Rprec_mult_1.40	0.1624	0.0660
419	Rprec_mult_1.60	0.1531	0.0609
419	Rprec_mult_1.80	0.1473	0.0581
419	Rprec_mult_2.00	0.1423	0.0571
419	binG	0.1783	0.0536
419	bpref	0.1511	0.0713
419	infAP	0.1456	0.0720
419	iprec_at_recall_0.00	0.7747	0.2879
419	iprec_at_recall_0.10	0.4839	0.2915
419	iprec_at_recall_0.20	0.2341	0.1937
419	iprec_at_recall_0.30	0.1714	0.1493
419	iprec_at_recall_0.40	0.1140	0.1219
419	iprec_at_recall_0.50	0.0812	0.0888
419	iprec_at_recall_0.60	0.0352	0.0464
419	iprec_at_recall_0.70	0.0097	0.0138
419	iprec_at_recall_0.80	0.0021	0.0058
419	iprec_at_recall_0.90	0.0000	0.0000
419	iprec_at_recall_1.00	0.0000	0.0000
419	map	0.1456	0.0720
419	map_cut_10	0.0930	0.0551
419	map_cut_100	0.1382	0.0726
419	map_cut_1000	0.1456	0.0720
419	map_cut_15	0.1063	0.0592
419	map_cut_20	0.1126	0.0612
419	map_cut_200	0.1419	0.0726
419	map_cut_30	0.1230	0.0659
419	map_cut_5	0.0754	0.0483
419	map_cut_500	0.1444	0.0725
419	ndcg	0.4313	0.1092
419	ndcg_cut_10	0.2973	0.1242
419	ndcg_cut_100	0.3561	0.1209
419	ndcg_cut_1000	0.4313	0.1092
419	ndcg_cut_15	0.2644	0.0991
419	ndcg_cut_20	0.2704	0.0965
419	ndcg_cut_200	0.3802	0.1211
419	ndcg_cut_30	0.3003	0.1066
419	ndcg_cut_5	0.3733	0.1816
419	ndcg_cut_500	0.4095	0.1152
419	ndcg_rel	0.4134	0.1166
419	num_nonrel_judged_ret	424.5182	134.7805
419	num_rel	16.0000	0.0000
419	num_rel_ret	10.1364	2.6163
419	num_ret	913.8909	247.7860
419	prefs_avgjg	0.5914	0.1464
419	prefs_avgjg_Rnonrel	0.0059	0.0007
419	prefs_avgjg_Rnonrel_ret	0.0203	0.0333
419	prefs_avgjg_imp	0.8209	0.0658
419	prefs_avgjg_ret	0.7567	0.1316
419	prefs_num_prefs_ful	15650.1545	3873.3303
419	prefs_num_prefs_ful_ret	3434.1636	1586.0770
419	prefs_num_prefs_poss	26464.0000	0.0000
419	prefs_pair	0.5914	0.1464
419	prefs_pair_imp	0.8209	0.0658
419	prefs_pair_ret	0.7567	0.1316
419	prefs_simp	0.5914	0.1464
419	prefs_simp_imp	0.8209	0.0658
419	prefs_simp_ret	0.7567	0.1316
419	recall_10	0.1466	0.0702
419	recall_100	0.3960	0.1423
419	recall_1000	0.6335	0.1635
419	recall_15	0.1938	0.0855
419	recall_20	0.2205	0.0926
419	recall_200	0.4614	0.1526
419	recall_30	0.2744	0.1089
419	recall_5	0.0983	0.0556
419	recall_500	0.5545	0.1477
419	recip_rank	0.7381	0.3140
419	relative_P_10	0.2345	0.1124
419	relative_P_100	0.3960	0.1423
419	relative_P_1000	0.6335	0.1635
419	relative_P_15	0.2067	0.0912
419	relative_P_20	0.2205	0.0926
419	relative_P_200	0.4614	0.1526
419	relative_P_30	0.2744	0.1089
419	relative_P_5	0.3145	0.1778
419	relative_P_500	0.5545	0.1477
419	set_F	0.0277	0.0339
419	set_P	0.0169	0.0369
419	set_map	0.0089	0.0091
419	set_recall	0.6335	0.1635
419	set_relative_P	0.6342	0.1621
419	success_1	0.5636	0.4959
419	success_10	0.9818	0.1336
419	success_5	0.9273	0.2597
419	utility	-893.6182	244.7129
420	11pt_avg	0.3864	0.1083
420	G	0.2913	0.0817
420	P_10	0.6955	0.2234
420	P_100	0.1778	0.0404
420	P_1000	0.0290	0.0051
420	P_15	0.6279	0.1810
420	P_20	0.5495	0.1490
420	P_200	0.1113	0.0219
420	P_30	0.4109	0.1027
420	P_5	0.7327	0.2355
420	P_500	0.0547	0.0097
420	Rndcg	0.5930	0.1192
420	Rprec	0.3823	0.0925
420	Rprec_mult_0.20	0.7130	0.2417
420	Rprec_mult_0.40	0.6442	0.1843
420	Rprec_mult_0.60	0.5495	0.1490
420	Rprec_mult_0.80	0.4438	0.1099
420	Rprec_mult_1.00	0.3823	0.0925
420	Rprec_mult_1.20	0.3330	0.0742
420	Rprec_mult_1.40	0.2990	0.0690
420	Rprec_mult_1.60	0.2772	0.0633
420	Rprec_mult_1.80	0.2508	0.0576
420	Rprec_mult_2.00	0.2342	0.0541
420	binG	0.2913	0.0817
420	bpref	0.3486	0.0963
420	infAP	0.3650	0.1151
420	iprec_at_recall_0.00	0.9486	0.1610
420	iprec_at_recall_0.10	0.7958	0.2358
420	iprec_at_recall_0.20	0.7504	0.2373
420	iprec_at_recall_0.30	0.6786	0.2362
420	iprec_at_recall_0.40	0.4047	0.1991
420	iprec_at_recall_0.50	0.2411	0.1335
420	iprec_at_recall_0.60	0.1726	0.0910
420	iprec_at_recall_0.70	0.1313	0.0782
420	iprec_at_recall_0.80	0.0772	0.0568
420	iprec_at_recall_0.90	0.0496	0.0393
420	iprec_at_recall_1.00	0.0000	0.0000
420	map	0.3650	0.1151
420	map_cut_10	0.1790	0.0746
420	map_cut_100	0.3293	0.1132
420	map_cut_1000	0.3650	0.1151
420	map_cut_15	0.2326	0.0902
420	map_cut_20	0.2624	0.0973
420	map_cut_200	0.3497	0.1156
420	map_cut_30	0.2828	0.1014
420	map_cut_5	0.0995	0.0410
420	map_cut_500	0.3627	0.1153
420	ndcg	0.7106	0.1317
420	ndcg_cut_10	0.7200	0.2092
420	ndcg_cut_100	0.5650	0.1268
420	ndcg_cut_1000	0.7106	0.1317
420	ndcg_cut_15	0.6695	0.1809
420	ndcg_cut_20	0.6101	0.1581
420	ndcg_cut_200	0.6294	0.1305
420	ndcg_cut_30	0.5000	0.1227
420	ndcg_cut_5	0.7535	0.2238
420	ndcg_cut_500	0.6926	0.1314
420	ndcg_rel	0.6688	0.1427
420	num_nonrel_judged_ret	442.2909	122.0233
420	num_rel	33.0000	0.0000
420	num_rel_ret	29.0000	5.1399
420	num_ret	914.4091	245.6619
420	prefs_avgjg	0.8041	0.1378
420	prefs_avgjg_Rnonrel	0.0242	0.0028
420	prefs_avgjg_Rnonrel_ret	0.0627	0.0558
420	prefs_avgjg_imp	0.8729	0.0917
420	prefs_avgjg_ret	0.7847	0.0991
420	prefs_num_prefs_ful	29270.2182	5015.8603
420	prefs_num_prefs_ful_ret	10660.5545	3527.9673
420	prefs_num_prefs_poss	36399.0000	0.0000
420	prefs_pair	0.8041	0.1378
420	prefs_pair_imp	0.8729	0.0917
420	prefs_pair_ret	0.7847	0.0991
420	prefs_simp	0.8041	0.1378
420	prefs_simp_imp	0.8729	0.0917
420	prefs_simp_ret	0.7847	0.0991
420	recall_10	0.2107	0.0677
420	recall_100	0.5389	0.1224
420	recall_1000	0.8788	0.1558
420	recall_15	0.2854	0.0823
420	recall_20	0.3330	0.0903
420	recall_200	0.6744	0.1327
420	recall_30	0.3735	0.0934
420	recall_5	0.1110	0.0357
420	recall_500	0.8292	0.1471
420	recip_rank	0.9168	0.2111
420	relative_P_10	0.6955	0.2234
420	relative_P_100	0.5389	0.1224
420	relative_P_1000	0.8788	0.1558
420	relative_P_15	0.6279	0.1810
420	relative_P_20	0.5495	0.1490
420	relative_P_200	0.6744	0.1327
420	relative_P_30	0.4109	0.1027
420	relative_P_5	0.7327	0.2355
420	relative_P_500	0.8292	0.1471
420	set_F	   nan	   nan
420	set_P	0.0392	0.0394
420	set_map	0.0323	0.0194
420	set_recall	0.8788	0.1558
420	set_relative_P	0.8788	0.1558
420	success_1	0.8545	0.3526
420	success_10	0.9818	0.1336
420	success_5	0.9818	0.1336
420	utility	-856.4091	237.9660
421	11pt_avg	0.0522	0.0460
421	G	0.0633	0.0264
421	P_10	0.0964	0.1167
421	P_100	0.0714	0.0607
421	P_1000	0.0376	0.0130
421	P_15	0.1012	0.1096
421	P_20	0.1014	0.1023
421	P_200	0.0603	0.0360
421	P_30	0.0991	0.1034
421	P_5	0.0891	0.1586
421	P_500	0.0476	0.0212
421	Rndcg	0.1799	0.0907
421	Rprec	0.0763	0.0709
421	Rprec_mult_0.20	0.1048	0.1050
421	Rprec_mult_0.40	0.0933	0.0972
421	Rprec_mult_0.60	0.0887	0.0889
421	Rprec_mult_0.80	0.0792	0.0769
421	Rprec_mult_1.00	0.0763	0.0709
421	Rprec_mult_1.20	0.0714	0.0607
421	Rprec_mult_1.40	0.0695	0.0551
421	Rprec_mult_1.60	0.0667	0.0508
421	Rprec_mult_1.80	0.0644	0.0458
421	Rprec_mult_2.00	0.0626	0.0419
421	binG	0.0633	0.0264
421	bpref	0.0520	0.0552
421	infAP	0.0388	0.0360
421	iprec_at_recall_0.00	0.2406	0.2482
421	iprec_at_recall_0.10	0.1018	0.0986
421	iprec_at_recall_0.20	0.0814	0.0869
421	iprec_at_recall_0.30	0.0630	0.0576
421	iprec_at_recall_0.40	0.0424	0.0390
421	iprec_at_recall_0.50	0.0283	0.0365
421	iprec_at_recall_0.60	0.0135	0.0320
421	iprec_at_recall_0.70	0.0029	0.0224
421	iprec_at_recall_0.80	0.0000	0.0000
421	iprec_at_recall_0.90	0.0000	0.0000
421	iprec_at_recall_1.00	0.0000	0.0000
421	map	0.0388	0.0360
421	map_cut_10	0.0042	0.0071
421	map_cut_100	0.0173	0.0266
421	map_cut_1000	0.0388	0.0360
421	map_cut_15	0.0058	0.0088
421	map_cut_20	0.0071	0.0103
421	map_cut_200	0.0220	0.0296
421	map_cut_30	0.0096	0.0148
421	map_cut_5	0.0028	0.0055
421	map_cut_500	0.0310	0.0339
421	ndcg	0.2800	0.1118
421	ndcg_cut_10	0.0904	0.1172
421	ndcg_cut_100	0.0865	0.0782
421	ndcg_cut_1000	0.2800	0.1118
421	ndcg_cut_15	0.0951	0.1092
421	ndcg_cut_20	0.0964	0.1033
421	ndcg_cut_200	0.1237	0.0855
421	ndcg_cut_30	0.0958	0.1019
421	ndcg_cut_5	0.0840	0.1455
421	ndcg_cut_500	0.2003	0.1026
421	ndcg_rel	0.2290	0.0878
421	num_nonrel_judged_ret	548.6818	152.1470
421	num_rel	83.0000	0.0000
421	num_rel_ret	37.6182	12.9657
421	num_ret	918.9636	232.1148
421	prefs_avgjg	0.3772	0.1346
421	prefs_avgjg_Rnonrel	0.0257	0.0026
421	prefs_avgjg_Rnonrel_ret	0.0361	0.0136
421	prefs_avgjg_imp	0.5959	0.0979
421	prefs_avgjg_ret	0.4914	0.1116
421	prefs_num_prefs_ful	52602.3182	18760.9138
421	prefs_num_prefs_ful_ret	11464.5636	6526.4506
421	prefs_num_prefs_poss	139440.0000	0.0000
421	prefs_pair	0.3772	0.1346
421	prefs_pair_imp	0.5959	0.0979
421	prefs_pair_ret	0.4914	0.1116
421	prefs_simp	0.3772	0.1346
421	prefs_simp_imp	0.5959	0.0979
421	prefs_simp_ret	0.4914	0.1116
421	recall_10	0.0116	0.0141
421	recall_100	0.0860	0.0731
421	recall_1000	0.4532	0.1562
421	recall_15	0.0183	0.0198
421	recall_20	0.0244	0.0247
421	recall_200	0.1452	0.0867
421	recall_30	0.0358	0.0374
421	recall_5	0.0054	0.0095
421	recall_500	0.2865	0.1277
421	recip_rank	0.1905	0.2372
421	relative_P_10	0.0964	0.1167
421	relative_P_100	0.0860	0.0731
421	relative_P_1000	0.4532	0.1562
421	relative_P_15	0.1012	0.1096
421	relative_P_20	0.1014	0.1023
421	relative_P_200	0.1452	0.0867
421	relative_P_30	0.0991	0.1034
421	relative_P_5	0.0891	0.1586
421	relative_P_500	0.2865	0.1277
421	set_F	0.0746	0.0188
421	set_P	0.0413	0.0106
421	set_map	0.0196	0.0102
421	set_recall	0.4532	0.1562
421	set_relative_P	0.4532	0.1562
421	success_1	0.0455	0.2083
421	success_10	0.5364	0.4987
421	success_5	0.3000	0.4583
421	utility	-843.7273	214.6578
422	11pt_avg	0.3186	0.1492
422	G	0.1556	0.0735
422	P_10	0.6464	0.3266
422	P_100	0.4568	0.1778
422	P_1000	0.0926	0.0294
422	P_15	0.6455	0.3184
422	P_20	0.6350	0.2987
422	P_200	0.3124	0.1062
422	P_30	0.6176	0.2652
422	P_5	0.6436	0.3541
422	P_500	0.1628	0.0531
422	Rndcg	0.4948	0.1714
422	Rprec	0.3675	0.1318
422	Rprec_mult_0.20	0.6161	0.2646
422	Rprec_mult_0.40	0.5477	0.2376
422	Rprec_mult_0.60	0.4737	0.1892
422	Rprec_mult_0.80	0.4154	0.1546
422	Rprec_mult_1.00	0.3675	0.1318
422	Rprec_mult_1.20	0.3293	0.1136
422	Rprec_mult_1.40	0.3000	0.1014
422	Rprec_mult_1.60	0.2740	0.0913
422	Rprec_mult_1.80	0.2533	0.0838
422	Rprec_mult_2.00	0.2346	0.0772
422	binG	0.1556	0.0735
422	bpref	0.3441	0.1299
422	infAP	0.2987	0.1567
422	iprec_at_recall_0.00	0.8251	0.2758
422	iprec_at_recall_0.10	0.6742	0.2914
422	iprec_at_recall_0.20	0.5822	0.2922
422	iprec_at_recall_0.30	0.5066	0.2851
422	iprec_at_recall_0.40	0.3889	0.2558
422	iprec_at_recall_0.50	0.2810	0.1995
422	iprec_at_recall_0.60	0.1689	0.1248
422	iprec_at_recall_0.70	0.0723	0.0852
422	iprec_at_recall_0.80	0.0059	0.0270
422	iprec_at_recall_0.90	0.0000	0.0000
422	iprec_at_recall_1.00	0.0000	0.0000
422	map	0.2987	0.1567
422	map_cut_10	0.0364	0.0236
422	map_cut_100	0.2109	0.1287
422	map_cut_1000	0.2987	0.1567
422	map_cut_15	0.0535	0.0343
422	map_cut_20	0.0687	0.0435
422	map_cut_200	0.2568	0.1446
422	map_cut_30	0.0965	0.0603
422	map_cut_5	0.0190	0.0124
422	map_cut_500	0.2886	0.1533
422	ndcg	0.5716	0.1897
422	ndcg_cut_10	0.6482	0.3361
422	ndcg_cut_100	0.4968	0.2014
422	ndcg_cut_1000	0.5716	0.1897
422	ndcg_cut_15	0.6473	0.3267
422	ndcg_cut_20	0.6399	0.3120
422	ndcg_cut_200	0.4492	0.1622
422	ndcg_cut_30	0.6267	0.2820
422	ndcg_cut_5	0.6479	0.3612
422	ndcg_cut_500	0.5298	0.1806
422	ndcg_rel	0.5657	0.2048
422	num_nonrel_judged_ret	329.8909	97.2052
422	num_rel	152.0000	0.0000
422	num_rel_ret	92.6364	29.3588
422	num_ret	915.4545	242.2910
422	prefs_avgjg	0.5822	0.1835
422	prefs_avgjg_Rnonrel	0.0597	0.0105
422	prefs_avgjg_Rnonrel_ret	0.2116	0.0713
422	prefs_avgjg_imp	0.8579	0.0749
422	prefs_avgjg_ret	0.7283	0.0897
422	prefs_num_prefs_ful	174242.8545	54933.7233
422	prefs_num_prefs_ful_ret	24738.8818	12239.4288
422	prefs_num_prefs_poss	299288.0000	0.0000
422	prefs_pair	0.5822	0.1835
422	prefs_pair_imp	0.8579	0.0749
422	prefs_pair_ret	0.7283	0.0897
422	prefs_simp	0.5822	0.1835
422	prefs_simp_imp	0.8579	0.0749
422	prefs_simp_ret	0.7283	0.0897
422	recall_10	0.0425	0.0215
422	recall_100	0.3005	0.1169
422	recall_1000	0.6094	0.1932
422	recall_15	0.0637	0.0314
422	recall_20	0.0836	0.0393
422	recall_200	0.4110	0.1398
422	recall_30	0.1219	0.0523
422	recall_5	0.0212	0.0116
422	recall_500	0.5356	0.1746
422	recip_rank	0.7566	0.3559
422	relative_P_10	0.6464	0.3266
422	relative_P_100	0.4568	0.1778
422	relative_P_1000	0.6094	0.1932
422	relative_P_15	0.6455	0.3184
422	relative_P_20	0.6350	0.2987
422	relative_P_200	0.4110	0.1398
422	relative_P_30	0.6176	0.2652
422	relative_P_5	0.6436	0.3541
422	relative_P_500	0.5356	0.1746
422	set_F	0.1780	0.0533
422	set_P	0.1092	0.0429
422	set_map	0.0676	0.0271
422	set_recall	0.6094	0.1932
422	set_relative_P	0.6101	0.1913
422	success_1	0.6636	0.4725
422	success_10	0.9455	0.2271
422	success_5	0.8727	0.3333
422	utility	-730.1818	215.0202
423	11pt_avg	0.6027	0.1151
423	G	0.4600	0.0773
423	P_10	0.8327	0.0992
423	P_100	0.1595	0.0288
423	P_1000	0.0196	0.0026
423	P_15	0.7515	0.1271
423	P_20	0.6186	0.1076
423	P_200	0.0865	0.0129
423	P_30	0.4494	0.0761
423	P_5	0.8655	0.0976
423	P_500	0.0376	0.0049
423	Rndcg	0.7532	0.0823
423	Rprec	0.5944	0.1041
423	Rprec_mult_0.20	0.8655	0.0976
423	Rprec_mult_0.40	0.8344	0.0920
423	Rprec_mult_0.60	0.7874	0.1117
423	Rprec_mult_0.80	0.6925	0.1246
423	Rprec_mult_1.00	0.5944	0.1041
423	Rprec_mult_1.20	0.5066	0.0874
423	Rprec_mult_1.40	0.4494	0.0761
423	Rprec_mult_1.60	0.4078	0.0686
423	Rprec_mult_1.80	0.3737	0.0638
423	Rprec_mult_2.00	0.3437	0.0595
423	binG	0.4600	0.0773
423	bpref	0.5776	0.1095
423	infAP	0.5917	0.1167
423	iprec_at_recall_0.00	0.9915	0.0269
423	iprec_at_recall_0.10	0.9579	0.0571
423	iprec_at_recall_0.20	0.9220	0.0692
423	iprec_at_recall_0.30	0.8697	0.1111
423	iprec_at_recall_0.40	0.8035	0.2112
423	iprec_at_recall_0.50	0.7398	0.2466
423	iprec_at_recall_0.60	0.6084	0.2926
423	iprec_at_recall_0.70	0.3935	0.2444
423	iprec_at_recall_0.80	0.2191	0.1797
423	iprec_at_recall_0.90	0.1081	0.0949
423	iprec_at_recall_1.00	0.0164	0.0262
423	map	0.5917	0.1167
423	map_cut_10	0.3562	0.0489
423	map_cut_100	0.5784	0.1196
423	map_cut_1000	0.5917	0.1167
423	map_cut_15	0.4738	0.0879
423	map_cut_20	0.5115	0.1020
423	map_cut_200	0.5862	0.1182
423	map_cut_30	0.5406	0.1080
423	map_cut_5	0.1913	0.0373
423	map_cut_500	0.5905	0.1170
423	ndcg	0.8294	0.0854
423	ndcg_cut_10	0.8483	0.0725
423	ndcg_cut_100	0.7663	0.1001
423	ndcg_cut_1000	0.8294	0.0854
423	ndcg_cut_15	0.7906	0.0922
423	ndcg_cut_20	0.6951	0.0859
423	ndcg_cut_200	0.7923	0.0928
423	ndcg_cut_30	0.7062	0.0868
423	ndcg_cut_5	0.8743	0.1053
423	ndcg_cut_500	0.8170	0.0867
423	ndcg_rel	0.8260	0.0766
423	num_nonrel_judged_ret	405.9455	112.0393
423	num_rel	21.0000	0.0000
423	num_rel_ret	19.6364	2.6172
423	num_ret	913.8727	247.8520
423	prefs_avgjg	0.8999	0.1172
423	prefs_avgjg_Rnonrel	0.0169	0.0020
423	prefs_avgjg_Rnonrel_ret	0.0646	0.0839
423	prefs_avgjg_imp	0.9496	0.0252
423	prefs_avgjg_ret	0.8806	0.0671
423	prefs_num_prefs_ful	24322.8455	3167.5142
423	prefs_num_prefs_ful_ret	7249.3545	2324.9525
423	prefs_num_prefs_poss	27027.0000	0.0000
423	prefs_pair	0.8999	0.1172
423	prefs_pair_imp	0.9496	0.0252
423	prefs_pair_ret	0.8806	0.0671
423	prefs_simp	0.8999	0.1172
423	prefs_simp_imp	0.9496	0.0252
423	prefs_simp_ret	0.8806	0.0671
423	recall_10	0.3966	0.0472
423	recall_100	0.7597	0.1372
423	recall_1000	0.9351	0.1246
423	recall_15	0.5368	0.0908
423	recall_20	0.5892	0.1025
423	recall_200	0.8238	0.1229
423	recall_30	0.6420	0.1087
423	recall_5	0.2061	0.0232
423	recall_500	0.8944	0.1169
423	recip_rank	0.9545	0.1437
423	relative_P_10	0.8327	0.0992
423	relative_P_100	0.7597	0.1372
423	relative_P_1000	0.9351	0.1246
423	relative_P_15	0.7515	0.1271
423	relative_P_20	0.6186	0.1076
423	relative_P_200	0.8238	0.1229
423	relative_P_30	0.6420	0.1087
423	relative_P_5	0.8655	0.0976
423	relative_P_500	0.8944	0.1169
423	set_F	0.0525	0.0521
423	set_P	0.0331	0.0695
423	set_map	0.0244	0.0217
423	set_recall	0.9351	0.1246
423	set_relative_P	0.9388	0.1086
423	success_1	0.9091	0.2875
423	success_10	1.0000	0.0000
423	success_5	1.0000	0.0000
423	utility	-874.6000	242.8714
424	11pt_avg	0.1762	0.0845
424	G	0.0958	0.0333
424	P_10	0.3527	0.2377
424	P_100	0.2710	0.0995
424	P_1000	0.1011	0.0327
424	P_15	0.3558	0.2139
424	P_20	0.3523	0.1936
424	P_200	0.2253	0.0778
424	P_30	0.3273	0.1621
424	P_5	0.3618	0.3033
424	P_500	0.1501	0.0491
424	Rndcg	0.3672	0.1195
424	Rprec	0.2367	0.0818
424	Rprec_mult_0.20	0.3138	0.1548
424	Rprec_mult_0.40	0.2896	0.1203
424	Rprec_mult_0.60	0.2688	0.0989
424	Rprec_mult_0.80	0.2511	0.0881
424	Rprec_mult_1.00	0.2367	0.0818
424	Rprec_mult_1.20	0.2232	0.0767
424	Rprec_mult_1.40	0.2119	0.0712
424	Rprec_mult_1.60	0.2013	0.0663
424	Rprec_mult_1.80	0.1918	0.0629
424	Rprec_mult_2.00	0.1831	0.0593
424	binG	0.0958	0.0333
424	bpref	0.1890	0.0671
424	infAP	0.1501	0.0822
424	iprec_at_recall_0.00	0.6357	0.3194
424	iprec_at_recall_0.10	0.3399	0.1534
424	iprec_at_recall_0.20	0.2620	0.1350
424	iprec_at_recall_0.30	0.2125	0.1216
424	iprec_at_recall_0.40	0.1764	0.1094
424	iprec_at_recall_0.50	0.1354	0.1063
424	iprec_at_recall_0.60	0.1064	0.0917
424	iprec_at_recall_0.70	0.0548	0.0792
424	iprec_at_recall_0.80	0.0157	0.0512
424	iprec_at_recall_0.90	0.0000	0.0000
424	iprec_at_recall_1.00	0.0000	0.0000
424	map	0.1501	0.0822
424	map_cut_10	0.0130	0.0122
424	map_cut_100	0.0633	0.0426
424	map_cut_1000	0.1501	0.0822
424	map_cut_15	0.0181	0.0159
424	map_cut_20	0.0226	0.0194
424	map_cut_200	0.0924	0.0583
424	map_cut_30	0.0293	0.0243
424	map_cut_5	0.0078	0.0084
424	map_cut_500	0.1289	0.0756
424	ndcg	0.4798	0.1531
424	ndcg_cut_10	0.3538	0.2519
424	ndcg_cut_100	0.2862	0.1133
424	ndcg_cut_1000	0.4798	0.1531
424	ndcg_cut_15	0.3556	0.2297
424	ndcg_cut_20	0.3534	0.2109
424	ndcg_cut_200	0.2742	0.0999
424	ndcg_cut_30	0.3356	0.1823
424	ndcg_cut_5	0.3602	0.3050
424	ndcg_cut_500	0.3910	0.1308
424	ndcg_rel	0.3990	0.1203
424	num_nonrel_judged_ret	399.7273	105.8181
424	num_rel	171.0000	0.0000
424	num_rel_ret	101.0545	32.6685
424	num_ret	917.4000	230.2052
424	prefs_avgjg	0.5263	0.1660
424	prefs_avgjg_Rnonrel	0.0667	0.0073
424	prefs_avgjg_Rnonrel_ret	0.1418	0.0315
424	prefs_avgjg_imp	0.7571	0.0689
424	prefs_avgjg_ret	0.5808	0.0703
424	prefs_num_prefs_ful	141833.1727	44734.7137
424	prefs_num_prefs_ful_ret	25909.9545	13017.4129
424	prefs_num_prefs_poss	269496.0000	0.0000
424	prefs_pair	0.5263	0.1660
424	prefs_pair_imp	0.7571	0.0689
424	prefs_pair_ret	0.5808	0.0703
424	prefs_simp	0.5263	0.1660
424	prefs_simp_imp	0.7571	0.0689
424	prefs_simp_ret	0.5808	0.0703
424	recall_10	0.0206	0.0139
424	recall_100	0.1585	0.0582
424	recall_1000	0.5910	0.1910
424	recall_15	0.0312	0.0188
424	recall_20	0.0412	0.0227
424	recall_200	0.2635	0.0910
424	recall_30	0.0574	0.0284
424	recall_5	0.0106	0.0089
424	recall_500	0.4389	0.1435
424	recip_rank	0.5289	0.3795
424	relative_P_10	0.3527	0.2377
424	relative_P_100	0.2710	0.0995
424	relative_P_1000	0.5910	0.1910
424	relative_P_15	0.3558	0.2139
424	relative_P_20	0.3523	0.1936
424	relative_P_200	0.2635	0.0910
424	relative_P_30	0.3273	0.1621
424	relative_P_5	0.3618	0.3033
424	relative_P_500	0.4389	0.1435
424	set_F	0.1843	0.0417
424	set_P	0.1124	0.0264
424	set_map	0.0685	0.0305
424	set_recall	0.5910	0.1910
424	set_relative_P	0.5910	0.1910
424	success_1	0.3636	0.4810
424	success_10	0.8727	0.3333
424	success_5	0.7545	0.4304
424	utility	-715.2909	190.4768
425	11pt_avg	0.3925	0.1405
425	G	0.1876	0.0718
425	P_10	0.8482	0.1683
425	P_100	0.4913	0.1377
425	P_1000	0.1132	0.0408
425	P_15	0.8006	0.1723
425	P_20	0.7664	0.1797
425	P_200	0.3660	0.1139
425	P_30	0.7242	0.1894
425	P_5	0.8873	0.1917
425	P_500	0.2115	0.0777
425	Rndcg	0.5683	0.1621
425	Rprec	0.4025	0.1208
425	Rprec_mult_0.20	0.7091	0.1881
425	Rprec_mult_0.40	0.5790	0.1574
425	Rprec_mult_0.60	0.4958	0.1383
425	Rprec_mult_0.80	0.4443	0.1308
425	Rprec_mult_1.00	0.4025	0.1208
425	Rprec_mult_1.20	0.3701	0.1147
425	Rprec_mult_1.40	0.3463	0.1111
425	Rprec_mult_1.60	0.3277	0.1097
425	Rprec_mult_1.80	0.3071	0.1051
425	Rprec_mult_2.00	0.2891	0.1011
425	binG	0.1876	0.0718
425	bpref	0.3908	0.1220
425	infAP	0.3775	0.1578
425	iprec_at_recall_0.00	0.9875	0.0870
425	iprec_at_recall_0.10	0.7656	0.2137
425	iprec_at_recall_0.20	0.6230	0.2643
425	iprec_at_recall_0.30	0.4948	0.2515
425	iprec_at_recall_0.40	0.4026	0.2295
425	iprec_at_recall_0.50	0.3440	0.2089
425	iprec_at_recall_0.60	0.2815	0.1914
425	iprec_at_recall_0.70	0.2429	0.1744
425	iprec_at_recall_0.80	0.1746	0.1446
425	iprec_at_recall_0.90	0.0015	0.0156
425	iprec_at_recall_1.00	0.0000	0.0000
425	map	0.3775	0.1578
425	map_cut_10	0.0490	0.0137
425	map_cut_100	0.2276	0.0905
425	map_cut_1000	0.3775	0.1578
425	map_cut_15	0.0680	0.0206
425	map_cut_20	0.0852	0.0275
425	map_cut_200	0.2980	0.1221
425	map_cut_30	0.1170	0.0425
425	map_cut_5	0.0266	0.0070
425	map_cut_500	0.3688	0.1553
425	ndcg	0.6661	0.2056
425	ndcg_cut_10	0.8698	0.1615
425	ndcg_cut_100	0.5591	0.1392
425	ndcg_cut_1000	0.6661	0.2056
425	ndcg_cut_15	0.8328	0.1615
425	ndcg_cut_20	0.8045	0.1664
425	ndcg_cut_200	0.5062	0.1381
425	ndcg_cut_30	0.7664	0.1744
425	ndcg_cut_5	0.9031	0.1778
425	ndcg_cut_500	0.6394	0.1997
425	ndcg_rel	0.6347	0.1655
425	num_nonrel_judged_ret	248.5364	80.5762
425	num_rel	162.0000	0.0000
425	num_rel_ret	113.1636	40.7938
425	num_ret	914.1636	246.8016
425	prefs_avgjg	0.6593	0.2331
425	prefs_avgjg_Rnonrel	0.0909	0.0180
425	prefs_avgjg_Rnonrel_ret	0.3059	0.0896
425	prefs_avgjg_imp	0.8735	0.0788
425	prefs_avgjg_ret	0.7117	0.0762
425	prefs_num_prefs_ful	147826.1909	52266.9876
425	prefs_num_prefs_ful_ret	21979.0818	11317.3176
425	prefs_num_prefs_poss	224208.0000	0.0000
425	prefs_pair	0.6593	0.2331
425	prefs_pair_imp	0.8735	0.0788
425	prefs_pair_ret	0.7117	0.0762
425	prefs_simp	0.6593	0.2331
425	prefs_simp_imp	0.8735	0.0788
425	prefs_simp_ret	0.7117	0.0762
425	recall_10	0.0524	0.0104
425	recall_100	0.3033	0.0850
425	recall_1000	0.6985	0.2518
425	recall_15	0.0741	0.0160
425	recall_20	0.0946	0.0222
425	recall_200	0.4518	0.1407
425	recall_30	0.1341	0.0351
425	recall_5	0.0274	0.0059
425	recall_500	0.6526	0.2399
425	recip_rank	0.9807	0.1182
425	relative_P_10	0.8482	0.1683
425	relative_P_100	0.4913	0.1377
425	relative_P_1000	0.6985	0.2518
425	relative_P_15	0.8006	0.1723
425	relative_P_20	0.7664	0.1797
425	relative_P_200	0.4518	0.1407
425	relative_P_30	0.7242	0.1894
425	relative_P_5	0.8873	0.1917
425	relative_P_500	0.6526	0.2399
425	set_F	0.2160	0.0767
425	set_P	0.1427	0.0962
425	set_map	0.0988	0.0463
425	set_recall	0.6985	0.2518
425	set_relative_P	0.7088	0.2394
425	success_1	0.9727	0.1629
425	success_10	1.0000	0.0000
425	success_5	0.9909	0.0949
425	utility	-687.8364	217.8162
426	11pt_avg	0.1018	0.0710
426	G	0.0546	0.0339
426	P_10	0.3855	0.2288
426	P_100	0.1831	0.0994
426	P_1000	0.0628	0.0375
426	P_15	0.3642	0.2013
426	P_20	0.3291	0.1769
426	P_200	0.1329	0.0745
426	P_30	0.3024	0.1619
426	P_5	0.3800	0.2916
426	P_500	0.0876	0.0532
426	Rndcg	0.2216	0.1192
426	Rprec	0.1322	0.0742
426	Rprec_mult_0.20	0.2694	0.1473
426	Rprec_mult_0.40	0.2015	0.1073
426	Rprec_mult_0.60	0.1677	0.0929
426	Rprec_mult_0.80	0.1470	0.0844
426	Rprec_mult_1.00	0.1322	0.0742
426	Rprec_mult_1.20	0.1212	0.0684
426	Rprec_mult_1.40	0.1138	0.0665
426	Rprec_mult_1.60	0.1073	0.0653
426	Rprec_mult_1.80	0.1013	0.0618
426	Rprec_mult_2.00	0.0966	0.0593
426	binG	0.0546	0.0339
426	bpref	0.1068	0.0639
426	infAP	0.0693	0.0625
426	iprec_at_recall_0.00	0.6352	0.3197
426	iprec_at_recall_0.10	0.2027	0.1842
426	iprec_at_recall_0.20	0.1084	0.1225
426	iprec_at_recall_0.30	0.0704	0.1043
426	iprec_at_recall_0.40	0.0514	0.0977
426	iprec_at_recall_0.50	0.0355	0.0704
426	iprec_at_recall_0.60	0.0166	0.0548
426	iprec_at_recall_0.70	0.0000	0.0000
426	iprec_at_recall_0.80	0.0000	0.0000
426	iprec_at_recall_0.90	0.0000	0.0000
426	iprec_at_recall_1.00	0.0000	0.0000
426	map	0.0693	0.0625
426	map_cut_10	0.0124	0.0120
426	map_cut_100	0.0383	0.0340
426	map_cut_1000	0.0693	0.0625
426	map_cut_15	0.0163	0.0147
426	map_cut_20	0.0188	0.0164
426	map_cut_200	0.0470	0.0430
426	map_cut_30	0.0240	0.0211
426	map_cut_5	0.0072	0.0078
426	map_cut_500	0.0599	0.0551
426	ndcg	0.2793	0.1558
426	ndcg_cut_10	0.3909	0.2533
426	ndcg_cut_100	0.2185	0.1193
426	ndcg_cut_1000	0.2793	0.1558
426	ndcg_cut_15	0.3752	0.2256
426	ndcg_cut_20	0.3499	0.2033
426	ndcg_cut_200	0.1646	0.0884
426	ndcg_cut_30	0.3268	0.1847
426	ndcg_cut_5	0.3874	0.3130
426	ndcg_cut_500	0.2222	0.1248
426	ndcg_rel	0.2672	0.1400
426	num_nonrel_judged_ret	402.4000	123.7354
426	num_rel	202.0000	0.0000
426	num_rel_ret	62.8273	37.4680
426	num_ret	918.6545	232.4860
426	prefs_avgjg	0.2805	0.1673
426	prefs_avgjg_Rnonrel	0.0576	0.0070
426	prefs_avgjg_Rnonrel_ret	0.0926	0.0605
426	prefs_avgjg_imp	0.5641	0.1771
426	prefs_avgjg_ret	0.5752	0.1553
426	prefs_num_prefs_ful	107268.3000	63976.5118
426	prefs_num_prefs_ful_ret	14788.0909	9450.9092
426	prefs_num_prefs_poss	382386.0000	0.0000
426	prefs_pair	0.2805	0.1673
426	prefs_pair_imp	0.5641	0.1771
426	prefs_pair_ret	0.5752	0.1553
426	prefs_simp	0.2805	0.1673
426	prefs_simp_imp	0.5641	0.1771
426	prefs_simp_ret	0.5752	0.1553
426	recall_10	0.0191	0.0113
426	recall_100	0.0907	0.0492
426	recall_1000	0.3110	0.1855
426	recall_15	0.0271	0.0150
426	recall_20	0.0326	0.0175
426	recall_200	0.1316	0.0738
426	recall_30	0.0449	0.0240
426	recall_5	0.0094	0.0072
426	recall_500	0.2169	0.1317
426	recip_rank	0.5767	0.3581
426	relative_P_10	0.3855	0.2288
426	relative_P_100	0.1831	0.0994
426	relative_P_1000	0.3110	0.1855
426	relative_P_15	0.3642	0.2013
426	relative_P_20	0.3291	0.1769
426	relative_P_200	0.1329	0.0745
426	relative_P_30	0.3024	0.1619
426	relative_P_5	0.3800	0.2916
426	relative_P_500	0.2169	0.1317
426	set_F	   nan	   nan
426	set_P	0.0673	0.0353
426	set_map	0.0269	0.0263
426	set_recall	0.3110	0.1855
426	set_relative_P	0.3110	0.1855
426	success_1	0.3909	0.4880
426	success_10	0.9273	0.2597
426	success_5	0.8727	0.3333
426	utility	-793.0000	209.4665
427	11pt_avg	0.2228	0.0727
427	G	0.1609	0.0479
427	P_10	0.4436	0.1587
427	P_100	0.1673	0.0515
427	P_1000	0.0344	0.0106
427	P_15	0.3788	0.1271
427	P_20	0.3323	0.1057
427	P_200	0.1284	0.0409
427	P_30	0.2800	0.0884
427	P_5	0.5582	0.2588
427	P_500	0.0625	0.0199
427	Rndcg	0.4143	0.0982
427	Rprec	0.2233	0.0630
427	Rprec_mult_0.20	0.4436	0.1587
427	Rprec_mult_0.40	0.3323	0.1057
427	Rprec_mult_0.60	0.2800	0.0884
427	Rprec_mult_0.80	0.2464	0.0709
427	Rprec_mult_1.00	0.2233	0.0630
427	Rprec_mult_1.20	0.2038	0.0594
427	Rprec_mult_1.40	0.1908	0.0589
427	Rprec_mult_1.60	0.1809	0.0583
427	Rprec_mult_1.80	0.1724	0.0574
427	Rprec_mult_2.00	0.1673	0.0515
427	binG	0.1609	0.0479
427	bpref	0.1751	0.0520
427	infAP	0.1836	0.0722
427	iprec_at_recall_0.00	0.8794	0.2386
427	iprec_at_recall_0.10	0.5270	0.2388
427	iprec_at_recall_0.20	0.2970	0.1252
427	iprec_at_recall_0.30	0.2120	0.1016
427	iprec_at_recall_0.40	0.1654	0.0841
427	iprec_at_recall_0.50	0.1290	0.0868
427	iprec_at_recall_0.60	0.1017	0.0847
427	iprec_at_recall_0.70	0.0779	0.0805
427	iprec_at_recall_0.80	0.0409	0.0666
427	iprec_at_recall_0.90	0.0200	0.0495
427	iprec_at_recall_1.00	0.0000	0.0000
427	map	0.1836	0.0722
427	map_cut_10	0.0673	0.0349
427	map_cut_100	0.1378	0.0569
427	map_cut_1000	0.1836	0.0722
427	map_cut_15	0.0788	0.0386
427	map_cut_20	0.0864	0.0399
427	map_cut_200	0.1679	0.0677
427	map_cut_30	0.0988	0.0449
427	map_cut_5	0.0487	0.0279
427	map_cut_500	0.1803	0.0717
427	ndcg	0.5370	0.1382
427	ndcg_cut_10	0.5095	0.1852
427	ndcg_cut_100	0.3610	0.0953
427	ndcg_cut_1000	0.5370	0.1382
427	ndcg_cut_15	0.4508	0.1512
427	ndcg_cut_20	0.4075	0.1260
427	ndcg_cut_200	0.4582	0.1210
427	ndcg_cut_30	0.3541	0.1039
427	ndcg_cut_5	0.6055	0.2653
427	ndcg_cut_500	0.5110	0.1354
427	ndcg_rel	0.4744	0.1105
427	num_nonrel_judged_ret	292.3091	94.2542
427	num_rel	50.0000	0.0000
427	num_rel_ret	34.4091	10.6218
427	num_ret	912.7727	250.8911
427	prefs_avgjg	0.6428	0.1927
427	prefs_avgjg_Rnonrel	0.0214	0.0031
427	prefs_avgjg_Rnonrel_ret	0.0882	0.0976
427	prefs_avgjg_imp	0.8675	0.0392
427	prefs_avgjg_ret	0.6920	0.0755
427	prefs_num_prefs_ful	47499.9727	14241.9175
427	prefs_num_prefs_ful_ret	7654.8000	4083.9105
427	prefs_num_prefs_poss	73900.0000	0.0000
427	prefs_pair	0.6428	0.1927
427	prefs_pair_imp	0.8675	0.0392
427	prefs_pair_ret	0.6920	0.0755
427	prefs_simp	0.6428	0.1927
427	prefs_simp_imp	0.8675	0.0392
427	prefs_simp_ret	0.6920	0.0755
427	recall_10	0.0887	0.0317
427	recall_100	0.3345	0.1030
427	recall_1000	0.6882	0.2124
427	recall_15	0.1136	0.0381
427	recall_20	0.1329	0.0423
427	recall_200	0.5136	0.1636
427	recall_30	0.1680	0.0531
427	recall_5	0.0558	0.0259
427	recall_500	0.6253	0.1993
427	recip_rank	0.8526	0.2888
427	relative_P_10	0.4436	0.1587
427	relative_P_100	0.3345	0.1030
427	relative_P_1000	0.6882	0.2124
427	relative_P_15	0.3788	0.1271
427	relative_P_20	0.3323	0.1057
427	relative_P_200	0.5136	0.1636
427	relative_P_30	0.2800	0.0884
427	relative_P_5	0.5582	0.2588
427	relative_P_500	0.6253	0.1993
427	set_F	0.0748	0.0247
427	set_P	0.0486	0.0633
427	set_map	0.0283	0.0116
427	set_recall	0.6882	0.2124
427	set_relative_P	0.6965	0.1951
427	success_1	0.7818	0.4130
427	success_10	0.9818	0.1336
427	success_5	0.9455	0.2271
427	utility	-843.9545	237.4647
428	11pt_avg	0.2229	0.0961
428	G	0.1181	0.0376
428	P_10	0.3309	0.2190
428	P_100	0.3129	0.1042
428	P_1000	0.0777	0.0221
428	P_15	0.3406	0.1886
428	P_20	0.3477	0.1671
428	P_200	0.2408	0.0734
428	P_30	0.3542	0.1516
428	P_5	0.3564	0.2795
428	P_500	0.1327	0.0404
428	Rndcg	0.4187	0.1224
428	Rprec	0.2988	0.0973
428	Rprec_mult_0.20	0.3481	0.1601
428	Rprec_mult_0.40	0.3466	0.1337
428	Rprec_mult_0.60	0.3293	0.1180
428	Rprec_mult_0.80	0.3172	0.1079
428	Rprec_mult_1.00	0.2988	0.0973
428	Rprec_mult_1.20	0.2819	0.0867
428	Rprec_mult_1.40	0.2628	0.0791
428	Rprec_mult_1.60	0.2478	0.0759
428	Rprec_mult_1.80	0.2322	0.0702
428	Rprec_mult_2.00	0.2193	0.0657
428	binG	0.1181	0.0376
428	bpref	0.2425	0.0775
428	infAP	0.1946	0.0920
428	iprec_at_recall_0.00	0.6435	0.2989
428	iprec_at_recall_0.10	0.4150	0.1545
428	iprec_at_recall_0.20	0.3648	0.1395
428	iprec_at_recall_0.30	0.3133	0.1385
428	iprec_at_recall_0.40	0.2668	0.1371
428	iprec_at_recall_0.50	0.1861	0.1235
428	iprec_at_recall_0.60	0.1290	0.1097
428	iprec_at_recall_0.70	0.0878	0.0989
428	iprec_at_recall_0.80	0.0339	0.0718
428	iprec_at_recall_0.90	0.0118	0.0443
428	iprec_at_recall_1.00	0.0000	0.0000
428	map	0.1946	0.0920
428	map_cut_10	0.0169	0.0163
428	map_cut_100	0.1089	0.0631
428	map_cut_1000	0.1946	0.0920
428	map_cut_15	0.0236	0.0211
428	map_cut_20	0.0300	0.0250
428	map_cut_200	0.1524	0.0760
428	map_cut_30	0.0428	0.0326
428	map_cut_5	0.0103	0.0110
428	map_cut_500	0.1839	0.0895
428	ndcg	0.5284	0.1489
428	ndcg_cut_10	0.3337	0.2307
428	ndcg_cut_100	0.3203	0.1130
428	ndcg_cut_1000	0.5284	0.1489
428	ndcg_cut_15	0.3396	0.2034
428	ndcg_cut_20	0.3445	0.1859
428	ndcg_cut_200	0.3843	0.1188
428	ndcg_cut_30	0.3496	0.1693
428	ndcg_cut_5	0.3481	0.2817
428	ndcg_cut_500	0.4776	0.1435
428	ndcg_rel	0.4350	0.1173
428	num_nonrel_judged_ret	309.4364	93.2633
428	num_rel	118.0000	0.0000
428	num_rel_ret	77.6727	22.0731
428	num_ret	931.8182	215.6098
428	prefs_avgjg	0.6097	0.1682
428	prefs_avgjg_Rnonrel	0.0528	0.0057
428	prefs_avgjg_Rnonrel_ret	0.1589	0.0509
428	prefs_avgjg_imp	0.8409	0.0515
428	prefs_avgjg_ret	0.6475	0.0651
428	prefs_num_prefs_ful	109863.3091	30298.7326
428	prefs_num_prefs_ful_ret	17010.0727	8284.9452
428	prefs_num_prefs_poss	180186.0000	0.0000
428	prefs_pair	0.6097	0.1682
428	prefs_pair_imp	0.8409	0.0515
428	prefs_pair_ret	0.6475	0.0651
428	prefs_simp	0.6097	0.1682
428	prefs_simp_imp	0.8409	0.0515
428	prefs_simp_ret	0.6475	0.0651
428	recall_10	0.0280	0.0186
428	recall_100	0.2652	0.0883
428	recall_1000	0.6582	0.1871
428	recall_15	0.0433	0.0240
428	recall_20	0.0589	0.0283
428	recall_200	0.4082	0.1245
428	recall_30	0.0900	0.0386
428	recall_5	0.0151	0.0118
428	recall_500	0.5624	0.1711
428	recip_rank	0.5259	0.3659
428	relative_P_10	0.3309	0.2190
428	relative_P_100	0.3129	0.1042
428	relative_P_1000	0.6582	0.1871
428	relative_P_15	0.3406	0.1886
428	relative_P_20	0.3477	0.1671
428	relative_P_200	0.4082	0.1245
428	relative_P_30	0.3542	0.1516
428	relative_P_5	0.3564	0.2795
428	relative_P_500	0.5624	0.1711
428	set_F	0.1558	0.0547
428	set_P	0.0916	0.0422
428	set_map	0.0614	0.0274
428	set_recall	0.6582	0.1871
428	set_relative_P	0.6582	0.1871
428	success_1	0.3455	0.4755
428	success_10	0.9091	0.2875
428	success_5	0.7909	0.4067
428	utility	-776.4727	202.8172
429	11pt_avg	0.3172	0.1077
429	G	0.2858	0.0685
429	P_10	0.2918	0.1409
429	P_100	0.0963	0.0215
429	P_1000	0.0103	0.0017
429	P_15	0.2673	0.1198
429	P_20	0.2527	0.0886
429	P_200	0.0493	0.0100
429	P_30	0.2236	0.0636
429	P_5	0.3327	0.2005
429	P_500	0.0202	0.0037
429	Rndcg	0.4415	0.1266
429	Rprec	0.2884	0.1370
429	Rprec_mult_0.20	0.3273	0.2502
429	Rprec_mult_0.40	0.3327	0.2005
429	Rprec_mult_0.60	0.3169	0.1533
429	Rprec_mult_0.80	0.3040	0.1488
429	Rprec_mult_1.00	0.2884	0.1370
429	Rprec_mult_1.20	0.2682	0.1188
429	Rprec_mult_1.40	0.2653	0.1183
429	Rprec_mult_1.60	0.2601	0.1049
429	Rprec_mult_1.80	0.2527	0.0886
429	Rprec_mult_2.00	0.2438	0.0819
429	binG	0.2858	0.0685
429	bpref	0.2224	0.1213
429	infAP	0.2938	0.1043
429	iprec_at_recall_0.00	0.5706	0.2812
429	iprec_at_recall_0.10	0.4790	0.2430
429	iprec_at_recall_0.20	0.4209	0.1852
429	iprec_at_recall_0.30	0.3810	0.1649
429	iprec_at_recall_0.40	0.3301	0.1343
429	iprec_at_recall_0.50	0.2954	0.1159
429	iprec_at_recall_0.60	0.2732	0.1192
429	iprec_at_recall_0.70	0.2369	0.1122
429	iprec_at_recall_0.80	0.1886	0.1205
429	iprec_at_recall_0.90	0.1700	0.1153
429	iprec_at_recall_1.00	0.1437	0.1197
429	map	0.2938	0.1043
429	map_cut_10	0.1358	0.0980
429	map_cut_100	0.2915	0.1051
429	map_cut_1000	0.2938	0.1043
429	map_cut_15	0.1703	0.1108
429	map_cut_20	0.1970	0.1152
429	map_cut_200	0.2929	0.1046
429	map_cut_30	0.2357	0.1162
429	map_cut_5	0.0892	0.0793
429	map_cut_500	0.2936	0.1044
429	ndcg	0.5897	0.1195
429	ndcg_cut_10	0.2957	0.1542
429	ndcg_cut_100	0.5733	0.1259
429	ndcg_cut_1000	0.5897	0.1195
429	ndcg_cut_15	0.3381	0.1576
429	ndcg_cut_20	0.3893	0.1537
429	ndcg_cut_200	0.5799	0.1234
429	ndcg_cut_30	0.4621	0.1487
429	ndcg_cut_5	0.3186	0.2089
429	ndcg_cut_500	0.5861	0.1213
429	ndcg_rel	0.4560	0.1470
429	num_nonrel_judged_ret	454.2909	120.4726
429	num_rel	11.0000	0.0000
429	num_rel_ret	10.2636	1.7145
429	num_ret	913.6818	248.5040
429	prefs_avgjg	0.9086	0.1563
429	prefs_avgjg_Rnonrel	0.0064	0.0012
429	prefs_avgjg_Rnonrel_ret	0.0164	0.0083
429	prefs_avgjg_imp	0.9412	0.1353
429	prefs_avgjg_ret	0.9144	0.1414
429	prefs_num_prefs_ful	11444.2909	1969.1873
429	prefs_num_prefs_ful_ret	4526.9091	1494.1198
429	prefs_num_prefs_poss	12595.0000	0.0000
429	prefs_pair	0.9086	0.1563
429	prefs_pair_imp	0.9412	0.1353
429	prefs_pair_ret	0.9144	0.1414
429	prefs_simp	0.9086	0.1563
429	prefs_simp_imp	0.9412	0.1353
429	prefs_simp_ret	0.9144	0.1414
429	recall_10	0.2653	0.1280
429	recall_100	0.8752	0.1957
429	recall_1000	0.9331	0.1559
429	recall_15	0.3644	0.1633
429	recall_20	0.4595	0.1612
429	recall_200	0.8959	0.1826
429	recall_30	0.6099	0.1735
429	recall_5	0.1512	0.0911
429	recall_500	0.9182	0.1689
429	recip_rank	0.5017	0.3094
429	relative_P_10	0.2918	0.1409
429	relative_P_100	0.8752	0.1957
429	relative_P_1000	0.9331	0.1559
429	relative_P_15	0.3644	0.1633
429	relative_P_20	0.4595	0.1612
429	relative_P_200	0.8959	0.1826
429	relative_P_30	0.6099	0.1735
429	relative_P_5	0.3327	0.2005
429	relative_P_500	0.9182	0.1689
429	set_F	   nan	   nan
429	set_P	0.0125	0.0065
429	set_map	0.0115	0.0044
429	set_recall	0.9331	0.1559
429	set_relative_P	0.9331	0.1559
429	success_1	0.2455	0.4304
429	success_10	0.9636	0.1872
429	success_5	0.9000	0.3000
429	utility	-893.1545	245.8308
430	11pt_avg	0.5916	0.1250
430	G	0.5189	0.1093
430	P_10	0.3527	0.0817
430	P_100	0.0583	0.0070
430	P_1000	0.0059	0.0004
430	P_15	0.3303	0.0625
430	P_20	0.2709	0.0459
430	P_200	0.0293	0.0034
430	P_30	0.1897	0.0272
430	P_5	0.5473	0.1469
430	P_500	0.0118	0.0009
430	Rndcg	0.6655	0.1230
430	Rprec	0.5030	0.1189
430	Rprec_mult_0.20	0.6409	0.3380
430	Rprec_mult_0.40	0.6212	0.2522
430	Rprec_mult_0.60	0.5841	0.1885
430	Rprec_mult_0.80	0.5473	0.1469
430	Rprec_mult_1.00	0.5030	0.1189
430	Rprec_mult_1.20	0.4091	0.0906
430	Rprec_mult_1.40	0.3727	0.0842
430	Rprec_mult_1.60	0.3527	0.0817
430	Rprec_mult_1.80	0.3570	0.0753
430	Rprec_mult_2.00	0.3485	0.0657
430	binG	0.5189	0.1093
430	bpref	0.4442	0.1241
430	infAP	0.5573	0.1286
430	iprec_at_recall_0.00	0.8926	0.1951
430	iprec_at_recall_0.10	0.8926	0.1951
430	iprec_at_recall_0.20	0.7744	0.2174
430	iprec_at_recall_0.30	0.7744	0.2174
430	iprec_at_recall_0.40	0.6841	0.2079
430	iprec_at_recall_0.50	0.6841	0.2079
430	iprec_at_recall_0.60	0.4511	0.1686
430	iprec_at_recall_0.70	0.3764	0.1494
430	iprec_at_recall_0.80	0.3764	0.1494
430	iprec_at_recall_0.90	0.3008	0.1334
430	iprec_at_recall_1.00	0.3008	0.1334
430	map	0.5573	0.1286
430	map_cut_10	0.4287	0.1298
430	map_cut_100	0.5571	0.1288
430	map_cut_1000	0.5573	0.1286
430	map_cut_15	0.5182	0.1361
430	map_cut_20	0.5427	0.1366
430	map_cut_200	0.5572	0.1288
430	map_cut_30	0.5539	0.1320
430	map_cut_5	0.3636	0.1376
430	map_cut_500	0.5573	0.1286
430	ndcg	0.7771	0.1186
430	ndcg_cut_10	0.6013	0.1272
430	ndcg_cut_100	0.7744	0.1247
430	ndcg_cut_1000	0.7771	0.1186
430	ndcg_cut_15	0.7157	0.1331
430	ndcg_cut_20	0.7489	0.1356
430	ndcg_cut_200	0.7755	0.1248
430	ndcg_cut_30	0.7668	0.1308
430	ndcg_cut_5	0.5867	0.1599
430	ndcg_cut_500	0.7768	0.1187
430	ndcg_rel	0.7243	0.1722
430	num_nonrel_judged_ret	415.9455	132.1769
430	num_rel	6.0000	0.0000
430	num_rel_ret	5.9000	0.4462
430	num_ret	922.6364	223.1929
430	prefs_avgjg	0.9792	0.0755
430	prefs_avgjg_Rnonrel	0.0030	0.0004
430	prefs_avgjg_Rnonrel_ret	0.0149	0.0122
430	prefs_avgjg_imp	0.9938	0.0133
430	prefs_avgjg_ret	0.9726	0.0749
430	prefs_num_prefs_ful	10004.8909	771.7656
430	prefs_num_prefs_ful_ret	2441.1182	828.3322
430	prefs_num_prefs_poss	10218.0000	0.0000
430	prefs_pair	0.9792	0.0755
430	prefs_pair_imp	0.9938	0.0133
430	prefs_pair_ret	0.9726	0.0749
430	prefs_simp	0.9792	0.0755
430	prefs_simp_imp	0.9938	0.0133
430	prefs_simp_ret	0.9726	0.0749
430	recall_10	0.5879	0.1362
430	recall_100	0.9712	0.1165
430	recall_1000	0.9833	0.0744
430	recall_15	0.8258	0.1563
430	recall_20	0.9030	0.1531
430	recall_200	0.9758	0.1142
430	recall_30	0.9485	0.1362
430	recall_5	0.4561	0.1224
430	recall_500	0.9818	0.0757
430	recip_rank	0.8425	0.2701
430	relative_P_10	0.5879	0.1362
430	relative_P_100	0.9712	0.1165
430	relative_P_1000	0.9833	0.0744
430	relative_P_15	0.8258	0.1563
430	relative_P_20	0.9030	0.1531
430	relative_P_200	0.9758	0.1142
430	relative_P_30	0.9485	0.1362
430	relative_P_5	0.5473	0.1469
430	relative_P_500	0.9818	0.0757
430	set_F	0.0147	0.0090
430	set_P	0.0075	0.0047
430	set_map	0.0073	0.0043
430	set_recall	0.9833	0.0744
430	set_relative_P	0.9833	0.0744
430	success_1	0.7364	0.4406
430	success_10	0.9909	0.0949
430	success_5	0.9909	0.0949
430	utility	-910.8364	222.7124
431	11pt_avg	0.4244	0.1257
431	G	0.2005	0.0622
431	P_10	0.7964	0.1634
431	P_100	0.4946	0.1173
431	P_1000	0.1035	0.0305
431	P_15	0.7667	0.1676
431	P_20	0.7418	0.1547
431	P_200	0.3416	0.0822
431	P_30	0.6812	0.1622
431	P_5	0.8655	0.1771
431	P_500	0.1862	0.0525
431	Rndcg	0.6123	0.1422
431	Rprec	0.4358	0.1040
431	Rprec_mult_0.20	0.7052	0.1578
431	Rprec_mult_0.40	0.6229	0.1539
431	Rprec_mult_0.60	0.5460	0.1323
431	Rprec_mult_0.80	0.4846	0.1155
431	Rprec_mult_1.00	0.4358	0.1040
431	Rprec_mult_1.20	0.3945	0.0927
431	Rprec_mult_1.40	0.3617	0.0867
431	Rprec_mult_1.60	0.3323	0.0801
431	Rprec_mult_1.80	0.3095	0.0744
431	Rprec_mult_2.00	0.2882	0.0696
431	binG	0.2005	0.0622
431	bpref	0.3984	0.0997
431	infAP	0.4046	0.1411
431	iprec_at_recall_0.00	0.9769	0.0826
431	iprec_at_recall_0.10	0.7896	0.1817
431	iprec_at_recall_0.20	0.6592	0.2072
431	iprec_at_recall_0.30	0.5901	0.2095
431	iprec_at_recall_0.40	0.4955	0.2104
431	iprec_at_recall_0.50	0.3952	0.1824
431	iprec_at_recall_0.60	0.2920	0.1591
431	iprec_at_recall_0.70	0.1999	0.1366
431	iprec_at_recall_0.80	0.1459	0.1210
431	iprec_at_recall_0.90	0.1069	0.1028
431	iprec_at_recall_1.00	0.0171	0.0514
431	map	0.4046	0.1411
431	map_cut_10	0.0553	0.0164
431	map_cut_100	0.2727	0.0918
431	map_cut_1000	0.4046	0.1411
431	map_cut_15	0.0779	0.0237
431	map_cut_20	0.0981	0.0293
431	map_cut_200	0.3370	0.1124
431	map_cut_30	0.1311	0.0424
431	map_cut_5	0.0313	0.0091
431	map_cut_500	0.3908	0.1339
431	ndcg	0.7246	0.1826
431	ndcg_cut_10	0.8197	0.1500
431	ndcg_cut_100	0.5545	0.1176
431	ndcg_cut_1000	0.7246	0.1826
431	ndcg_cut_15	0.7946	0.1499
431	ndcg_cut_20	0.7733	0.1413
431	ndcg_cut_200	0.5629	0.1227
431	ndcg_cut_30	0.7241	0.1446
431	ndcg_cut_5	0.8712	0.1778
431	ndcg_cut_500	0.6807	0.1657
431	ndcg_rel	0.6624	0.1377
431	num_nonrel_judged_ret	336.6909	104.5917
431	num_rel	130.0000	0.0000
431	num_rel_ret	103.4727	30.5125
431	num_ret	914.0364	247.2594
431	prefs_avgjg	0.7373	0.2088
431	prefs_avgjg_Rnonrel	0.0805	0.0123
431	prefs_avgjg_Rnonrel_ret	0.2265	0.0550
431	prefs_avgjg_imp	0.8757	0.0645
431	prefs_avgjg_ret	0.7240	0.0616
431	prefs_num_prefs_ful	124706.1182	35305.6284
431	prefs_num_prefs_ful_ret	27599.7455	12742.4633
431	prefs_num_prefs_poss	169130.0000	0.0000
431	prefs_pair	0.7373	0.2088
431	prefs_pair_imp	0.8757	0.0645
431	prefs_pair_ret	0.7240	0.0616
431	prefs_simp	0.7373	0.2088
431	prefs_simp_imp	0.8757	0.0645
431	prefs_simp_ret	0.7240	0.0616
431	recall_10	0.0612	0.0126
431	recall_100	0.3805	0.0903
431	recall_1000	0.7959	0.2347
431	recall_15	0.0885	0.0193
431	recall_20	0.1141	0.0238
431	recall_200	0.5255	0.1265
431	recall_30	0.1572	0.0374
431	recall_5	0.0333	0.0068
431	recall_500	0.7161	0.2020
431	recip_rank	0.9409	0.1716
431	relative_P_10	0.7964	0.1634
431	relative_P_100	0.4946	0.1173
431	relative_P_1000	0.7959	0.2347
431	relative_P_15	0.7667	0.1676
431	relative_P_20	0.7418	0.1547
431	relative_P_200	0.5255	0.1265
431	relative_P_30	0.6812	0.1622
431	relative_P_5	0.8655	0.1771
431	relative_P_500	0.7161	0.2020
431	set_F	0.2090	0.0728
431	set_P	0.1352	0.0951
431	set_map	0.1020	0.0432
431	set_recall	0.7959	0.2347
431	set_relative_P	0.8062	0.2163
431	success_1	0.8909	0.3118
431	success_10	1.0000	0.0000
431	success_5	1.0000	0.0000
431	utility	-707.0909	223.4512
432	11pt_avg	0.0141	0.0272
432	G	0.0344	0.0306
432	P_10	0.0264	0.0683
432	P_100	0.0191	0.0238
432	P_1000	0.0065	0.0047
432	P_15	0.0236	0.0558
432	P_20	0.0236	0.0512
432	P_200	0.0155	0.0152
432	P_30	0.0227	0.0426
432	P_5	0.0255	0.0899
432	P_500	0.0090	0.0076
432	Rndcg	0.0657	0.0690
432	Rprec	0.0234	0.0453
432	Rprec_mult_0.20	0.0258	0.0846
432	Rprec_mult_0.40	0.0242	0.0609
432	Rprec_mult_0.60	0.0251	0.0552
432	Rprec_mult_0.80	0.0233	0.0493
432	Rprec_mult_1.00	0.0234	0.0453
432	Rprec_mult_1.20	0.0214	0.0398
432	Rprec_mult_1.40	0.0207	0.0383
432	Rprec_mult_1.60	0.0196	0.0363
432	Rprec_mult_1.80	0.0187	0.0328
432	Rprec_mult_2.00	0.0190	0.0307
432	binG	0.0344	0.0306
432	bpref	0.0140	0.0319
432	infAP	0.0105	0.0219
432	iprec_at_recall_0.00	0.0703	0.1370
432	iprec_at_recall_0.10	0.0426	0.0758
432	iprec_at_recall_0.20	0.0173	0.0381
432	iprec_at_recall_0.30	0.0133	0.0294
432	iprec_at_recall_0.40	0.0067	0.0184
432	iprec_at_recall_0.50	0.0043	0.0137
432	iprec_at_recall_0.60	0.0006	0.0036
432	iprec_at_recall_0.70	0.0000	0.0000
432	iprec_at_recall_0.80	0.0000	0.0000
432	iprec_at_recall_0.90	0.0000	0.0000
432	iprec_at_recall_1.00	0.0000	0.0000
432	map	0.0105	0.0219
432	map_cut_10	0.0030	0.0102
432	map_cut_100	0.0073	0.0189
432	map_cut_1000	0.0105	0.0219
432	map_cut_15	0.0035	0.0114
432	map_cut_20	0.0041	0.0126
432	map_cut_200	0.0087	0.0207
432	map_cut_30	0.0048	0.0141
432	map_cut_5	0.0020	0.0081
432	map_cut_500	0.0097	0.0215
432	ndcg	0.1087	0.0943
432	ndcg_cut_10	0.0237	0.0663
432	ndcg_cut_100	0.0467	0.0686
432	ndcg_cut_1000	0.1087	0.0943
432	ndcg_cut_15	0.0224	0.0574
432	ndcg_cut_20	0.0226	0.0537
432	ndcg_cut_200	0.0658	0.0775
432	ndcg_cut_30	0.0233	0.0488
432	ndcg_cut_5	0.0217	0.0802
432	ndcg_cut_500	0.0851	0.0864
432	ndcg_rel	0.0962	0.0803
432	num_nonrel_judged_ret	443.5091	132.6891
432	num_rel	28.0000	0.0000
432	num_rel_ret	6.4545	4.7360
432	num_ret	914.1455	246.8669
432	prefs_avgjg	0.2109	0.1570
432	prefs_avgjg_Rnonrel	0.0055	0.0004
432	prefs_avgjg_Rnonrel_ret	0.0066	0.0068
432	prefs_avgjg_imp	0.4990	0.2105
432	prefs_avgjg_ret	0.5121	0.2121
432	prefs_num_prefs_ful	14618.4091	10878.9096
432	prefs_num_prefs_ful_ret	1641.2182	1320.6726
432	prefs_num_prefs_poss	69300.0000	0.0000
432	prefs_pair	0.2109	0.1570
432	prefs_pair_imp	0.4990	0.2105
432	prefs_pair_ret	0.5121	0.2121
432	prefs_simp	0.2109	0.1570
432	prefs_simp_imp	0.4990	0.2105
432	prefs_simp_ret	0.5121	0.2121
432	recall_10	0.0094	0.0244
432	recall_100	0.0682	0.0851
432	recall_1000	0.2305	0.1691
432	recall_15	0.0127	0.0299
432	recall_20	0.0169	0.0366
432	recall_200	0.1107	0.1084
432	recall_30	0.0243	0.0457
432	recall_5	0.0045	0.0160
432	recall_500	0.1604	0.1355
432	recip_rank	0.0575	0.1249
432	relative_P_10	0.0264	0.0683
432	relative_P_100	0.0682	0.0851
432	relative_P_1000	0.2305	0.1691
432	relative_P_15	0.0236	0.0558
432	relative_P_20	0.0236	0.0512
432	relative_P_200	0.1107	0.1084
432	relative_P_30	0.0243	0.0457
432	relative_P_5	0.0255	0.0899
432	relative_P_500	0.1604	0.1355
432	set_F	   nan	   nan
432	set_P	0.0072	0.0057
432	set_map	0.0024	0.0032
432	set_recall	0.2305	0.1691
432	set_relative_P	0.2305	0.1691
432	success_1	0.0091	0.0949
432	success_10	0.1545	0.3615
432	success_5	0.0818	0.2741
432	utility	-901.2364	244.0901
433	11pt_avg	0.0562	0.0664
433	G	0.0865	0.0618
433	P_10	0.0882	0.1068
433	P_100	0.0286	0.0218
433	P_1000	0.0052	0.0030
433	P_15	0.0782	0.0880
433	P_20	0.0650	0.0669
433	P_200	0.0170	0.0129
433	P_30	0.0576	0.0543
433	P_5	0.1073	0.1393
433	P_500	0.0088	0.0059
433	Rndcg	0.1463	0.1199
433	Rprec	0.0811	0.0950
433	Rprec_mult_0.20	0.0939	0.1565
433	Rprec_mult_0.40	0.1136	0.1490
433	Rprec_mult_0.60	0.1000	0.1259
433	Rprec_mult_0.80	0.0884	0.1079
433	Rprec_mult_1.00	0.0811	0.0950
433	Rprec_mult_1.20	0.0744	0.0824
433	Rprec_mult_1.40	0.0675	0.0707
433	Rprec_mult_1.60	0.0636	0.0630
433	Rprec_mult_1.80	0.0655	0.0619
433	Rprec_mult_2.00	0.0643	0.0627
433	binG	0.0865	0.0618
433	bpref	0.0559	0.0695
433	infAP	0.0473	0.0574
433	iprec_at_recall_0.00	0.2607	0.3082
433	iprec_at_recall_0.10	0.1360	0.1675
433	iprec_at_recall_0.20	0.0973	0.1417
433	iprec_at_recall_0.30	0.0696	0.1038
433	iprec_at_recall_0.40	0.0229	0.0456
433	iprec_at_recall_0.50	0.0114	0.0299
433	iprec_at_recall_0.60	0.0078	0.0234
433	iprec_at_recall_0.70	0.0052	0.0178
433	iprec_at_recall_0.80	0.0048	0.0171
433	iprec_at_recall_0.90	0.0018	0.0067
433	iprec_at_recall_1.00	0.0000	0.0000
433	map	0.0473	0.0574
433	map_cut_10	0.0283	0.0389
433	map_cut_100	0.0439	0.0549
433	map_cut_1000	0.0473	0.0574
433	map_cut_15	0.0329	0.0443
433	map_cut_20	0.0339	0.0448
433	map_cut_200	0.0455	0.0568
433	map_cut_30	0.0380	0.0490
433	map_cut_5	0.0201	0.0296
433	map_cut_500	0.0468	0.0573
433	ndcg	0.2048	0.1420
433	ndcg_cut_10	0.0931	0.1131
433	ndcg_cut_100	0.1527	0.1305
433	ndcg_cut_1000	0.2048	0.1420
433	ndcg_cut_15	0.0934	0.1048
433	ndcg_cut_20	0.0990	0.1051
433	ndcg_cut_200	0.1665	0.1385
433	ndcg_cut_30	0.1162	0.1179
433	ndcg_cut_5	0.1045	0.1386
433	ndcg_cut_500	0.1886	0.1423
433	ndcg_rel	0.1863	0.1275
433	num_nonrel_judged_ret	495.5364	145.8228
433	num_rel	13.0000	0.0000
433	num_rel_ret	5.2000	3.0145
433	num_ret	913.6727	248.5822
433	prefs_avgjg	0.3732	0.2194
433	prefs_avgjg_Rnonrel	0.0031	0.0005
433	prefs_avgjg_Rnonrel_ret	0.0147	0.0945
433	prefs_avgjg_imp	0.6442	0.2322
433	prefs_avgjg_ret	0.6583	0.2502
433	prefs_num_prefs_ful	10427.0909	6128.3634
433	prefs_num_prefs_ful_ret	1989.6545	1559.2526
433	prefs_num_prefs_poss	27937.0000	0.0000
433	prefs_pair	0.3732	0.2194
433	prefs_pair_imp	0.6442	0.2322
433	prefs_pair_ret	0.6583	0.2502
433	prefs_simp	0.3732	0.2194
433	prefs_simp_imp	0.6442	0.2322
433	prefs_simp_ret	0.6583	0.2502
433	recall_10	0.0678	0.0822
433	recall_100	0.2203	0.1681
433	recall_1000	0.4000	0.2319
433	recall_15	0.0902	0.1016
433	recall_20	0.1000	0.1030
433	recall_200	0.2608	0.1979
433	recall_30	0.1329	0.1253
433	recall_5	0.0412	0.0536
433	recall_500	0.3371	0.2256
433	recip_rank	0.2369	0.3035
433	relative_P_10	0.0882	0.1068
433	relative_P_100	0.2203	0.1681
433	relative_P_1000	0.4000	0.2319
433	relative_P_15	0.0902	0.1016
433	relative_P_20	0.1000	0.1030
433	relative_P_200	0.2608	0.1979
433	relative_P_30	0.1329	0.1253
433	relative_P_5	0.1073	0.1393
433	relative_P_500	0.3371	0.2256
433	set_F	   nan	   nan
433	set_P	0.0152	0.0661
433	set_map	0.0038	0.0056
433	set_recall	0.4000	0.2319
433	set_relative_P	0.4077	0.2280
433	success_1	0.1091	0.3118
433	success_10	0.4909	0.4999
433	success_5	0.4182	0.4933
433	utility	-903.2727	247.1052
434	11pt_avg	0.3519	0.1045
434	G	0.1281	0.0374
434	P_10	0.7882	0.1725
434	P_100	0.6028	0.1677
434	P_1000	0.2266	0.0574
434	P_15	0.7527	0.1783
434	P_20	0.7336	0.1833
434	P_200	0.4910	0.1226
434	P_30	0.7194	0.1895
434	P_5	0.8218	0.2060
434	P_500	0.3201	0.0754
434	Rndcg	0.5312	0.1162
434	Rprec	0.3880	0.0941
434	Rprec_mult_0.20	0.6494	0.1820
434	Rprec_mult_0.40	0.5538	0.1514
434	Rprec_mult_0.60	0.4825	0.1193
434	Rprec_mult_0.80	0.4328	0.1030
434	Rprec_mult_1.00	0.3880	0.0941
434	Rprec_mult_1.20	0.3530	0.0839
434	Rprec_mult_1.40	0.3250	0.0764
434	Rprec_mult_1.60	0.3023	0.0713
434	Rprec_mult_1.80	0.2857	0.0678
434	Rprec_mult_2.00	0.2727	0.0663
434	binG	0.1281	0.0374
434	bpref	0.3814	0.0932
434	infAP	0.3261	0.1184
434	iprec_at_recall_0.00	0.9638	0.1050
434	iprec_at_recall_0.10	0.6991	0.1989
434	iprec_at_recall_0.20	0.5993	0.1941
434	iprec_at_recall_0.30	0.4757	0.2123
434	iprec_at_recall_0.40	0.3822	0.1925
434	iprec_at_recall_0.50	0.3127	0.1611
434	iprec_at_recall_0.60	0.2501	0.1392
434	iprec_at_recall_0.70	0.1818	0.1486
434	iprec_at_recall_0.80	0.0067	0.0501
434	iprec_at_recall_0.90	0.0000	0.0000
434	iprec_at_recall_1.00	0.0000	0.0000
434	map	0.3261	0.1184
434	map_cut_10	0.0202	0.0063
434	map_cut_100	0.1316	0.0550
434	map_cut_1000	0.3261	0.1184
434	map_cut_15	0.0283	0.0092
434	map_cut_20	0.0361	0.0123
434	map_cut_200	0.1949	0.0802
434	map_cut_30	0.0517	0.0189
434	map_cut_5	0.0110	0.0038
434	map_cut_500	0.2710	0.1058
434	ndcg	0.6249	0.1423
434	ndcg_cut_10	0.8038	0.1707
434	ndcg_cut_100	0.6388	0.1633
434	ndcg_cut_1000	0.6249	0.1423
434	ndcg_cut_15	0.7763	0.1689
434	ndcg_cut_20	0.7596	0.1712
434	ndcg_cut_200	0.5360	0.1280
434	ndcg_cut_30	0.7437	0.1751
434	ndcg_cut_5	0.8302	0.2056
434	ndcg_cut_500	0.4927	0.1104
434	ndcg_rel	0.5988	0.1287
434	num_nonrel_judged_ret	361.2636	115.8374
434	num_rel	347.0000	0.0000
434	num_rel_ret	226.5909	57.3608
434	num_ret	917.7091	235.1876
434	prefs_avgjg	0.5800	0.1399
434	prefs_avgjg_Rnonrel	0.1739	0.0349
434	prefs_avgjg_Rnonrel_ret	0.3848	0.0765
434	prefs_avgjg_imp	0.7924	0.0403
434	prefs_avgjg_ret	0.6126	0.0871
434	prefs_num_prefs_ful	267477.7000	64508.8608
434	prefs_num_prefs_ful_ret	54583.5000	23758.1771
434	prefs_num_prefs_poss	461163.0000	0.0000
434	prefs_pair	0.5800	0.1399
434	prefs_pair_imp	0.7924	0.0403
434	prefs_pair_ret	0.6126	0.0871
434	prefs_simp	0.5800	0.1399
434	prefs_simp_imp	0.7924	0.0403
434	prefs_simp_ret	0.6126	0.0871
434	recall_10	0.0227	0.0050
434	recall_100	0.1737	0.0483
434	recall_1000	0.6530	0.1653
434	recall_15	0.0325	0.0077
434	recall_20	0.0423	0.0106
434	recall_200	0.2830	0.0707
434	recall_30	0.0622	0.0164
434	recall_5	0.0118	0.0030
434	recall_500	0.4613	0.1086
434	recip_rank	0.9152	0.2016
434	relative_P_10	0.7882	0.1725
434	relative_P_100	0.6028	0.1677
434	relative_P_1000	0.6530	0.1653
434	relative_P_15	0.7527	0.1783
434	relative_P_20	0.7336	0.1833
434	relative_P_200	0.4910	0.1226
434	relative_P_30	0.7194	0.1895
434	relative_P_5	0.8218	0.2060
434	relative_P_500	0.4613	0.1086
434	set_F	0.3552	0.0532
434	set_P	0.2572	0.0565
434	set_map	0.1657	0.0458
434	set_recall	0.6530	0.1653
434	set_relative_P	0.6650	0.1396
434	success_1	0.8455	0.3615
434	success_10	1.0000	0.0000
434	success_5	1.0000	0.0000
434	utility	-464.5273	154.1797
435	11pt_avg	0.1485	0.0714
435	G	0.0855	0.0350
435	P_10	0.2773	0.1535
435	P_100	0.1905	0.0981
435	P_1000	0.0577	0.0213
435	P_15	0.2582	0.1539
435	P_20	0.2477	0.1547
435	P_200	0.1564	0.0737
435	P_30	0.2355	0.1337
435	P_5	0.3473	0.2118
435	P_500	0.0954	0.0375
435	Rndcg	0.3024	0.1185
435	Rprec	0.1879	0.0952
435	Rprec_mult_0.20	0.2424	0.1460
435	Rprec_mult_0.40	0.2122	0.1194
435	Rprec_mult_0.60	0.2000	0.1109
435	Rprec_mult_0.80	0.1925	0.1003
435	Rprec_mult_1.00	0.1879	0.0952
435	Rprec_mult_1.20	0.1799	0.0895
435	Rprec_mult_1.40	0.1710	0.0835
435	Rprec_mult_1.60	0.1610	0.0771
435	Rprec_mult_1.80	0.1538	0.0711
435	Rprec_mult_2.00	0.1482	0.0662
435	binG	0.0855	0.0350
435	bpref	0.1448	0.0768
435	infAP	0.1055	0.0713
435	iprec_at_recall_0.00	0.7352	0.3066
435	iprec_at_recall_0.10	0.2516	0.1530
435	iprec_at_recall_0.20	0.2018	0.1318
435	iprec_at_recall_0.30	0.1754	0.1249
435	iprec_at_recall_0.40	0.1306	0.1102
435	iprec_at_recall_0.50	0.0770	0.0944
435	iprec_at_recall_0.60	0.0397	0.0651
435	iprec_at_recall_0.70	0.0182	0.0487
435	iprec_at_recall_0.80	0.0037	0.0191
435	iprec_at_recall_0.90	0.0000	0.0000
435	iprec_at_recall_1.00	0.0000	0.0000
435	map	0.1055	0.0713
435	map_cut_10	0.0151	0.0124
435	map_cut_100	0.0557	0.0467
435	map_cut_1000	0.1055	0.0713
435	map_cut_15	0.0189	0.0159
435	map_cut_20	0.0224	0.0192
435	map_cut_200	0.0783	0.0601
435	map_cut_30	0.0281	0.0236
435	map_cut_5	0.0113	0.0090
435	map_cut_500	0.0984	0.0688
435	ndcg	0.3946	0.1457
435	ndcg_cut_10	0.3260	0.1740
435	ndcg_cut_100	0.2148	0.1029
435	ndcg_cut_1000	0.3946	0.1457
435	ndcg_cut_15	0.3023	0.1611
435	ndcg_cut_20	0.2879	0.1565
435	ndcg_cut_200	0.2648	0.1180
435	ndcg_cut_30	0.2700	0.1389
435	ndcg_cut_5	0.3903	0.2306
435	ndcg_cut_500	0.3495	0.1365
435	ndcg_rel	0.3433	0.1200
435	num_nonrel_judged_ret	345.2818	96.0357
435	num_rel	117.0000	0.0000
435	num_rel_ret	57.6727	21.2804
435	num_ret	920.3273	228.1466
435	prefs_avgjg	0.4545	0.1684
435	prefs_avgjg_Rnonrel	0.0408	0.0050
435	prefs_avgjg_Rnonrel_ret	0.0963	0.0413
435	prefs_avgjg_imp	0.7440	0.1222
435	prefs_avgjg_ret	0.6174	0.0965
435	prefs_num_prefs_ful	91414.9818	33873.4245
435	prefs_num_prefs_ful_ret	13187.2545	6745.2914
435	prefs_num_prefs_poss	201123.0000	0.0000
435	prefs_pair	0.4545	0.1684
435	prefs_pair_imp	0.7440	0.1222
435	prefs_pair_ret	0.6174	0.0965
435	prefs_simp	0.4545	0.1684
435	prefs_simp_imp	0.7440	0.1222
435	prefs_simp_ret	0.6174	0.0965
435	recall_10	0.0237	0.0131
435	recall_100	0.1628	0.0839
435	recall_1000	0.4929	0.1819
435	recall_15	0.0331	0.0197
435	recall_20	0.0423	0.0264
435	recall_200	0.2673	0.1259
435	recall_30	0.0604	0.0343
435	recall_5	0.0148	0.0091
435	recall_500	0.4075	0.1604
435	recip_rank	0.6879	0.3469
435	relative_P_10	0.2773	0.1535
435	relative_P_100	0.1905	0.0981
435	relative_P_1000	0.4929	0.1819
435	relative_P_15	0.2582	0.1539
435	relative_P_20	0.2477	0.1547
435	relative_P_200	0.2673	0.1259
435	relative_P_30	0.2355	0.1337
435	relative_P_5	0.3473	0.2118
435	relative_P_500	0.4075	0.1604
435	set_F	0.1158	0.0533
435	set_P	0.0679	0.0388
435	set_map	0.0363	0.0231
435	set_recall	0.4929	0.1819
435	set_relative_P	0.4929	0.1819
435	success_1	0.5273	0.4993
435	success_10	0.9818	0.1336
435	success_5	0.8909	0.3118
435	utility	-804.9818	213.9969
436	11pt_avg	0.1319	0.0700
436	G	0.0662	0.0330
436	P_10	0.4500	0.2118
436	P_100	0.2505	0.0900
436	P_1000	0.0583	0.0280
436	P_15	0.4521	0.2057
436	P_20	0.4409	0.1967
436	P_200	0.1678	0.0716
436	P_30	0.4036	0.1774
436	P_5	0.4891	0.2538
436	P_500	0.0942	0.0459
436	Rndcg	0.2666	0.1021
436	Rprec	0.1780	0.0747
436	Rprec_mult_0.20	0.3841	0.1672
436	Rprec_mult_0.40	0.2980	0.1146
436	Rprec_mult_0.60	0.2386	0.0846
436	Rprec_mult_0.80	0.2021	0.0807
436	Rprec_mult_1.00	0.1780	0.0747
436	Rprec_mult_1.20	0.1596	0.0698
436	Rprec_mult_1.40	0.1475	0.0673
436	Rprec_mult_1.60	0.1355	0.0622
436	Rprec_mult_1.80	0.1255	0.0582
436	Rprec_mult_2.00	0.1173	0.0550
436	binG	0.0662	0.0330
436	bpref	0.1499	0.0615
436	infAP	0.0966	0.0666
436	iprec_at_recall_0.00	0.7264	0.2657
436	iprec_at_recall_0.10	0.3695	0.2197
436	iprec_at_recall_0.20	0.1607	0.1703
436	iprec_at_recall_0.30	0.0873	0.1275
436	iprec_at_recall_0.40	0.0592	0.1074
436	iprec_at_recall_0.50	0.0371	0.0930
436	iprec_at_recall_0.60	0.0089	0.0350
436	iprec_at_recall_0.70	0.0014	0.0144
436	iprec_at_recall_0.80	0.0000	0.0000
436	iprec_at_recall_0.90	0.0000	0.0000
436	iprec_at_recall_1.00	0.0000	0.0000
436	map	0.0966	0.0666
436	map_cut_10	0.0166	0.0127
436	map_cut_100	0.0663	0.0468
436	map_cut_1000	0.0966	0.0666
436	map_cut_15	0.0237	0.0179
436	map_cut_20	0.0299	0.0224
436	map_cut_200	0.0783	0.0547
436	map_cut_30	0.0392	0.0296
436	map_cut_5	0.0098	0.0080
436	map_cut_500	0.0909	0.0626
436	ndcg	0.3134	0.1280
436	ndcg_cut_10	0.4555	0.2247
436	ndcg_cut_100	0.2906	0.1076
436	ndcg_cut_1000	0.3134	0.1280
436	ndcg_cut_15	0.4559	0.2138
436	ndcg_cut_20	0.4479	0.2036
436	ndcg_cut_200	0.2259	0.0852
436	ndcg_cut_30	0.4206	0.1864
436	ndcg_cut_5	0.4779	0.2685
436	ndcg_cut_500	0.2766	0.1117
436	ndcg_rel	0.3182	0.1220
436	num_nonrel_judged_ret	403.8727	133.0605
436	num_rel	180.0000	0.0000
436	num_rel_ret	58.3455	27.9953
436	num_ret	914.9091	244.1748
436	prefs_avgjg	0.2988	0.1408
436	prefs_avgjg_Rnonrel	0.0582	0.0082
436	prefs_avgjg_Rnonrel_ret	0.1055	0.0660
436	prefs_avgjg_imp	0.6184	0.1217
436	prefs_avgjg_ret	0.6821	0.0893
436	prefs_num_prefs_ful	95136.7091	44835.3424
436	prefs_num_prefs_ful_ret	17248.7182	10205.6245
436	prefs_num_prefs_poss	318420.0000	0.0000
436	prefs_pair	0.2988	0.1408
436	prefs_pair_imp	0.6184	0.1217
436	prefs_pair_ret	0.6821	0.0893
436	prefs_simp	0.2988	0.1408
436	prefs_simp_imp	0.6184	0.1217
436	prefs_simp_ret	0.6821	0.0893
436	recall_10	0.0250	0.0118
436	recall_100	0.1391	0.0500
436	recall_1000	0.3241	0.1555
436	recall_15	0.0377	0.0171
436	recall_20	0.0490	0.0219
436	recall_200	0.1864	0.0795
436	recall_30	0.0673	0.0296
436	recall_5	0.0136	0.0071
436	recall_500	0.2617	0.1276
436	recip_rank	0.6392	0.3279
436	relative_P_10	0.4500	0.2118
436	relative_P_100	0.2505	0.0900
436	relative_P_1000	0.3241	0.1555
436	relative_P_15	0.4521	0.2057
436	relative_P_20	0.4409	0.1967
436	relative_P_200	0.1864	0.0795
436	relative_P_30	0.4036	0.1774
436	relative_P_5	0.4891	0.2538
436	relative_P_500	0.2617	0.1276
436	set_F	0.1080	0.0466
436	set_P	0.0715	0.0567
436	set_map	0.0252	0.0214
436	set_recall	0.3241	0.1555
436	set_relative_P	0.3291	0.1549
436	success_1	0.4273	0.4947
436	success_10	0.9727	0.1629
436	success_5	0.9545	0.2083
436	utility	-798.2182	225.0329
437	11pt_avg	0.0340	0.0213
437	G	0.0549	0.0204
437	P_10	0.0500	0.0795
437	P_100	0.0555	0.0260
437	P_1000	0.0289	0.0122
437	P_15	0.0533	0.0641
437	P_20	0.0559	0.0538
437	P_200	0.0500	0.0223
437	P_30	0.0591	0.0460
437	P_5	0.0455	0.1133
437	P_500	0.0400	0.0193
437	Rndcg	0.1455	0.0488
437	Rprec	0.0580	0.0296
437	Rprec_mult_0.20	0.0533	0.0641
437	Rprec_mult_0.40	0.0596	0.0472
437	Rprec_mult_0.60	0.0630	0.0397
437	Rprec_mult_0.80	0.0588	0.0335
437	Rprec_mult_1.00	0.0580	0.0296
437	Rprec_mult_1.20	0.0578	0.0268
437	Rprec_mult_1.40	0.0553	0.0260
437	Rprec_mult_1.60	0.0532	0.0252
437	Rprec_mult_1.80	0.0515	0.0239
437	Rprec_mult_2.00	0.0520	0.0243
437	binG	0.0549	0.0204
437	bpref	0.0325	0.0189
437	infAP	0.0252	0.0155
437	iprec_at_recall_0.00	0.1569	0.1733
437	iprec_at_recall_0.10	0.0668	0.0345
437	iprec_at_recall_0.20	0.0505	0.0337
437	iprec_at_recall_0.30	0.0416	0.0319
437	iprec_at_recall_0.40	0.0292	0.0330
437	iprec_at_recall_0.50	0.0168	0.0325
437	iprec_at_recall_0.60	0.0091	0.0271
437	iprec_at_recall_0.70	0.0030	0.0126
437	iprec_at_recall_0.80	0.0000	0.0000
437	iprec_at_recall_0.90	0.0000	0.0000
437	iprec_at_recall_1.00	0.0000	0.0000
437	map	0.0252	0.0155
437	map_cut_10	0.0022	0.0051
437	map_cut_100	0.0082	0.0072
437	map_cut_1000	0.0252	0.0155
437	map_cut_15	0.0027	0.0054
437	map_cut_20	0.0032	0.0055
437	map_cut_200	0.0122	0.0087
437	map_cut_30	0.0041	0.0060
437	map_cut_5	0.0015	0.0044
437	map_cut_500	0.0203	0.0139
437	ndcg	0.2351	0.0879
437	ndcg_cut_10	0.0455	0.0804
437	ndcg_cut_100	0.0689	0.0343
437	ndcg_cut_1000	0.2351	0.0879
437	ndcg_cut_15	0.0489	0.0673
437	ndcg_cut_20	0.0513	0.0577
437	ndcg_cut_200	0.1059	0.0449
437	ndcg_cut_30	0.0547	0.0499
437	ndcg_cut_5	0.0406	0.1063
437	ndcg_cut_500	0.1785	0.0752
437	ndcg_rel	0.1918	0.0554
437	num_nonrel_judged_ret	468.3091	135.3089
437	num_rel	72.0000	0.0000
437	num_rel_ret	28.9091	12.2382
437	num_ret	914.3273	246.2170
437	prefs_avgjg	0.3444	0.1425
437	prefs_avgjg_Rnonrel	0.0209	0.0014
437	prefs_avgjg_Rnonrel_ret	0.0304	0.0098
437	prefs_avgjg_imp	0.6068	0.1092
437	prefs_avgjg_ret	0.5278	0.0983
437	prefs_num_prefs_ful	42748.2000	17693.3523
437	prefs_num_prefs_ful_ret	7606.7909	4417.0238
437	prefs_num_prefs_poss	124128.0000	0.0000
437	prefs_pair	0.3444	0.1425
437	prefs_pair_imp	0.6068	0.1092
437	prefs_pair_ret	0.5278	0.0983
437	prefs_simp	0.3444	0.1425
437	prefs_simp_imp	0.6068	0.1092
437	prefs_simp_ret	0.5278	0.0983
437	recall_10	0.0070	0.0110
437	recall_100	0.0771	0.0361
437	recall_1000	0.4015	0.1700
437	recall_15	0.0111	0.0134
437	recall_20	0.0155	0.0150
437	recall_200	0.1388	0.0619
437	recall_30	0.0246	0.0192
437	recall_5	0.0032	0.0079
437	recall_500	0.2779	0.1341
437	recip_rank	0.1198	0.1581
437	relative_P_10	0.0500	0.0795
437	relative_P_100	0.0771	0.0361
437	relative_P_1000	0.4015	0.1700
437	relative_P_15	0.0533	0.0641
437	relative_P_20	0.0559	0.0538
437	relative_P_200	0.1388	0.0619
437	relative_P_30	0.0591	0.0460
437	relative_P_5	0.0455	0.1133
437	relative_P_500	0.2779	0.1341
437	set_F	0.0592	0.0200
437	set_P	0.0333	0.0130
437	set_map	0.0143	0.0094
437	set_recall	0.4015	0.1700
437	set_relative_P	0.4022	0.1686
437	success_1	0.0182	0.1336
437	success_10	0.3636	0.4810
437	success_5	0.1545	0.3615
437	utility	-856.5091	233.6225
438	11pt_avg	0.2214	0.0730
438	G	0.1082	0.0317
438	P_10	0.4391	0.2054
438	P_100	0.3245	0.1105
438	P_1000	0.1109	0.0316
438	P_15	0.4255	0.1713
438	P_20	0.4095	0.1551
438	P_200	0.2622	0.0791
438	P_30	0.3924	0.1475
438	P_5	0.4582	0.2647
438	P_500	0.1755	0.0511
438	Rndcg	0.4176	0.1144
438	Rprec	0.2763	0.0861
438	Rprec_mult_0.20	0.3816	0.1397
438	Rprec_mult_0.40	0.3465	0.1208
438	Rprec_mult_0.60	0.3203	0.1094
438	Rprec_mult_0.80	0.2960	0.0982
438	Rprec_mult_1.00	0.2763	0.0861
438	Rprec_mult_1.20	0.2579	0.0782
438	Rprec_mult_1.40	0.2454	0.0692
438	Rprec_mult_1.60	0.2338	0.0663
438	Rprec_mult_1.80	0.2230	0.0657
438	Rprec_mult_2.00	0.2120	0.0628
438	binG	0.1082	0.0317
438	bpref	0.2312	0.0607
438	infAP	0.1912	0.0785
438	iprec_at_recall_0.00	0.7318	0.2432
438	iprec_at_recall_0.10	0.4058	0.1542
438	iprec_at_recall_0.20	0.3354	0.1384
438	iprec_at_recall_0.30	0.2850	0.1255
438	iprec_at_recall_0.40	0.2301	0.1135
438	iprec_at_recall_0.50	0.1865	0.1037
438	iprec_at_recall_0.60	0.1535	0.0928
438	iprec_at_recall_0.70	0.0979	0.0913
438	iprec_at_recall_0.80	0.0090	0.0513
438	iprec_at_recall_0.90	0.0000	0.0000
438	iprec_at_recall_1.00	0.0000	0.0000
438	map	0.1912	0.0785
438	map_cut_10	0.0164	0.0117
438	map_cut_100	0.0847	0.0419
438	map_cut_1000	0.1912	0.0785
438	map_cut_15	0.0222	0.0145
438	map_cut_20	0.0272	0.0166
438	map_cut_200	0.1215	0.0563
438	map_cut_30	0.0369	0.0213
438	map_cut_5	0.0096	0.0080
438	map_cut_500	0.1702	0.0726
438	ndcg	0.5348	0.1449
438	ndcg_cut_10	0.4403	0.2140
438	ndcg_cut_100	0.3445	0.1113
438	ndcg_cut_1000	0.5348	0.1449
438	ndcg_cut_15	0.4310	0.1779
438	ndcg_cut_20	0.4195	0.1598
438	ndcg_cut_200	0.3200	0.0936
438	ndcg_cut_30	0.4053	0.1472
438	ndcg_cut_5	0.4505	0.2804
438	ndcg_cut_500	0.4562	0.1259
438	ndcg_rel	0.4464	0.1135
438	num_nonrel_judged_ret	373.1455	111.7379
438	num_rel	173.0000	0.0000
438	num_rel_ret	110.8909	31.6027
438	num_ret	922.1636	224.0634
438	prefs_avgjg	0.5796	0.1608
438	prefs_avgjg_Rnonrel	0.0688	0.0085
438	prefs_avgjg_Rnonrel_ret	0.1773	0.0362
438	prefs_avgjg_imp	0.8081	0.0396
438	prefs_avgjg_ret	0.5958	0.0600
438	prefs_num_prefs_ful	162936.7091	45218.7162
438	prefs_num_prefs_ful_ret	27391.3273	11904.7466
438	prefs_num_prefs_poss	281125.0000	0.0000
438	prefs_pair	0.5796	0.1608
438	prefs_pair_imp	0.8081	0.0396
438	prefs_pair_ret	0.5958	0.0600
438	prefs_simp	0.5796	0.1608
438	prefs_simp_imp	0.8081	0.0396
438	prefs_simp_ret	0.5958	0.0600
438	recall_10	0.0254	0.0119
438	recall_100	0.1875	0.0639
438	recall_1000	0.6410	0.1827
438	recall_15	0.0369	0.0148
438	recall_20	0.0473	0.0179
438	recall_200	0.3031	0.0915
438	recall_30	0.0680	0.0256
438	recall_5	0.0132	0.0076
438	recall_500	0.5071	0.1476
438	recip_rank	0.6120	0.3369
438	relative_P_10	0.4391	0.2054
438	relative_P_100	0.3245	0.1105
438	relative_P_1000	0.6410	0.1827
438	relative_P_15	0.4255	0.1713
438	relative_P_20	0.4095	0.1551
438	relative_P_200	0.3031	0.0915
438	relative_P_30	0.3924	0.1475
438	relative_P_5	0.4582	0.2647
438	relative_P_500	0.5071	0.1476
438	set_F	0.1992	0.0395
438	set_P	0.1206	0.0247
438	set_map	0.0792	0.0281
438	set_recall	0.6410	0.1827
438	set_relative_P	0.6410	0.1827
438	success_1	0.4000	0.4899
438	success_10	0.9727	0.1629
438	success_5	0.9182	0.2741
438	utility	-700.3818	174.8053
439	11pt_avg	0.0630	0.0446
439	G	0.0411	0.0202
439	P_10	0.1336	0.0717
439	P_100	0.1093	0.0897
439	P_1000	0.0655	0.0316
439	P_15	0.1200	0.0560
439	P_20	0.1236	0.0613
439	P_200	0.1073	0.0821
439	P_30	0.1218	0.0818
439	P_5	0.1145	0.1306
439	P_500	0.0874	0.0542
439	Rndcg	0.1703	0.0874
439	Rprec	0.1054	0.0802
439	Rprec_mult_0.20	0.1169	0.0877
439	Rprec_mult_0.40	0.1094	0.0876
439	Rprec_mult_0.60	0.1101	0.0903
439	Rprec_mult_0.80	0.1096	0.0855
439	Rprec_mult_1.00	0.1054	0.0802
439	Rprec_mult_1.20	0.1019	0.0753
439	Rprec_mult_1.40	0.0995	0.0701
439	Rprec_mult_1.60	0.0963	0.0653
439	Rprec_mult_1.80	0.0935	0.0615
439	Rprec_mult_2.00	0.0912	0.0586
439	binG	0.0411	0.0202
439	bpref	0.0712	0.0604
439	infAP	0.0407	0.0416
439	iprec_at_recall_0.00	0.3192	0.1745
439	iprec_at_recall_0.10	0.1211	0.1166
439	iprec_at_recall_0.20	0.1071	0.1141
439	iprec_at_recall_0.30	0.0783	0.1065
439	iprec_at_recall_0.40	0.0481	0.0820
439	iprec_at_recall_0.50	0.0190	0.0519
439	iprec_at_recall_0.60	0.0000	0.0000
439	iprec_at_recall_0.70	0.0000	0.0000
439	iprec_at_recall_0.80	0.0000	0.0000
439	iprec_at_recall_0.90	0.0000	0.0000
439	iprec_at_recall_1.00	0.0000	0.0000
439	map	0.0407	0.0416
439	map_cut_10	0.0017	0.0014
439	map_cut_100	0.0103	0.0163
439	map_cut_1000	0.0407	0.0416
439	map_cut_15	0.0021	0.0015
439	map_cut_20	0.0026	0.0018
439	map_cut_200	0.0187	0.0276
439	map_cut_30	0.0038	0.0036
439	map_cut_5	0.0011	0.0014
439	map_cut_500	0.0321	0.0387
439	ndcg	0.2341	0.1111
439	ndcg_cut_10	0.1190	0.0719
439	ndcg_cut_100	0.1096	0.0753
439	ndcg_cut_1000	0.2341	0.1111
439	ndcg_cut_15	0.1131	0.0550
439	ndcg_cut_20	0.1166	0.0509
439	ndcg_cut_200	0.1080	0.0737
439	ndcg_cut_30	0.1171	0.0595
439	ndcg_cut_5	0.1023	0.1191
439	ndcg_cut_500	0.1722	0.1005
439	ndcg_rel	0.2049	0.0880
439	num_nonrel_judged_ret	427.7273	124.3340
439	num_rel	219.0000	0.0000
439	num_rel_ret	65.5182	31.6411
439	num_ret	913.5455	248.0432
439	prefs_avgjg	0.2599	0.1286
439	prefs_avgjg_Rnonrel	0.0602	0.0095
439	prefs_avgjg_Rnonrel_ret	0.0754	0.0350
439	prefs_avgjg_imp	0.5401	0.1223
439	prefs_avgjg_ret	0.4805	0.1052
439	prefs_num_prefs_ful	102206.4091	50579.9176
439	prefs_num_prefs_ful_ret	14853.0273	9992.1501
439	prefs_num_prefs_poss	393324.0000	0.0000
439	prefs_pair	0.2599	0.1286
439	prefs_pair_imp	0.5401	0.1223
439	prefs_pair_ret	0.4805	0.1052
439	prefs_simp	0.2599	0.1286
439	prefs_simp_imp	0.5401	0.1223
439	prefs_simp_ret	0.4805	0.1052
439	recall_10	0.0061	0.0033
439	recall_100	0.0499	0.0410
439	recall_1000	0.2992	0.1445
439	recall_15	0.0082	0.0038
439	recall_20	0.0113	0.0056
439	recall_200	0.0980	0.0750
439	recall_30	0.0167	0.0112
439	recall_5	0.0026	0.0030
439	recall_500	0.1995	0.1237
439	recip_rank	0.2488	0.1909
439	relative_P_10	0.1336	0.0717
439	relative_P_100	0.1093	0.0897
439	relative_P_1000	0.2992	0.1445
439	relative_P_15	0.1200	0.0560
439	relative_P_20	0.1236	0.0613
439	relative_P_200	0.1073	0.0821
439	relative_P_30	0.1218	0.0818
439	relative_P_5	0.1145	0.1306
439	relative_P_500	0.1995	0.1237
439	set_F	0.1120	0.0464
439	set_P	0.0715	0.0265
439	set_map	0.0246	0.0190
439	set_recall	0.2992	0.1445
439	set_relative_P	0.3001	0.1428
439	success_1	0.0273	0.1629
439	success_10	0.8727	0.3333
439	success_5	0.4818	0.4997
439	utility	-782.5091	218.2821
440	11pt_avg	0.1181	0.0830
440	G	0.1022	0.0485
440	P_10	0.2955	0.2356
440	P_100	0.1167	0.0667
440	P_1000	0.0266	0.0086
440	P_15	0.2782	0.1928
440	P_20	0.2473	0.1658
440	P_200	0.0761	0.0399
440	P_30	0.2024	0.1244
440	P_5	0.3164	0.2755
440	P_500	0.0430	0.0165
440	Rndcg	0.2775	0.1285
440	Rprec	0.1596	0.0892
440	Rprec_mult_0.20	0.2950	0.2258
440	Rprec_mult_0.40	0.2397	0.1574
440	Rprec_mult_0.60	0.1945	0.1164
440	Rprec_mult_0.80	0.1723	0.0986
440	Rprec_mult_1.00	0.1596	0.0892
440	Rprec_mult_1.20	0.1463	0.0822
440	Rprec_mult_1.40	0.1364	0.0781
440	Rprec_mult_1.60	0.1266	0.0718
440	Rprec_mult_1.80	0.1181	0.0672
440	Rprec_mult_2.00	0.1110	0.0632
440	binG	0.1022	0.0485
440	bpref	0.1209	0.0744
440	infAP	0.0963	0.0737
440	iprec_at_recall_0.00	0.5458	0.3692
440	iprec_at_recall_0.10	0.3217	0.2491
440	iprec_at_recall_0.20	0.1823	0.1535
440	iprec_at_recall_0.30	0.1091	0.0963
440	iprec_at_recall_0.40	0.0711	0.0868
440	iprec_at_recall_0.50	0.0430	0.0601
440	iprec_at_recall_0.60	0.0163	0.0304
440	iprec_at_recall_0.70	0.0065	0.0194
440	iprec_at_recall_0.80	0.0029	0.0137
440	iprec_at_recall_0.90	0.0010	0.0074
440	iprec_at_recall_1.00	0.0000	0.0000
440	map	0.0963	0.0737
440	map_cut_10	0.0355	0.0389
440	map_cut_100	0.0780	0.0662
440	map_cut_1000	0.0963	0.0737
440	map_cut_15	0.0446	0.0449
440	map_cut_20	0.0500	0.0494
440	map_cut_200	0.0857	0.0704
440	map_cut_30	0.0562	0.0528
440	map_cut_5	0.0220	0.0247
440	map_cut_500	0.0929	0.0728
440	ndcg	0.3617	0.1446
440	ndcg_cut_10	0.3106	0.2613
440	ndcg_cut_100	0.2295	0.1365
440	ndcg_cut_1000	0.3617	0.1446
440	ndcg_cut_15	0.2957	0.2221
440	ndcg_cut_20	0.2720	0.1989
440	ndcg_cut_200	0.2658	0.1475
440	ndcg_cut_30	0.2354	0.1598
440	ndcg_cut_5	0.3290	0.2997
440	ndcg_cut_500	0.3216	0.1460
440	ndcg_rel	0.3335	0.1425
440	num_nonrel_judged_ret	384.0636	105.4445
440	num_rel	54.0000	0.0000
440	num_rel_ret	26.6364	8.6210
440	num_ret	931.8182	215.6098
440	prefs_avgjg	0.4554	0.1486
440	prefs_avgjg_Rnonrel	0.0181	0.0022
440	prefs_avgjg_Rnonrel_ret	0.0457	0.0236
440	prefs_avgjg_imp	0.7485	0.0899
440	prefs_avgjg_ret	0.6328	0.1326
440	prefs_num_prefs_ful	43671.7091	14254.0508
440	prefs_num_prefs_ful_ret	7036.5364	3906.7980
440	prefs_num_prefs_poss	95904.0000	0.0000
440	prefs_pair	0.4554	0.1486
440	prefs_pair_imp	0.7485	0.0899
440	prefs_pair_ret	0.6328	0.1326
440	prefs_simp	0.4554	0.1486
440	prefs_simp_imp	0.7485	0.0899
440	prefs_simp_ret	0.6328	0.1326
440	recall_10	0.0547	0.0436
440	recall_100	0.2162	0.1235
440	recall_1000	0.4933	0.1596
440	recall_15	0.0773	0.0535
440	recall_20	0.0916	0.0614
440	recall_200	0.2818	0.1478
440	recall_30	0.1125	0.0691
440	recall_5	0.0293	0.0255
440	recall_500	0.3980	0.1524
440	recip_rank	0.5074	0.3897
440	relative_P_10	0.2955	0.2356
440	relative_P_100	0.2162	0.1235
440	relative_P_1000	0.4933	0.1596
440	relative_P_15	0.2782	0.1928
440	relative_P_20	0.2473	0.1658
440	relative_P_200	0.2818	0.1478
440	relative_P_30	0.2024	0.1244
440	relative_P_5	0.3164	0.2755
440	relative_P_500	0.3980	0.1524
440	set_F	0.0580	0.0250
440	set_P	0.0314	0.0154
440	set_map	0.0162	0.0094
440	set_recall	0.4933	0.1596
440	set_relative_P	0.4933	0.1596
440	success_1	0.3455	0.4755
440	success_10	0.7727	0.4191
440	success_5	0.7091	0.4542
440	utility	-878.5455	210.4594
441	11pt_avg	0.5577	0.1254
441	G	0.4131	0.0867
441	P_10	0.6900	0.1160
441	P_100	0.1376	0.0333
441	P_1000	0.0154	0.0026
441	P_15	0.5697	0.0941
441	P_20	0.4845	0.0873
441	P_200	0.0716	0.0150
441	P_30	0.3724	0.0884
441	P_5	0.7345	0.1455
441	P_500	0.0301	0.0056
441	Rndcg	0.6943	0.1157
441	Rprec	0.5337	0.0903
441	Rprec_mult_0.20	0.8068	0.2069
441	Rprec_mult_0.40	0.7273	0.1211
441	Rprec_mult_0.60	0.6571	0.1128
441	Rprec_mult_0.80	0.5942	0.0982
441	Rprec_mult_1.00	0.5337	0.0903
441	Rprec_mult_1.20	0.4675	0.0881
441	Rprec_mult_1.40	0.4292	0.0905
441	Rprec_mult_1.60	0.3873	0.0878
441	Rprec_mult_1.80	0.3651	0.0899
441	Rprec_mult_2.00	0.3441	0.0918
441	binG	0.4131	0.0867
441	bpref	0.5105	0.0969
441	infAP	0.5347	0.1326
441	iprec_at_recall_0.00	0.9521	0.1186
441	iprec_at_recall_0.10	0.9283	0.1501
441	iprec_at_recall_0.20	0.8725	0.1577
441	iprec_at_recall_0.30	0.7883	0.1320
441	iprec_at_recall_0.40	0.7401	0.1424
441	iprec_at_recall_0.50	0.5711	0.2086
441	iprec_at_recall_0.60	0.4029	0.2142
441	iprec_at_recall_0.70	0.3189	0.2147
441	iprec_at_recall_0.80	0.2378	0.2020
441	iprec_at_recall_0.90	0.1980	0.1980
441	iprec_at_recall_1.00	0.1253	0.1799
441	map	0.5347	0.1326
441	map_cut_10	0.3379	0.0663
441	map_cut_100	0.5293	0.1350
441	map_cut_1000	0.5347	0.1326
441	map_cut_15	0.4019	0.0791
441	map_cut_20	0.4404	0.0915
441	map_cut_200	0.5324	0.1336
441	map_cut_30	0.4828	0.1156
441	map_cut_5	0.1940	0.0600
441	map_cut_500	0.5342	0.1329
441	ndcg	0.7831	0.1374
441	ndcg_cut_10	0.7217	0.1145
441	ndcg_cut_100	0.7512	0.1543
441	ndcg_cut_1000	0.7831	0.1374
441	ndcg_cut_15	0.6338	0.1021
441	ndcg_cut_20	0.6282	0.1076
441	ndcg_cut_200	0.7636	0.1461
441	ndcg_cut_30	0.6778	0.1330
441	ndcg_cut_5	0.7600	0.1671
441	ndcg_cut_500	0.7769	0.1413
441	ndcg_rel	0.7503	0.1269
441	num_nonrel_judged_ret	474.9727	151.7366
441	num_rel	17.0000	0.0000
441	num_rel_ret	15.4000	2.6327
441	num_ret	914.0455	247.1907
441	prefs_avgjg	0.8867	0.1542
441	prefs_avgjg_Rnonrel	0.0107	0.0010
441	prefs_avgjg_Rnonrel_ret	0.0501	0.0962
441	prefs_avgjg_imp	0.9551	0.0489
441	prefs_avgjg_ret	0.9151	0.1005
441	prefs_num_prefs_ful	23167.5727	4028.8800
441	prefs_num_prefs_ful_ret	7086.8545	2797.7746
441	prefs_num_prefs_poss	26129.0000	0.0000
441	prefs_pair	0.8867	0.1542
441	prefs_pair_imp	0.9551	0.0489
441	prefs_pair_ret	0.9151	0.1005
441	prefs_simp	0.8867	0.1542
441	prefs_simp_imp	0.9551	0.0489
441	prefs_simp_ret	0.9151	0.1005
441	recall_10	0.4059	0.0682
441	recall_100	0.8096	0.1961
441	recall_1000	0.9059	0.1549
441	recall_15	0.5027	0.0830
441	recall_20	0.5701	0.1027
441	recall_200	0.8428	0.1760
441	recall_30	0.6572	0.1560
441	recall_5	0.2161	0.0428
441	recall_500	0.8840	0.1657
441	recip_rank	0.8805	0.2317
441	relative_P_10	0.6900	0.1160
441	relative_P_100	0.8096	0.1961
441	relative_P_1000	0.9059	0.1549
441	relative_P_15	0.5697	0.0941
441	relative_P_20	0.5701	0.1027
441	relative_P_200	0.8428	0.1760
441	relative_P_30	0.6572	0.1560
441	relative_P_5	0.7345	0.1455
441	relative_P_500	0.8840	0.1657
441	set_F	0.0488	0.1028
441	set_P	0.0302	0.0908
441	set_map	0.0273	0.0854
441	set_recall	0.9059	0.1549
441	set_relative_P	0.9059	0.1549
441	success_1	0.7818	0.4130
441	success_10	0.9909	0.0949
441	success_5	0.9909	0.0949
441	utility	-883.2455	243.7790
442	11pt_avg	0.0320	0.0375
442	G	0.0282	0.0232
442	P_10	0.0918	0.1063
442	P_100	0.0422	0.0377
442	P_1000	0.0172	0.0138
442	P_15	0.0824	0.0871
442	P_20	0.0714	0.0721
442	P_200	0.0328	0.0273
442	P_30	0.0606	0.0595
442	P_5	0.1145	0.1778
442	P_500	0.0237	0.0206
442	Rndcg	0.0902	0.0728
442	Rprec	0.0425	0.0370
442	Rprec_mult_0.20	0.0737	0.0752
442	Rprec_mult_0.40	0.0538	0.0494
442	Rprec_mult_0.60	0.0486	0.0437
442	Rprec_mult_0.80	0.0446	0.0386
442	Rprec_mult_1.00	0.0425	0.0370
442	Rprec_mult_1.20	0.0403	0.0373
442	Rprec_mult_1.40	0.0385	0.0352
442	Rprec_mult_1.60	0.0365	0.0321
442	Rprec_mult_1.80	0.0348	0.0293
442	Rprec_mult_2.00	0.0336	0.0281
442	binG	0.0282	0.0232
442	bpref	0.0297	0.0251
442	infAP	0.0145	0.0206
442	iprec_at_recall_0.00	0.2693	0.3129
442	iprec_at_recall_0.10	0.0369	0.0526
442	iprec_at_recall_0.20	0.0221	0.0400
442	iprec_at_recall_0.30	0.0124	0.0358
442	iprec_at_recall_0.40	0.0045	0.0209
442	iprec_at_recall_0.50	0.0041	0.0195
442	iprec_at_recall_0.60	0.0021	0.0124
442	iprec_at_recall_0.70	0.0007	0.0071
442	iprec_at_recall_0.80	0.0000	0.0000
442	iprec_at_recall_0.90	0.0000	0.0000
442	iprec_at_recall_1.00	0.0000	0.0000
442	map	0.0145	0.0206
442	map_cut_10	0.0044	0.0071
442	map_cut_100	0.0082	0.0114
442	map_cut_1000	0.0145	0.0206
442	map_cut_15	0.0051	0.0080
442	map_cut_20	0.0054	0.0083
442	map_cut_200	0.0099	0.0136
442	map_cut_30	0.0059	0.0089
442	map_cut_5	0.0036	0.0064
442	map_cut_500	0.0127	0.0186
442	ndcg	0.1291	0.1033
442	ndcg_cut_10	0.0979	0.1259
442	ndcg_cut_100	0.0529	0.0470
442	ndcg_cut_1000	0.1291	0.1033
442	ndcg_cut_15	0.0902	0.1079
442	ndcg_cut_20	0.0815	0.0930
442	ndcg_cut_200	0.0692	0.0585
442	ndcg_cut_30	0.0717	0.0767
442	ndcg_cut_5	0.1143	0.1797
442	ndcg_cut_500	0.1009	0.0862
442	ndcg_rel	0.1196	0.0885
442	num_nonrel_judged_ret	365.0545	146.6554
442	num_rel	94.0000	0.0000
442	num_rel_ret	17.2364	13.8288
442	num_ret	914.8000	244.5534
442	prefs_avgjg	0.1683	0.1340
442	prefs_avgjg_Rnonrel	0.0183	0.0012
442	prefs_avgjg_Rnonrel_ret	0.0230	0.0184
442	prefs_avgjg_imp	0.5054	0.1821
442	prefs_avgjg_ret	0.5285	0.1563
442	prefs_num_prefs_ful	40904.4818	32557.5655
442	prefs_num_prefs_ful_ret	4071.1091	4055.4249
442	prefs_num_prefs_poss	242990.0000	0.0000
442	prefs_pair	0.1683	0.1340
442	prefs_pair_imp	0.5054	0.1821
442	prefs_pair_ret	0.5285	0.1563
442	prefs_simp	0.1683	0.1340
442	prefs_simp_imp	0.5054	0.1821
442	prefs_simp_ret	0.5285	0.1563
442	recall_10	0.0098	0.0113
442	recall_100	0.0449	0.0401
442	recall_1000	0.1834	0.1471
442	recall_15	0.0131	0.0139
442	recall_20	0.0152	0.0154
442	recall_200	0.0698	0.0582
442	recall_30	0.0193	0.0190
442	recall_5	0.0061	0.0095
442	recall_500	0.1262	0.1095
442	recip_rank	0.2302	0.2979
442	relative_P_10	0.0918	0.1063
442	relative_P_100	0.0449	0.0401
442	relative_P_1000	0.1834	0.1471
442	relative_P_15	0.0824	0.0871
442	relative_P_20	0.0714	0.0721
442	relative_P_200	0.0698	0.0582
442	relative_P_30	0.0606	0.0595
442	relative_P_5	0.1145	0.1778
442	relative_P_500	0.1262	0.1095
442	set_F	   nan	   nan
442	set_P	0.0204	0.0168
442	set_map	0.0054	0.0081
442	set_recall	0.1834	0.1471
442	set_relative_P	0.1839	0.1467
442	success_1	0.1000	0.3000
442	success_10	0.5182	0.4997
442	success_5	0.3455	0.4755
442	utility	-880.3273	238.0338
443	11pt_avg	0.1227	0.0500
443	G	0.0930	0.0244
443	P_10	0.3264	0.1650
443	P_100	0.1666	0.0623
443	P_1000	0.0578	0.0162
443	P_15	0.3327	0.1406
443	P_20	0.3068	0.1269
443	P_200	0.1249	0.0434
443	P_30	0.2688	0.1030
443	P_5	0.2927	0.2267
443	P_500	0.0872	0.0265
443	Rndcg	0.3036	0.0776
443	Rprec	0.1650	0.0615
443	Rprec_mult_0.20	0.3052	0.1247
443	Rprec_mult_0.40	0.2373	0.0827
443	Rprec_mult_0.60	0.2013	0.0715
443	Rprec_mult_0.80	0.1826	0.0680
443	Rprec_mult_1.00	0.1650	0.0615
443	Rprec_mult_1.20	0.1545	0.0564
443	Rprec_mult_1.40	0.1433	0.0515
443	Rprec_mult_1.60	0.1349	0.0476
443	Rprec_mult_1.80	0.1287	0.0457
443	Rprec_mult_2.00	0.1238	0.0430
443	binG	0.0930	0.0244
443	bpref	0.1307	0.0467
443	infAP	0.0983	0.0430
443	iprec_at_recall_0.00	0.5478	0.2862
443	iprec_at_recall_0.10	0.2646	0.1386
443	iprec_at_recall_0.20	0.1614	0.0981
443	iprec_at_recall_0.30	0.1287	0.0746
443	iprec_at_recall_0.40	0.1015	0.0589
443	iprec_at_recall_0.50	0.0807	0.0517
443	iprec_at_recall_0.60	0.0457	0.0520
443	iprec_at_recall_0.70	0.0148	0.0404
443	iprec_at_recall_0.80	0.0042	0.0308
443	iprec_at_recall_0.90	0.0000	0.0000
443	iprec_at_recall_1.00	0.0000	0.0000
443	map	0.0983	0.0430
443	map_cut_10	0.0159	0.0131
443	map_cut_100	0.0537	0.0326
443	map_cut_1000	0.0983	0.0430
443	map_cut_15	0.0225	0.0161
443	map_cut_20	0.0269	0.0180
443	map_cut_200	0.0669	0.0384
443	map_cut_30	0.0333	0.0212
443	map_cut_5	0.0087	0.0098
443	map_cut_500	0.0873	0.0428
443	ndcg	0.4180	0.1038
443	ndcg_cut_10	0.3065	0.1798
443	ndcg_cut_100	0.1907	0.0691
443	ndcg_cut_1000	0.4180	0.1038
443	ndcg_cut_15	0.3151	0.1526
443	ndcg_cut_20	0.3008	0.1354
443	ndcg_cut_200	0.2425	0.0810
443	ndcg_cut_30	0.2759	0.1136
443	ndcg_cut_5	0.2776	0.2429
443	ndcg_cut_500	0.3473	0.0955
443	ndcg_rel	0.3493	0.0817
443	num_nonrel_judged_ret	402.2000	130.4835
443	num_rel	102.0000	0.0000
443	num_rel_ret	57.7636	16.1869
443	num_ret	931.8182	215.6098
443	prefs_avgjg	0.5162	0.1386
443	prefs_avgjg_Rnonrel	0.0286	0.0022
443	prefs_avgjg_Rnonrel_ret	0.0857	0.0201
443	prefs_avgjg_imp	0.8042	0.0431
443	prefs_avgjg_ret	0.5746	0.0852
443	prefs_num_prefs_ful	112039.6636	30082.3083
443	prefs_num_prefs_ful_ret	14131.1273	6266.8381
443	prefs_num_prefs_poss	217056.0000	0.0000
443	prefs_pair	0.5162	0.1386
443	prefs_pair_imp	0.8042	0.0431
443	prefs_pair_ret	0.5746	0.0852
443	prefs_simp	0.5162	0.1386
443	prefs_simp_imp	0.8042	0.0431
443	prefs_simp_ret	0.5746	0.0852
443	recall_10	0.0320	0.0162
443	recall_100	0.1634	0.0610
443	recall_1000	0.5663	0.1587
443	recall_15	0.0489	0.0207
443	recall_20	0.0601	0.0249
443	recall_200	0.2449	0.0851
443	recall_30	0.0790	0.0303
443	recall_5	0.0143	0.0111
443	recall_500	0.4275	0.1300
443	recip_rank	0.4325	0.3363
443	relative_P_10	0.3264	0.1650
443	relative_P_100	0.1666	0.0623
443	relative_P_1000	0.5663	0.1587
443	relative_P_15	0.3327	0.1406
443	relative_P_20	0.3068	0.1269
443	relative_P_200	0.2449	0.0851
443	relative_P_30	0.2688	0.1030
443	relative_P_5	0.2927	0.2267
443	relative_P_500	0.4275	0.1300
443	set_F	0.1123	0.0257
443	set_P	0.0635	0.0171
443	set_map	0.0367	0.0143
443	set_recall	0.5663	0.1587
443	set_relative_P	0.5663	0.1587
443	success_1	0.2364	0.4248
443	success_10	0.9364	0.2441
443	success_5	0.7545	0.4304
443	utility	-816.2909	193.7434
444	11pt_avg	0.6471	0.2119
444	G	0.5413	0.1540
444	P_10	0.7700	0.1998
444	P_100	0.1322	0.0378
444	P_1000	0.0153	0.0028
444	P_15	0.6685	0.2043
444	P_20	0.5664	0.1838
444	P_200	0.0692	0.0171
444	P_30	0.4033	0.1301
444	P_5	0.9018	0.1742
444	P_500	0.0293	0.0060
444	Rndcg	0.7736	0.1607
444	Rprec	0.6294	0.1976
444	Rprec_mult_0.20	0.9409	0.1542
444	Rprec_mult_0.40	0.8299	0.1853
444	Rprec_mult_0.60	0.7537	0.2056
444	Rprec_mult_0.80	0.6915	0.2068
444	Rprec_mult_1.00	0.6294	0.1976
444	Rprec_mult_1.20	0.5485	0.1760
444	Rprec_mult_1.40	0.4883	0.1569
444	Rprec_mult_1.60	0.4282	0.1373
444	Rprec_mult_1.80	0.3927	0.1272
444	Rprec_mult_2.00	0.3615	0.1161
444	binG	0.5413	0.1540
444	bpref	0.6322	0.2218
444	infAP	0.6475	0.2240
444	iprec_at_recall_0.00	0.9922	0.0813
444	iprec_at_recall_0.10	0.9848	0.1057
444	iprec_at_recall_0.20	0.9236	0.2190
444	iprec_at_recall_0.30	0.8862	0.2394
444	iprec_at_recall_0.40	0.7768	0.3009
444	iprec_at_recall_0.50	0.6801	0.3434
444	iprec_at_recall_0.60	0.5945	0.3818
444	iprec_at_recall_0.70	0.5233	0.3763
444	iprec_at_recall_0.80	0.3770	0.3541
444	iprec_at_recall_0.90	0.2517	0.3020
444	iprec_at_recall_1.00	0.1285	0.2492
444	map	0.6475	0.2240
444	map_cut_10	0.4312	0.1198
444	map_cut_100	0.6416	0.2277
444	map_cut_1000	0.6475	0.2240
444	map_cut_15	0.5445	0.1820
444	map_cut_20	0.5996	0.2162
444	map_cut_200	0.6447	0.2259
444	map_cut_30	0.6244	0.2265
444	map_cut_5	0.2634	0.0529
444	map_cut_500	0.6466	0.2245
444	ndcg	0.8332	0.1573
444	ndcg_cut_10	0.8254	0.1639
444	ndcg_cut_100	0.7939	0.1832
444	ndcg_cut_1000	0.8332	0.1573
444	ndcg_cut_15	0.7453	0.1710
444	ndcg_cut_20	0.7369	0.1787
444	ndcg_cut_200	0.8075	0.1744
444	ndcg_cut_30	0.7630	0.1864
444	ndcg_cut_5	0.9268	0.1436
444	ndcg_cut_500	0.8225	0.1636
444	ndcg_rel	0.8526	0.1399
444	num_nonrel_judged_ret	419.8091	120.6923
444	num_rel	17.0000	0.0000
444	num_rel_ret	15.2727	2.7991
444	num_ret	903.6545	255.8262
444	prefs_avgjg	0.8787	0.1660
444	prefs_avgjg_Rnonrel	0.0110	0.0025
444	prefs_avgjg_Rnonrel_ret	0.0454	0.0239
444	prefs_avgjg_imp	0.9561	0.0491
444	prefs_avgjg_ret	0.8915	0.1566
444	prefs_num_prefs_ful	25007.2545	4724.0312
444	prefs_num_prefs_ful_ret	6098.4727	2293.7084
444	prefs_num_prefs_poss	28458.0000	0.0000
444	prefs_pair	0.8787	0.1660
444	prefs_pair_imp	0.9561	0.0491
444	prefs_pair_ret	0.8915	0.1566
444	prefs_simp	0.8787	0.1660
444	prefs_simp_imp	0.9561	0.0491
444	prefs_simp_ret	0.8915	0.1566
444	recall_10	0.4529	0.1175
444	recall_100	0.7775	0.2226
444	recall_1000	0.8984	0.1646
444	recall_15	0.5898	0.1803
444	recall_20	0.6663	0.2162
444	recall_200	0.8139	0.2015
444	recall_30	0.7118	0.2296
444	recall_5	0.2652	0.0512
444	recall_500	0.8604	0.1750
444	recip_rank	0.9920	0.0830
444	relative_P_10	0.7700	0.1998
444	relative_P_100	0.7775	0.2226
444	relative_P_1000	0.8984	0.1646
444	relative_P_15	0.6685	0.2043
444	relative_P_20	0.6663	0.2162
444	relative_P_200	0.8139	0.2015
444	relative_P_30	0.7118	0.2296
444	relative_P_5	0.9018	0.1742
444	relative_P_500	0.8604	0.1750
444	set_F	0.0419	0.0396
444	set_P	0.0370	0.1314
444	set_map	0.0201	0.0225
444	set_recall	0.8984	0.1646
444	set_relative_P	0.9134	0.1327
444	success_1	0.9909	0.0949
444	success_10	1.0000	0.0000
444	success_5	0.9909	0.0949
444	utility	-873.1091	252.3159
445	11pt_avg	0.1669	0.0894
445	G	0.1264	0.0607
445	P_10	0.4464	0.2543
445	P_100	0.1528	0.0527
445	P_1000	0.0353	0.0162
445	P_15	0.4103	0.2042
445	P_20	0.3650	0.1701
445	P_200	0.1009	0.0417
445	P_30	0.3067	0.1236
445	P_5	0.4527	0.3210
445	P_500	0.0578	0.0273
445	Rndcg	0.3461	0.1294
445	Rprec	0.2057	0.0700
445	Rprec_mult_0.20	0.4266	0.2185
445	Rprec_mult_0.40	0.3320	0.1482
445	Rprec_mult_0.60	0.2725	0.1014
445	Rprec_mult_0.80	0.2362	0.0808
445	Rprec_mult_1.00	0.2057	0.0700
445	Rprec_mult_1.20	0.1842	0.0627
445	Rprec_mult_1.40	0.1681	0.0565
445	Rprec_mult_1.60	0.1528	0.0527
445	Rprec_mult_1.80	0.1437	0.0510
445	Rprec_mult_2.00	0.1344	0.0473
445	binG	0.1264	0.0607
445	bpref	0.1670	0.0653
445	infAP	0.1403	0.0845
445	iprec_at_recall_0.00	0.6568	0.3124
445	iprec_at_recall_0.10	0.5079	0.2804
445	iprec_at_recall_0.20	0.2754	0.1626
445	iprec_at_recall_0.30	0.1258	0.1006
445	iprec_at_recall_0.40	0.0728	0.0863
445	iprec_at_recall_0.50	0.0639	0.0821
445	iprec_at_recall_0.60	0.0550	0.0714
445	iprec_at_recall_0.70	0.0406	0.0622
445	iprec_at_recall_0.80	0.0269	0.0488
445	iprec_at_recall_0.90	0.0110	0.0283
445	iprec_at_recall_1.00	0.0000	0.0000
445	map	0.1403	0.0845
445	map_cut_10	0.0494	0.0430
445	map_cut_100	0.1082	0.0661
445	map_cut_1000	0.1403	0.0845
445	map_cut_15	0.0635	0.0495
445	map_cut_20	0.0720	0.0534
445	map_cut_200	0.1205	0.0753
445	map_cut_30	0.0835	0.0571
445	map_cut_5	0.0273	0.0274
445	map_cut_500	0.1345	0.0837
445	ndcg	0.4402	0.1755
445	ndcg_cut_10	0.4386	0.2762
445	ndcg_cut_100	0.2788	0.1057
445	ndcg_cut_1000	0.4402	0.1755
445	ndcg_cut_15	0.4163	0.2307
445	ndcg_cut_20	0.3851	0.2012
445	ndcg_cut_200	0.3245	0.1303
445	ndcg_cut_30	0.3400	0.1584
445	ndcg_cut_5	0.4345	0.3338
445	ndcg_cut_500	0.3946	0.1667
445	ndcg_rel	0.3961	0.1487
445	num_nonrel_judged_ret	354.6909	123.9726
445	num_rel	62.0000	0.0000
445	num_rel_ret	35.3182	16.2273
445	num_ret	914.8364	244.4270
445	prefs_avgjg	0.5052	0.2190
445	prefs_avgjg_Rnonrel	0.0290	0.0030
445	prefs_avgjg_Rnonrel_ret	0.0661	0.0375
445	prefs_avgjg_imp	0.7308	0.1203
445	prefs_avgjg_ret	0.6556	0.1576
445	prefs_num_prefs_ful	42033.9727	18224.6745
445	prefs_num_prefs_ful_ret	8680.8182	4961.0272
445	prefs_num_prefs_poss	83204.0000	0.0000
445	prefs_pair	0.5052	0.2190
445	prefs_pair_imp	0.7308	0.1203
445	prefs_pair_ret	0.6556	0.1576
445	prefs_simp	0.5052	0.2190
445	prefs_simp_imp	0.7308	0.1203
445	prefs_simp_ret	0.6556	0.1576
445	recall_10	0.0720	0.0410
445	recall_100	0.2465	0.0850
445	recall_1000	0.5696	0.2617
445	recall_15	0.0993	0.0494
445	recall_20	0.1177	0.0549
445	recall_200	0.3254	0.1345
445	recall_30	0.1484	0.0598
445	recall_5	0.0365	0.0259
445	recall_500	0.4658	0.2201
445	recip_rank	0.5567	0.3612
445	relative_P_10	0.4464	0.2543
445	relative_P_100	0.2465	0.0850
445	relative_P_1000	0.5696	0.2617
445	relative_P_15	0.4103	0.2042
445	relative_P_20	0.3650	0.1701
445	relative_P_200	0.3254	0.1345
445	relative_P_30	0.3067	0.1236
445	relative_P_5	0.4527	0.3210
445	relative_P_500	0.4658	0.2201
445	set_F	0.0754	0.0428
445	set_P	0.0430	0.0385
445	set_map	0.0265	0.0200
445	set_recall	0.5696	0.2617
445	set_relative_P	0.5696	0.2617
445	success_1	0.3727	0.4835
445	success_10	0.9455	0.2271
445	success_5	0.8364	0.3699
445	utility	-844.2000	229.5402
446	11pt_avg	0.1909	0.1244
446	G	0.1005	0.0530
446	P_10	0.4955	0.2661
446	P_100	0.2805	0.1498
446	P_1000	0.0854	0.0369
446	P_15	0.4764	0.2627
446	P_20	0.4536	0.2444
446	P_200	0.2022	0.0996
446	P_30	0.4142	0.2246
446	P_5	0.5273	0.3365
446	P_500	0.1289	0.0638
446	Rndcg	0.3611	0.1689
446	Rprec	0.2245	0.1131
446	Rprec_mult_0.20	0.4061	0.2203
446	Rprec_mult_0.40	0.3326	0.1773
446	Rprec_mult_0.60	0.2834	0.1507
446	Rprec_mult_0.80	0.2484	0.1295
446	Rprec_mult_1.00	0.2245	0.1131
446	Rprec_mult_1.20	0.2049	0.1016
446	Rprec_mult_1.40	0.1923	0.0943
446	Rprec_mult_1.60	0.1807	0.0899
446	Rprec_mult_1.80	0.1711	0.0863
446	Rprec_mult_2.00	0.1615	0.0812
446	binG	0.1005	0.0530
446	bpref	0.1979	0.1040
446	infAP	0.1624	0.1212
446	iprec_at_recall_0.00	0.7329	0.3359
446	iprec_at_recall_0.10	0.4184	0.2684
446	iprec_at_recall_0.20	0.3003	0.2247
446	iprec_at_recall_0.30	0.2144	0.1826
446	iprec_at_recall_0.40	0.1623	0.1484
446	iprec_at_recall_0.50	0.1200	0.1224
446	iprec_at_recall_0.60	0.0899	0.1068
446	iprec_at_recall_0.70	0.0458	0.0903
446	iprec_at_recall_0.80	0.0164	0.0472
446	iprec_at_recall_0.90	0.0000	0.0000
446	iprec_at_recall_1.00	0.0000	0.0000
446	map	0.1624	0.1212
446	map_cut_10	0.0233	0.0177
446	map_cut_100	0.0944	0.0765
446	map_cut_1000	0.1624	0.1212
446	map_cut_15	0.0321	0.0246
446	map_cut_20	0.0393	0.0301
446	map_cut_200	0.1166	0.0930
446	map_cut_30	0.0512	0.0401
446	map_cut_5	0.0138	0.0111
446	map_cut_500	0.1472	0.1135
446	ndcg	0.4560	0.2057
446	ndcg_cut_10	0.5104	0.2955
446	ndcg_cut_100	0.3219	0.1725
446	ndcg_cut_1000	0.4560	0.2057
446	ndcg_cut_15	0.4942	0.2836
446	ndcg_cut_20	0.4761	0.2675
446	ndcg_cut_200	0.2845	0.1435
446	ndcg_cut_30	0.4437	0.2461
446	ndcg_cut_5	0.5350	0.3579
446	ndcg_cut_500	0.3816	0.1889
446	ndcg_rel	0.4167	0.1846
446	num_nonrel_judged_ret	351.0636	112.6569
446	num_rel	162.0000	0.0000
446	num_rel_ret	85.4364	36.9384
446	num_ret	916.4727	238.9793
446	prefs_avgjg	0.4853	0.2107
446	prefs_avgjg_Rnonrel	0.0543	0.0101
446	prefs_avgjg_Rnonrel_ret	0.1556	0.0689
446	prefs_avgjg_imp	0.7738	0.1139
446	prefs_avgjg_ret	0.5852	0.0968
446	prefs_num_prefs_ful	146069.2000	63428.4763
446	prefs_num_prefs_ful_ret	19877.1727	11892.0840
446	prefs_num_prefs_poss	300996.0000	0.0000
446	prefs_pair	0.4853	0.2107
446	prefs_pair_imp	0.7738	0.1139
446	prefs_pair_ret	0.5852	0.0968
446	prefs_simp	0.4853	0.2107
446	prefs_simp_imp	0.7738	0.1139
446	prefs_simp_ret	0.5852	0.0968
446	recall_10	0.0306	0.0164
446	recall_100	0.1732	0.0924
446	recall_1000	0.5274	0.2280
446	recall_15	0.0441	0.0243
446	recall_20	0.0560	0.0302
446	recall_200	0.2497	0.1230
446	recall_30	0.0767	0.0416
446	recall_5	0.0163	0.0104
446	recall_500	0.3977	0.1970
446	recip_rank	0.6772	0.3857
446	relative_P_10	0.4955	0.2661
446	relative_P_100	0.2805	0.1498
446	relative_P_1000	0.5274	0.2280
446	relative_P_15	0.4764	0.2627
446	relative_P_20	0.4536	0.2444
446	relative_P_200	0.2497	0.1230
446	relative_P_30	0.4142	0.2246
446	relative_P_5	0.5273	0.3365
446	relative_P_500	0.3977	0.1970
446	set_F	0.1575	0.0561
446	set_P	0.0961	0.0370
446	set_map	0.0555	0.0346
446	set_recall	0.5274	0.2280
446	set_relative_P	0.5275	0.2278
446	success_1	0.5727	0.4947
446	success_10	0.9455	0.2271
446	success_5	0.8545	0.3526
446	utility	-745.6000	208.4235
447	11pt_avg	0.3732	0.2603
447	G	0.3364	0.2178
447	P_10	0.4400	0.2992
447	P_100	0.1062	0.0489
447	P_1000	0.0145	0.0031
447	P_15	0.3667	0.2680
447	P_20	0.3064	0.2200
447	P_200	0.0616	0.0231
447	P_30	0.2342	0.1621
447	P_5	0.5000	0.2914
447	P_500	0.0278	0.0071
447	Rndcg	0.5190	0.2321
447	Rprec	0.3540	0.2605
447	Rprec_mult_0.20	0.5091	0.3014
447	Rprec_mult_0.40	0.4818	0.2901
447	Rprec_mult_0.60	0.4400	0.2992
447	Rprec_mult_0.80	0.3951	0.2857
447	Rprec_mult_1.00	0.3540	0.2605
447	Rprec_mult_1.20	0.3064	0.2200
447	Rprec_mult_1.40	0.2802	0.1993
447	Rprec_mult_1.60	0.2598	0.1840
447	Rprec_mult_1.80	0.2398	0.1670
447	Rprec_mult_2.00	0.2236	0.1516
447	binG	0.3364	0.2178
447	bpref	0.3304	0.2724
447	infAP	0.3501	0.2693
447	iprec_at_recall_0.00	0.7667	0.3249
447	iprec_at_recall_0.10	0.6505	0.3276
447	iprec_at_recall_0.20	0.4785	0.3458
447	iprec_at_recall_0.30	0.4212	0.3472
447	iprec_at_recall_0.40	0.3579	0.3440
447	iprec_at_recall_0.50	0.3391	0.3445
447	iprec_at_recall_0.60	0.3189	0.3435
447	iprec_at_recall_0.70	0.2815	0.3103
447	iprec_at_recall_0.80	0.2447	0.2860
447	iprec_at_recall_0.90	0.1606	0.2206
447	iprec_at_recall_1.00	0.0857	0.1504
447	map	0.3501	0.2693
447	map_cut_10	0.2128	0.1919
447	map_cut_100	0.3368	0.2745
447	map_cut_1000	0.3501	0.2693
447	map_cut_15	0.2602	0.2524
447	map_cut_20	0.2800	0.2707
447	map_cut_200	0.3459	0.2720
447	map_cut_30	0.3014	0.2797
447	map_cut_5	0.1261	0.0977
447	map_cut_500	0.3495	0.2697
447	ndcg	0.6339	0.2117
447	ndcg_cut_10	0.4702	0.2902
447	ndcg_cut_100	0.5530	0.2635
447	ndcg_cut_1000	0.6339	0.2117
447	ndcg_cut_15	0.4142	0.2665
447	ndcg_cut_20	0.4220	0.2698
447	ndcg_cut_200	0.5924	0.2506
447	ndcg_cut_30	0.4534	0.2797
447	ndcg_cut_5	0.5171	0.2986
447	ndcg_cut_500	0.6236	0.2215
447	ndcg_rel	0.5590	0.2368
447	num_nonrel_judged_ret	417.5545	147.3658
447	num_rel	16.0000	0.0000
447	num_rel_ret	14.4727	3.1384
447	num_ret	913.6909	248.5156
447	prefs_avgjg	0.8685	0.1949
447	prefs_avgjg_Rnonrel	0.0080	0.0029
447	prefs_avgjg_Rnonrel_ret	0.0328	0.0258
447	prefs_avgjg_imp	0.9394	0.0690
447	prefs_avgjg_ret	0.8172	0.1922
447	prefs_num_prefs_ful	21844.3727	4900.8100
447	prefs_num_prefs_ful_ret	5429.4727	2774.8367
447	prefs_num_prefs_poss	25152.0000	0.0000
447	prefs_pair	0.8685	0.1949
447	prefs_pair_imp	0.9394	0.0690
447	prefs_pair_ret	0.8172	0.1922
447	prefs_simp	0.8685	0.1949
447	prefs_simp_imp	0.9394	0.0690
447	prefs_simp_ret	0.8172	0.1922
447	recall_10	0.2750	0.1870
447	recall_100	0.6636	0.3055
447	recall_1000	0.9045	0.1961
447	recall_15	0.3438	0.2512
447	recall_20	0.3830	0.2750
447	recall_200	0.7699	0.2892
447	recall_30	0.4392	0.3039
447	recall_5	0.1562	0.0911
447	recall_500	0.8676	0.2223
447	recip_rank	0.7224	0.3560
447	relative_P_10	0.4400	0.2992
447	relative_P_100	0.6636	0.3055
447	relative_P_1000	0.9045	0.1961
447	relative_P_15	0.3667	0.2680
447	relative_P_20	0.3830	0.2750
447	relative_P_200	0.7699	0.2892
447	relative_P_30	0.4392	0.3039
447	relative_P_5	0.5000	0.2914
447	relative_P_500	0.8676	0.2223
447	set_F	0.0374	0.0290
447	set_P	0.0293	0.0872
447	set_map	0.0173	0.0117
447	set_recall	0.9045	0.1961
447	set_relative_P	0.9144	0.1684
447	success_1	0.6000	0.4899
447	success_10	0.9091	0.2875
447	success_5	0.9091	0.2875
447	utility	-884.7455	244.3966
448	11pt_avg	0.0452	0.0388
448	G	0.0556	0.0239
448	P_10	0.0991	0.0958
448	P_100	0.0449	0.0266
448	P_1000	0.0158	0.0061
448	P_15	0.0897	0.0781
448	P_20	0.0764	0.0598
448	P_200	0.0356	0.0185
448	P_30	0.0624	0.0472
448	P_5	0.1236	0.1401
448	P_500	0.0235	0.0100
448	Rndcg	0.1386	0.0670
448	Rprec	0.0563	0.0418
448	Rprec_mult_0.20	0.0991	0.0958
448	Rprec_mult_0.40	0.0770	0.0634
448	Rprec_mult_0.60	0.0659	0.0499
448	Rprec_mult_0.80	0.0592	0.0456
448	Rprec_mult_1.00	0.0563	0.0418
448	Rprec_mult_1.20	0.0523	0.0371
448	Rprec_mult_1.40	0.0504	0.0348
448	Rprec_mult_1.60	0.0493	0.0329
448	Rprec_mult_1.80	0.0485	0.0312
448	Rprec_mult_2.00	0.0466	0.0288
448	binG	0.0556	0.0239
448	bpref	0.0381	0.0284
448	infAP	0.0255	0.0198
448	iprec_at_recall_0.00	0.3434	0.3436
448	iprec_at_recall_0.10	0.0734	0.0724
448	iprec_at_recall_0.20	0.0384	0.0321
448	iprec_at_recall_0.30	0.0239	0.0271
448	iprec_at_recall_0.40	0.0138	0.0247
448	iprec_at_recall_0.50	0.0043	0.0225
448	iprec_at_recall_0.60	0.0000	0.0000
448	iprec_at_recall_0.70	0.0000	0.0000
448	iprec_at_recall_0.80	0.0000	0.0000
448	iprec_at_recall_0.90	0.0000	0.0000
448	iprec_at_recall_1.00	0.0000	0.0000
448	map	0.0255	0.0198
448	map_cut_10	0.0099	0.0120
448	map_cut_100	0.0172	0.0158
448	map_cut_1000	0.0255	0.0198
448	map_cut_15	0.0113	0.0128
448	map_cut_20	0.0117	0.0128
448	map_cut_200	0.0203	0.0185
448	map_cut_30	0.0127	0.0134
448	map_cut_5	0.0079	0.0105
448	map_cut_500	0.0236	0.0195
448	ndcg	0.2064	0.0875
448	ndcg_cut_10	0.1139	0.1166
448	ndcg_cut_100	0.0962	0.0602
448	ndcg_cut_1000	0.2064	0.0875
448	ndcg_cut_15	0.1042	0.0953
448	ndcg_cut_20	0.0927	0.0783
448	ndcg_cut_200	0.1264	0.0698
448	ndcg_cut_30	0.0793	0.0629
448	ndcg_cut_5	0.1352	0.1577
448	ndcg_cut_500	0.1720	0.0799
448	ndcg_rel	0.1861	0.0797
448	num_nonrel_judged_ret	490.7636	151.5787
448	num_rel	46.0000	0.0000
448	num_rel_ret	15.7545	6.1381
448	num_ret	922.4636	223.4459
448	prefs_avgjg	0.3117	0.1202
448	prefs_avgjg_Rnonrel	0.0101	0.0005
448	prefs_avgjg_Rnonrel_ret	0.0158	0.0055
448	prefs_avgjg_imp	0.6307	0.1234
448	prefs_avgjg_ret	0.5691	0.1344
448	prefs_num_prefs_ful	33861.7727	13060.4882
448	prefs_num_prefs_ful_ret	5127.1727	2894.0592
448	prefs_num_prefs_poss	108652.0000	0.0000
448	prefs_pair	0.3117	0.1202
448	prefs_pair_imp	0.6307	0.1234
448	prefs_pair_ret	0.5691	0.1344
448	prefs_simp	0.3117	0.1202
448	prefs_simp_imp	0.6307	0.1234
448	prefs_simp_ret	0.5691	0.1344
448	recall_10	0.0215	0.0208
448	recall_100	0.0976	0.0578
448	recall_1000	0.3425	0.1334
448	recall_15	0.0293	0.0255
448	recall_20	0.0332	0.0260
448	recall_200	0.1549	0.0802
448	recall_30	0.0407	0.0308
448	recall_5	0.0134	0.0152
448	recall_500	0.2559	0.1086
448	recip_rank	0.3164	0.3428
448	relative_P_10	0.0991	0.0958
448	relative_P_100	0.0976	0.0578
448	relative_P_1000	0.3425	0.1334
448	relative_P_15	0.0897	0.0781
448	relative_P_20	0.0764	0.0598
448	relative_P_200	0.1549	0.0802
448	relative_P_30	0.0624	0.0472
448	relative_P_5	0.1236	0.1401
448	relative_P_500	0.2559	0.1086
448	set_F	   nan	   nan
448	set_P	0.0166	0.0054
448	set_map	0.0063	0.0036
448	set_recall	0.3425	0.1334
448	set_relative_P	0.3425	0.1334
448	success_1	0.1636	0.3699
448	success_10	0.6000	0.4899
448	success_5	0.5000	0.5000
448	utility	-890.9545	214.9923
449	11pt_avg	0.1225	0.0506
449	G	0.1051	0.0358
449	P_10	0.3300	0.1599
449	P_100	0.1264	0.0349
449	P_1000	0.0385	0.0128
449	P_15	0.2800	0.1157
449	P_20	0.2545	0.0981
449	P_200	0.0952	0.0255
449	P_30	0.2273	0.0756
449	P_5	0.3982	0.2494
449	P_500	0.0607	0.0177
449	Rndcg	0.3033	0.0956
449	Rprec	0.1528	0.0440
449	Rprec_mult_0.20	0.2915	0.1211
449	Rprec_mult_0.40	0.2293	0.0853
449	Rprec_mult_0.60	0.1958	0.0606
449	Rprec_mult_0.80	0.1714	0.0513
449	Rprec_mult_1.00	0.1528	0.0440
449	Rprec_mult_1.20	0.1393	0.0390
449	Rprec_mult_1.40	0.1300	0.0360
449	Rprec_mult_1.60	0.1233	0.0340
449	Rprec_mult_1.80	0.1164	0.0321
449	Rprec_mult_2.00	0.1109	0.0309
449	binG	0.1051	0.0358
449	bpref	0.1140	0.0313
449	infAP	0.0947	0.0397
449	iprec_at_recall_0.00	0.6538	0.3361
449	iprec_at_recall_0.10	0.2752	0.1087
449	iprec_at_recall_0.20	0.1374	0.0517
449	iprec_at_recall_0.30	0.0973	0.0428
449	iprec_at_recall_0.40	0.0758	0.0371
449	iprec_at_recall_0.50	0.0493	0.0383
449	iprec_at_recall_0.60	0.0379	0.0353
449	iprec_at_recall_0.70	0.0181	0.0309
449	iprec_at_recall_0.80	0.0027	0.0124
449	iprec_at_recall_0.90	0.0000	0.0000
449	iprec_at_recall_1.00	0.0000	0.0000
449	map	0.0947	0.0397
449	map_cut_10	0.0300	0.0220
449	map_cut_100	0.0618	0.0283
449	map_cut_1000	0.0947	0.0397
449	map_cut_15	0.0347	0.0231
449	map_cut_20	0.0389	0.0244
449	map_cut_200	0.0731	0.0320
449	map_cut_30	0.0458	0.0255
449	map_cut_5	0.0210	0.0179
449	map_cut_500	0.0876	0.0364
449	ndcg	0.4139	0.1327
449	ndcg_cut_10	0.3540	0.1956
449	ndcg_cut_100	0.2164	0.0694
449	ndcg_cut_1000	0.4139	0.1327
449	ndcg_cut_15	0.3152	0.1537
449	ndcg_cut_20	0.2922	0.1333
449	ndcg_cut_200	0.2728	0.0824
449	ndcg_cut_30	0.2645	0.1037
449	ndcg_cut_5	0.4029	0.2715
449	ndcg_cut_500	0.3590	0.1068
449	ndcg_rel	0.3565	0.1122
449	num_nonrel_judged_ret	414.2364	124.2568
449	num_rel	67.0000	0.0000
449	num_rel_ret	38.5000	12.8160
449	num_ret	893.6273	256.0122
449	prefs_avgjg	0.4984	0.1560
449	prefs_avgjg_Rnonrel	0.0276	0.0040
449	prefs_avgjg_Rnonrel_ret	0.0526	0.0133
449	prefs_avgjg_imp	0.7024	0.1145
449	prefs_avgjg_ret	0.5878	0.1063
449	prefs_num_prefs_ful	46212.8091	14469.3945
449	prefs_num_prefs_ful_ret	10237.4818	4095.0584
449	prefs_num_prefs_poss	92728.0000	0.0000
449	prefs_pair	0.4984	0.1560
449	prefs_pair_imp	0.7024	0.1145
449	prefs_pair_ret	0.5878	0.1063
449	prefs_simp	0.4984	0.1560
449	prefs_simp_imp	0.7024	0.1145
449	prefs_simp_ret	0.5878	0.1063
449	recall_10	0.0493	0.0239
449	recall_100	0.1886	0.0521
449	recall_1000	0.5746	0.1913
449	recall_15	0.0627	0.0259
449	recall_20	0.0760	0.0293
449	recall_200	0.2841	0.0760
449	recall_30	0.1018	0.0339
449	recall_5	0.0297	0.0186
449	recall_500	0.4528	0.1324
449	recip_rank	0.6046	0.3691
449	relative_P_10	0.3300	0.1599
449	relative_P_100	0.1886	0.0521
449	relative_P_1000	0.5746	0.1913
449	relative_P_15	0.2800	0.1157
449	relative_P_20	0.2545	0.0981
449	relative_P_200	0.2841	0.0760
449	relative_P_30	0.2273	0.0756
449	relative_P_5	0.3982	0.2494
449	relative_P_500	0.4528	0.1324
449	set_F	   nan	   nan
449	set_P	0.0427	0.0113
449	set_map	0.0257	0.0109
449	set_recall	0.5746	0.1913
449	set_relative_P	0.5746	0.1913
449	success_1	0.4364	0.4959
449	success_10	0.9182	0.2741
449	success_5	0.8636	0.3432
449	utility	-816.6273	235.3627
450	11pt_avg	0.4588	0.1137
450	G	0.1637	0.0386
450	P_10	0.8327	0.1532
450	P_100	0.6627	0.1009
450	P_1000	0.2267	0.0527
450	P_15	0.8206	0.1454
450	P_20	0.8132	0.1338
450	P_200	0.5600	0.0969
450	P_30	0.7888	0.1241
450	P_5	0.8364	0.1985
450	P_500	0.3734	0.0820
450	Rndcg	0.6352	0.1154
450	Rprec	0.4905	0.0957
450	Rprec_mult_0.20	0.7274	0.1104
450	Rprec_mult_0.40	0.6390	0.0987
450	Rprec_mult_0.60	0.5807	0.0976
450	Rprec_mult_0.80	0.5317	0.0945
450	Rprec_mult_1.00	0.4905	0.0957
450	Rprec_mult_1.20	0.4512	0.0914
450	Rprec_mult_1.40	0.4169	0.0876
450	Rprec_mult_1.60	0.3875	0.0838
450	Rprec_mult_1.80	0.3605	0.0801
450	Rprec_mult_2.00	0.3376	0.0755
450	binG	0.1637	0.0386
450	bpref	0.5261	0.1182
450	infAP	0.4477	0.1241
450	iprec_at_recall_0.00	0.9621	0.1064
450	iprec_at_recall_0.10	0.7991	0.1204
450	iprec_at_recall_0.20	0.6883	0.1262
450	iprec_at_recall_0.30	0.6058	0.1496
450	iprec_at_recall_0.40	0.5254	0.1908
450	iprec_at_recall_0.50	0.4571	0.1979
450	iprec_at_recall_0.60	0.4003	0.1894
450	iprec_at_recall_0.70	0.3228	0.1868
450	iprec_at_recall_0.80	0.2173	0.1875
450	iprec_at_recall_0.90	0.0688	0.1401
450	iprec_at_recall_1.00	0.0000	0.0000
450	map	0.4477	0.1241
450	map_cut_10	0.0253	0.0073
450	map_cut_100	0.1774	0.0421
450	map_cut_1000	0.4477	0.1241
450	map_cut_15	0.0370	0.0101
450	map_cut_20	0.0483	0.0125
450	map_cut_200	0.2756	0.0698
450	map_cut_30	0.0690	0.0175
450	map_cut_5	0.0131	0.0046
450	map_cut_500	0.4031	0.1119
450	ndcg	0.7348	0.1480
450	ndcg_cut_10	0.8304	0.1636
450	ndcg_cut_100	0.6952	0.1037
450	ndcg_cut_1000	0.7348	0.1480
450	ndcg_cut_15	0.8231	0.1513
450	ndcg_cut_20	0.8177	0.1405
450	ndcg_cut_200	0.6008	0.0955
450	ndcg_cut_30	0.7997	0.1309
450	ndcg_cut_5	0.8322	0.2137
450	ndcg_cut_500	0.6434	0.1231
450	ndcg_rel	0.6786	0.1069
450	num_nonrel_judged_ret	269.0818	72.2425
450	num_rel	293.0000	0.0000
450	num_rel_ret	226.7364	52.7410
450	num_ret	920.7273	227.1952
450	prefs_avgjg	0.6955	0.1561
450	prefs_avgjg_Rnonrel	0.2382	0.0439
450	prefs_avgjg_Rnonrel_ret	0.5016	0.0782
450	prefs_avgjg_imp	0.8360	0.0504
450	prefs_avgjg_ret	0.6604	0.0804
450	prefs_num_prefs_ful	189113.3818	42453.6945
450	prefs_num_prefs_ful_ret	42874.0455	16127.2529
450	prefs_num_prefs_poss	271904.0000	0.0000
450	prefs_pair	0.6955	0.1561
450	prefs_pair_imp	0.8360	0.0504
450	prefs_pair_ret	0.6604	0.0804
450	prefs_simp	0.6955	0.1561
450	prefs_simp_imp	0.8360	0.0504
450	prefs_simp_ret	0.6604	0.0804
450	recall_10	0.0284	0.0052
450	recall_100	0.2262	0.0344
450	recall_1000	0.7738	0.1800
450	recall_15	0.0420	0.0075
450	recall_20	0.0555	0.0091
450	recall_200	0.3822	0.0661
450	recall_30	0.0808	0.0127
450	recall_5	0.0143	0.0034
450	recall_500	0.6372	0.1400
450	recip_rank	0.8939	0.2230
450	relative_P_10	0.8327	0.1532
450	relative_P_100	0.6627	0.1009
450	relative_P_1000	0.7738	0.1800
450	relative_P_15	0.8206	0.1454
450	relative_P_20	0.8132	0.1338
450	relative_P_200	0.5600	0.0969
450	relative_P_30	0.7888	0.1241
450	relative_P_5	0.8364	0.1985
450	relative_P_500	0.6372	0.1400
450	set_F	0.3733	0.0559
450	set_P	0.2575	0.0640
450	set_map	0.1966	0.0537
450	set_recall	0.7738	0.1800
450	set_relative_P	0.7791	0.1685
450	success_1	0.8091	0.3930
450	success_10	1.0000	0.0000
450	success_5	0.9909	0.0949
450	utility	-467.2545	154.6811
601	11pt_avg	0.4803	0.2515
601	G	0.3338	0.1480
601	P_10	0.2636	0.1196
601	P_100	0.0346	0.0140
601	P_1000	0.0044	0.0014
601	P_15	0.1867	0.0833
601	P_20	0.1523	0.0672
601	P_200	0.0187	0.0071
601	P_30	0.1076	0.0464
601	P_5	0.4309	0.2259
601	P_500	0.0086	0.0028
601	Rndcg	0.4345	0.2265
601	Rprec	0.4309	0.2259
601	Rprec_mult_0.20	0.6545	0.4755
601	Rprec_mult_0.40	0.6227	0.3999
601	Rprec_mult_0.60	0.6061	0.3487
601	Rprec_mult_0.80	0.5023	0.2728
601	Rprec_mult_1.00	0.4309	0.2259
601	Rprec_mult_1.20	0.3742	0.1936
601	Rprec_mult_1.40	0.3377	0.1763
601	Rprec_mult_1.60	0.3045	0.1522
601	Rprec_mult_1.80	0.2818	0.1346
601	Rprec_mult_2.00	0.2636	0.1196
601	binG	0.4685	0.2213
601	bpref	0.4058	0.2296
601	infAP	0.4441	0.2454
601	iprec_at_recall_0.00	0.7682	0.3576
601	iprec_at_recall_0.10	0.7682	0.3576
601	iprec_at_recall_0.20	0.7682	0.3576
601	iprec_at_recall_0.30	0.6768	0.3747
601	iprec_at_recall_0.40	0.6768	0.3747
601	iprec_at_recall_0.50	0.5593	0.3704
601	iprec_at_recall_0.60	0.5593	0.3704
601	iprec_at_recall_0.70	0.1942	0.2168
601	iprec_at_recall_0.80	0.1942	0.2168
601	iprec_at_recall_0.90	0.0588	0.0951
601	iprec_at_recall_1.00	0.0588	0.0951
601	map	0.4441	0.2454
601	map_cut_10	0.4106	0.2347
601	map_cut_100	0.4406	0.2455
601	map_cut_1000	0.4441	0.2454
601	map_cut_15	0.4204	0.2395
601	map_cut_20	0.4312	0.2450
601	map_cut_200	0.4424	0.2455
601	map_cut_30	0.4372	0.2470
601	map_cut_5	0.3722	0.2287
601	map_cut_500	0.4440	0.2453
601	ndcg	0.5465	0.2299
601	ndcg_cut_10	0.4474	0.2317
601	ndcg_cut_100	0.5123	0.2354
601	ndcg_cut_1000	0.5465	0.2299
601	ndcg_cut_15	0.4641	0.2372
601	ndcg_cut_20	0.4843	0.2408
601	ndcg_cut_200	0.5247	0.2327
601	ndcg_cut_30	0.4979	0.2423
601	ndcg_cut_5	0.3922	0.2245
601	ndcg_cut_500	0.5441	0.2301
601	ndcg_rel	0.4732	0.2129
601	num_nonrel_judged_ret	405.9000	139.3581
601	num_rel	5.0000	0.0000
601	num_rel_ret	4.4000	1.3764
601	num_ret	916.0273	240.0151
601	prefs_avgjg	0.8326	0.2658
601	prefs_avgjg_Rnonrel	0.0046	0.0013
601	prefs_avgjg_Rnonrel_ret	0.0098	0.0049
601	prefs_avgjg_imp	0.8579	0.2512
601	prefs_avgjg_ret	0.8015	0.2510
601	prefs_num_prefs_ful	4026.5727	1285.6077
601	prefs_num_prefs_ful_ret	1714.4091	767.6939
601	prefs_num_prefs_poss	4836.0000	0.0000
601	prefs_pair	0.8326	0.2658
601	prefs_pair_imp	0.8579	0.2512
601	prefs_pair_ret	0.8015	0.2510
601	prefs_simp	0.8326	0.2658
601	prefs_simp_imp	0.8579	0.2512
601	prefs_simp_ret	0.8015	0.2510
601	recall_10	0.5273	0.2393
601	recall_100	0.6927	0.2798
601	recall_1000	0.8800	0.2753
601	recall_15	0.5600	0.2498
601	recall_20	0.6091	0.2689
601	recall_200	0.7491	0.2821
601	recall_30	0.6455	0.2785
601	recall_5	0.4309	0.2259
601	recall_500	0.8600	0.2784
601	recip_rank	0.7441	0.3721
601	relative_P_10	0.5273	0.2393
601	relative_P_100	0.6927	0.2798
601	relative_P_1000	0.8800	0.2753
601	relative_P_15	0.5600	0.2498
601	relative_P_20	0.6091	0.2689
601	relative_P_200	0.7491	0.2821
601	relative_P_30	0.6455	0.2785
601	relative_P_5	0.4309	0.2259
601	relative_P_500	0.8600	0.2784
601	set_F	   nan	   nan
601	set_P	0.0048	0.0023
601	set_map	0.0045	0.0018
601	set_recall	0.8800	0.2753
601	set_relative_P	0.8800	0.2753
601	success_1	0.6545	0.4755
601	success_10	0.9000	0.3000
601	success_5	0.8455	0.3615
601	utility	-907.2273	237.6485
602	11pt_avg	0.3236	0.0733
602	G	0.1721	0.0339
602	P_10	0.5527	0.2139
602	P_100	0.3024	0.0680
602	P_1000	0.0785	0.0134
602	P_15	0.5048	0.1956
602	P_20	0.4627	0.1717
602	P_200	0.2380	0.0542
602	P_30	0.4070	0.1304
602	P_5	0.6527	0.2938
602	P_500	0.1446	0.0257
602	Rndcg	0.4831	0.1215
602	Rprec	0.3119	0.0685
602	Rprec_mult_0.20	0.4850	0.1862
602	Rprec_mult_0.40	0.3920	0.1164
602	Rprec_mult_0.60	0.3560	0.0858
602	Rprec_mult_0.80	0.3327	0.0740
602	Rprec_mult_1.00	0.3119	0.0685
602	Rprec_mult_1.20	0.3015	0.0680
602	Rprec_mult_1.40	0.2878	0.0652
602	Rprec_mult_1.60	0.2746	0.0626
602	Rprec_mult_1.80	0.2622	0.0592
602	Rprec_mult_2.00	0.2524	0.0572
602	binG	0.1901	0.0420
602	bpref	0.2599	0.0641
602	infAP	0.2985	0.0775
602	iprec_at_recall_0.00	0.8884	0.2100
602	iprec_at_recall_0.10	0.5451	0.2056
602	iprec_at_recall_0.20	0.4156	0.1306
602	iprec_at_recall_0.30	0.3344	0.0963
602	iprec_at_recall_0.40	0.3013	0.0862
602	iprec_at_recall_0.50	0.2667	0.0846
602	iprec_at_recall_0.60	0.2398	0.0755
602	iprec_at_recall_0.70	0.2125	0.0780
602	iprec_at_recall_0.80	0.1708	0.0765
602	iprec_at_recall_0.90	0.1418	0.0651
602	iprec_at_recall_1.00	0.0432	0.0564
602	map	0.2985	0.0775
602	map_cut_10	0.0530	0.0291
602	map_cut_100	0.1729	0.0623
602	map_cut_1000	0.2985	0.0775
602	map_cut_15	0.0683	0.0384
602	map_cut_20	0.0793	0.0434
602	map_cut_200	0.2317	0.0704
602	map_cut_30	0.0956	0.0490
602	map_cut_5	0.0346	0.0200
602	map_cut_500	0.2896	0.0783
602	ndcg	0.6815	0.1190
602	ndcg_cut_10	0.4513	0.1990
602	ndcg_cut_100	0.3848	0.0873
602	ndcg_cut_1000	0.6815	0.1190
602	ndcg_cut_15	0.4523	0.1906
602	ndcg_cut_20	0.4436	0.1775
602	ndcg_cut_200	0.5038	0.0973
602	ndcg_cut_30	0.4221	0.1499
602	ndcg_cut_5	0.4259	0.2139
602	ndcg_cut_500	0.6498	0.1171
602	ndcg_rel	0.5030	0.1012
602	num_nonrel_judged_ret	309.7818	74.4299
602	num_rel	84.0000	0.0000
602	num_rel_ret	78.4636	13.4142
602	num_ret	913.9273	247.5206
602	prefs_avgjg	0.7286	0.1200
602	prefs_avgjg_Rnonrel	0.1062	0.0131
602	prefs_avgjg_Rnonrel_ret	0.1636	0.0345
602	prefs_avgjg_imp	0.7619	0.0558
602	prefs_avgjg_ret	0.6349	0.0705
602	prefs_num_prefs_ful	32548.0000	5361.5216
602	prefs_num_prefs_ful_ret	16278.9455	4970.6691
602	prefs_num_prefs_poss	44672.0000	0.0000
602	prefs_pair	0.7286	0.1200
602	prefs_pair_imp	0.7619	0.0558
602	prefs_pair_ret	0.6349	0.0705
602	prefs_simp	0.7286	0.1200
602	prefs_simp_imp	0.7619	0.0558
602	prefs_simp_ret	0.6349	0.0705
602	recall_10	0.0658	0.0255
602	recall_100	0.3600	0.0810
602	recall_1000	0.9341	0.1597
602	recall_15	0.0901	0.0349
602	recall_20	0.1102	0.0409
602	recall_200	0.5666	0.1291
602	recall_30	0.1454	0.0466
602	recall_5	0.0388	0.0175
602	recall_500	0.8607	0.1532
602	recip_rank	0.8376	0.2794
602	relative_P_10	0.5527	0.2139
602	relative_P_100	0.3600	0.0810
602	relative_P_1000	0.9341	0.1597
602	relative_P_15	0.5048	0.1956
602	relative_P_20	0.4627	0.1717
602	relative_P_200	0.5666	0.1291
602	relative_P_30	0.4070	0.1304
602	relative_P_5	0.6527	0.2938
602	relative_P_500	0.8607	0.1532
602	set_F	0.1678	0.0602
602	set_P	0.0978	0.0472
602	set_map	0.0867	0.0303
602	set_recall	0.9341	0.1597
602	set_relative_P	0.9368	0.1455
602	success_1	0.7364	0.4406
602	success_10	0.9909	0.0949
602	success_5	0.9818	0.1336
602	utility	-757.0000	225.4409
603	11pt_avg	0.3221	0.1036
603	G	0.2653	0.0602
603	P_10	0.4336	0.1574
603	P_100	0.1029	0.0170
603	P_1000	0.0148	0.0019
603	P_15	0.3812	0.1183
603	P_20	0.3332	0.0959
603	P_200	0.0575	0.0083
603	P_30	0.2609	0.0639
603	P_5	0.4527	0.1862
603	P_500	0.0273	0.0035
603	Rndcg	0.4972	0.1309
603	Rprec	0.3710	0.1132
603	Rprec_mult_0.20	0.4591	0.2224
603	Rprec_mult_0.40	0.4584	0.1798
603	Rprec_mult_0.60	0.4336	0.1574
603	Rprec_mult_0.80	0.3986	0.1345
603	Rprec_mult_1.00	0.3710	0.1132
603	Rprec_mult_1.20	0.3332	0.0959
603	Rprec_mult_1.40	0.3091	0.0811
603	Rprec_mult_1.60	0.2892	0.0731
603	Rprec_mult_1.80	0.2683	0.0657
603	Rprec_mult_2.00	0.2494	0.0602
603	binG	0.2760	0.0611
603	bpref	0.3061	0.1104
603	infAP	0.2942	0.1015
603	iprec_at_recall_0.00	0.7865	0.2563
603	iprec_at_recall_0.10	0.6172	0.2081
603	iprec_at_recall_0.20	0.5245	0.1818
603	iprec_at_recall_0.30	0.4733	0.1842
603	iprec_at_recall_0.40	0.4135	0.1957
603	iprec_at_recall_0.50	0.3540	0.1686
603	iprec_at_recall_0.60	0.2079	0.1266
603	iprec_at_recall_0.70	0.0748	0.0559
603	iprec_at_recall_0.80	0.0518	0.0383
603	iprec_at_recall_0.90	0.0255	0.0181
603	iprec_at_recall_1.00	0.0142	0.0152
603	map	0.2942	0.1015
603	map_cut_10	0.1677	0.0885
603	map_cut_100	0.2810	0.1022
603	map_cut_1000	0.2942	0.1015
603	map_cut_15	0.2064	0.0975
603	map_cut_20	0.2296	0.1033
603	map_cut_200	0.2871	0.1019
603	map_cut_30	0.2525	0.1038
603	map_cut_5	0.0979	0.0538
603	map_cut_500	0.2926	0.1018
603	ndcg	0.6353	0.1088
603	ndcg_cut_10	0.4288	0.1521
603	ndcg_cut_100	0.5669	0.1202
603	ndcg_cut_1000	0.6353	0.1088
603	ndcg_cut_15	0.4339	0.1392
603	ndcg_cut_20	0.4583	0.1392
603	ndcg_cut_200	0.5898	0.1140
603	ndcg_cut_30	0.5002	0.1341
603	ndcg_cut_5	0.4499	0.1863
603	ndcg_cut_500	0.6204	0.1111
603	ndcg_rel	0.5501	0.1288
603	num_nonrel_judged_ret	386.4727	111.6518
603	num_rel	16.0000	0.0000
603	num_rel_ret	14.7909	1.8640
603	num_ret	914.3455	246.1523
603	prefs_avgjg	0.8172	0.0878
603	prefs_avgjg_Rnonrel	0.0201	0.0023
603	prefs_avgjg_Rnonrel_ret	0.0505	0.0880
603	prefs_avgjg_imp	0.8630	0.0449
603	prefs_avgjg_ret	0.7815	0.0854
603	prefs_num_prefs_ful	9779.7182	1050.8630
603	prefs_num_prefs_ful_ret	4673.4455	1618.3139
603	prefs_num_prefs_poss	11967.0000	0.0000
603	prefs_pair	0.8172	0.0878
603	prefs_pair_imp	0.8630	0.0449
603	prefs_pair_ret	0.7815	0.0854
603	prefs_simp	0.8172	0.0878
603	prefs_simp_imp	0.8630	0.0449
603	prefs_simp_ret	0.7815	0.0854
603	recall_10	0.2710	0.0984
603	recall_100	0.6432	0.1060
603	recall_1000	0.9244	0.1165
603	recall_15	0.3574	0.1109
603	recall_20	0.4165	0.1199
603	recall_200	0.7188	0.1035
603	recall_30	0.4892	0.1197
603	recall_5	0.1415	0.0582
603	recall_500	0.8528	0.1107
603	recip_rank	0.7146	0.3205
603	relative_P_10	0.4336	0.1574
603	relative_P_100	0.6432	0.1060
603	relative_P_1000	0.9244	0.1165
603	relative_P_15	0.3812	0.1183
603	relative_P_20	0.4165	0.1199
603	relative_P_200	0.7188	0.1035
603	relative_P_30	0.4892	0.1197
603	relative_P_5	0.4527	0.1862
603	relative_P_500	0.8528	0.1107
603	set_F	0.0411	0.0507
603	set_P	0.0225	0.0361
603	set_map	0.0191	0.0241
603	set_recall	0.9244	0.1165
603	set_relative_P	0.9244	0.1165
603	success_1	0.5364	0.4987
603	success_10	0.9818	0.1336
603	success_5	0.9455	0.2271
603	utility	-884.7636	243.0799
604	11pt_avg	0.7286	0.0977
604	G	0.7512	0.1392
604	P_10	0.5536	0.0670
604	P_100	0.0756	0.0060
604	P_1000	0.0078	0.0004
604	P_15	0.4036	0.0589
604	P_20	0.3236	0.0414
604	P_200	0.0387	0.0025
604	P_30	0.2315	0.0291
604	P_5	0.8927	0.1367
604	P_500	0.0156	0.0009
604	Rndcg	0.8851	0.0882
604	Rprec	0.6693	0.0962
604	Rprec_mult_0.20	0.9545	0.1437
604	Rprec_mult_0.40	0.9341	0.1152
604	Rprec_mult_0.60	0.8927	0.1367
604	Rprec_mult_0.80	0.7389	0.1185
604	Rprec_mult_1.00	0.6693	0.0962
604	Rprec_mult_1.20	0.5536	0.0670
604	Rprec_mult_1.40	0.4788	0.0599
604	Rprec_mult_1.60	0.4524	0.0603
604	Rprec_mult_1.80	0.4036	0.0589
604	Rprec_mult_2.00	0.3824	0.0531
604	binG	0.6916	0.1146
604	bpref	0.6726	0.1023
604	infAP	0.7346	0.1138
604	iprec_at_recall_0.00	0.9926	0.0338
604	iprec_at_recall_0.10	0.9926	0.0338
604	iprec_at_recall_0.20	0.9817	0.0591
604	iprec_at_recall_0.30	0.9605	0.1036
604	iprec_at_recall_0.40	0.9291	0.1475
604	iprec_at_recall_0.50	0.9291	0.1475
604	iprec_at_recall_0.60	0.8786	0.1749
604	iprec_at_recall_0.70	0.6536	0.2881
604	iprec_at_recall_0.80	0.3543	0.1652
604	iprec_at_recall_0.90	0.1711	0.1391
604	iprec_at_recall_1.00	0.1711	0.1391
604	map	0.7346	0.1138
604	map_cut_10	0.6495	0.1087
604	map_cut_100	0.7330	0.1152
604	map_cut_1000	0.7346	0.1138
604	map_cut_15	0.6830	0.1197
604	map_cut_20	0.7023	0.1195
604	map_cut_200	0.7343	0.1141
604	map_cut_30	0.7203	0.1204
604	map_cut_5	0.5424	0.1071
604	map_cut_500	0.7346	0.1139
604	ndcg	0.9218	0.0668
604	ndcg_cut_10	0.8475	0.0820
604	ndcg_cut_100	0.9165	0.0705
604	ndcg_cut_1000	0.9218	0.0668
604	ndcg_cut_15	0.8699	0.0817
604	ndcg_cut_20	0.8854	0.0761
604	ndcg_cut_200	0.9200	0.0678
604	ndcg_cut_30	0.9001	0.0765
604	ndcg_cut_5	0.8956	0.1189
604	ndcg_cut_500	0.9214	0.0668
604	ndcg_rel	0.9312	0.0882
604	num_nonrel_judged_ret	375.4727	106.9089
604	num_rel	8.0000	0.0000
604	num_rel_ret	7.8364	0.4375
604	num_ret	913.7545	248.2464
604	prefs_avgjg	0.9634	0.0530
604	prefs_avgjg_Rnonrel	0.0162	0.0014
604	prefs_avgjg_Rnonrel_ret	0.0439	0.0996
604	prefs_avgjg_imp	0.9773	0.0228
604	prefs_avgjg_ret	0.9639	0.0438
604	prefs_num_prefs_ful	4985.7000	274.2241
604	prefs_num_prefs_ful_ret	2903.5909	891.5675
604	prefs_num_prefs_poss	5175.0000	0.0000
604	prefs_pair	0.9634	0.0530
604	prefs_pair_imp	0.9773	0.0228
604	prefs_pair_ret	0.9639	0.0438
604	prefs_simp	0.9634	0.0530
604	prefs_simp_imp	0.9773	0.0228
604	prefs_simp_ret	0.9639	0.0438
604	recall_10	0.6920	0.0837
604	recall_100	0.9455	0.0745
604	recall_1000	0.9795	0.0547
604	recall_15	0.7568	0.1103
604	recall_20	0.8091	0.1035
604	recall_200	0.9670	0.0623
604	recall_30	0.8682	0.1090
604	recall_5	0.5580	0.0854
604	recall_500	0.9761	0.0571
604	recip_rank	0.9773	0.1041
604	relative_P_10	0.6920	0.0837
604	relative_P_100	0.9455	0.0745
604	relative_P_1000	0.9795	0.0547
604	relative_P_15	0.7568	0.1103
604	relative_P_20	0.8091	0.1035
604	relative_P_200	0.9670	0.0623
604	relative_P_30	0.8682	0.1090
604	relative_P_5	0.8927	0.1367
604	relative_P_500	0.9761	0.0571
604	set_F	0.0337	0.1049
604	set_P	0.0253	0.1134
604	set_map	0.0211	0.0848
604	set_recall	0.9795	0.0547
604	set_relative_P	0.9815	0.0480
604	success_1	0.9545	0.2083
604	success_10	1.0000	0.0000
604	success_5	1.0000	0.0000
604	utility	-898.0818	247.6855
605	11pt_avg	0.0759	0.1306
605	G	0.0743	0.0627
605	P_10	0.1045	0.2086
605	P_100	0.0924	0.1179
605	P_1000	0.0337	0.0187
605	P_15	0.1030	0.2121
605	P_20	0.1068	0.1858
605	P_200	0.0707	0.0704
605	P_30	0.1103	0.1766
605	P_5	0.1109	0.2345
605	P_500	0.0477	0.0329
605	Rndcg	0.1968	0.1669
605	Rprec	0.0994	0.1353
605	Rprec_mult_0.20	0.1030	0.2121
605	Rprec_mult_0.40	0.1103	0.1776
605	Rprec_mult_0.60	0.1089	0.1541
605	Rprec_mult_0.80	0.1041	0.1428
605	Rprec_mult_1.00	0.0994	0.1353
605	Rprec_mult_1.20	0.0956	0.1268
605	Rprec_mult_1.40	0.0923	0.1180
605	Rprec_mult_1.60	0.0878	0.1062
605	Rprec_mult_1.80	0.0841	0.0972
605	Rprec_mult_2.00	0.0806	0.0907
605	binG	0.0743	0.0627
605	bpref	0.0870	0.1638
605	infAP	0.0679	0.1288
605	iprec_at_recall_0.00	0.2054	0.2561
605	iprec_at_recall_0.10	0.1346	0.2114
605	iprec_at_recall_0.20	0.1146	0.1972
605	iprec_at_recall_0.30	0.1004	0.1850
605	iprec_at_recall_0.40	0.0865	0.1608
605	iprec_at_recall_0.50	0.0715	0.1490
605	iprec_at_recall_0.60	0.0530	0.1331
605	iprec_at_recall_0.70	0.0378	0.1005
605	iprec_at_recall_0.80	0.0256	0.0713
605	iprec_at_recall_0.90	0.0058	0.0207
605	iprec_at_recall_1.00	0.0000	0.0000
605	map	0.0679	0.1288
605	map_cut_10	0.0089	0.0253
605	map_cut_100	0.0432	0.1119
605	map_cut_1000	0.0679	0.1288
605	map_cut_15	0.0129	0.0383
605	map_cut_20	0.0154	0.0449
605	map_cut_200	0.0519	0.1258
605	map_cut_30	0.0213	0.0619
605	map_cut_5	0.0052	0.0146
605	map_cut_500	0.0615	0.1292
605	ndcg	0.2935	0.1982
605	ndcg_cut_10	0.1008	0.2165
605	ndcg_cut_100	0.1195	0.1675
605	ndcg_cut_1000	0.2935	0.1982
605	ndcg_cut_15	0.1005	0.2169
605	ndcg_cut_20	0.1033	0.1979
605	ndcg_cut_200	0.1607	0.1861
605	ndcg_cut_30	0.1065	0.1879
605	ndcg_cut_5	0.1019	0.2354
605	ndcg_cut_500	0.2307	0.1950
605	ndcg_rel	0.2358	0.1696
605	num_nonrel_judged_ret	377.6273	146.5454
605	num_rel	72.0000	0.0000
605	num_rel_ret	33.7182	18.6758
605	num_ret	918.1000	234.0201
605	prefs_avgjg	0.3988	0.2333
605	prefs_avgjg_Rnonrel	0.0293	0.0088
605	prefs_avgjg_Rnonrel_ret	0.0500	0.0457
605	prefs_avgjg_imp	0.6048	0.1985
605	prefs_avgjg_ret	0.5087	0.1872
605	prefs_num_prefs_ful	38359.5727	22444.5609
605	prefs_num_prefs_ful_ret	7754.4273	5914.2925
605	prefs_num_prefs_poss	96192.0000	0.0000
605	prefs_pair	0.3988	0.2333
605	prefs_pair_imp	0.6048	0.1985
605	prefs_pair_ret	0.5087	0.1872
605	prefs_simp	0.3988	0.2333
605	prefs_simp_imp	0.6048	0.1985
605	prefs_simp_ret	0.5087	0.1872
605	recall_10	0.0145	0.0290
605	recall_100	0.1283	0.1637
605	recall_1000	0.4683	0.2594
605	recall_15	0.0215	0.0442
605	recall_20	0.0297	0.0516
605	recall_200	0.1965	0.1956
605	recall_30	0.0460	0.0736
605	recall_5	0.0077	0.0163
605	recall_500	0.3311	0.2283
605	recip_rank	0.1655	0.2558
605	relative_P_10	0.1045	0.2086
605	relative_P_100	0.1283	0.1637
605	relative_P_1000	0.4683	0.2594
605	relative_P_15	0.1030	0.2121
605	relative_P_20	0.1068	0.1858
605	relative_P_200	0.1965	0.1956
605	relative_P_30	0.1103	0.1766
605	relative_P_5	0.1109	0.2345
605	relative_P_500	0.3311	0.2283
605	set_F	   nan	   nan
605	set_P	0.0351	0.0175
605	set_map	0.0208	0.0178
605	set_recall	0.4683	0.2594
605	set_relative_P	0.4683	0.2594
605	success_1	0.0727	0.2597
605	success_10	0.3727	0.4835
605	success_5	0.2545	0.4356
605	utility	-850.6636	215.6595
606	11pt_avg	0.4401	0.1535
606	G	0.3886	0.0894
606	P_10	0.5227	0.1698
606	P_100	0.0927	0.0263
606	P_1000	0.0119	0.0025
606	P_15	0.4030	0.1417
606	P_20	0.3259	0.1105
606	P_200	0.0514	0.0128
606	P_30	0.2421	0.0827
606	P_5	0.7236	0.2366
606	P_500	0.0228	0.0051
606	Rndcg	0.6724	0.1402
606	Rprec	0.4260	0.1473
606	Rprec_mult_0.20	0.8212	0.2365
606	Rprec_mult_0.40	0.6712	0.2102
606	Rprec_mult_0.60	0.5455	0.1783
606	Rprec_mult_0.80	0.4705	0.1559
606	Rprec_mult_1.00	0.4260	0.1473
606	Rprec_mult_1.20	0.3674	0.1260
606	Rprec_mult_1.40	0.3259	0.1105
606	Rprec_mult_1.60	0.2964	0.0999
606	Rprec_mult_1.80	0.2703	0.0896
606	Rprec_mult_2.00	0.2539	0.0847
606	binG	0.3947	0.1256
606	bpref	0.3956	0.1459
606	infAP	0.4253	0.1642
606	iprec_at_recall_0.00	0.9669	0.1590
606	iprec_at_recall_0.10	0.9451	0.1872
606	iprec_at_recall_0.20	0.8201	0.2486
606	iprec_at_recall_0.30	0.6371	0.3168
606	iprec_at_recall_0.40	0.5108	0.3087
606	iprec_at_recall_0.50	0.4086	0.2879
606	iprec_at_recall_0.60	0.2458	0.2322
606	iprec_at_recall_0.70	0.1778	0.1903
606	iprec_at_recall_0.80	0.0867	0.1084
606	iprec_at_recall_0.90	0.0322	0.0497
606	iprec_at_recall_1.00	0.0101	0.0210
606	map	0.4253	0.1642
606	map_cut_10	0.3268	0.1271
606	map_cut_100	0.4164	0.1648
606	map_cut_1000	0.4253	0.1642
606	map_cut_15	0.3601	0.1473
606	map_cut_20	0.3736	0.1514
606	map_cut_200	0.4215	0.1645
606	map_cut_30	0.3912	0.1598
606	map_cut_5	0.2473	0.0903
606	map_cut_500	0.4247	0.1643
606	ndcg	0.7264	0.1435
606	ndcg_cut_10	0.6302	0.1443
606	ndcg_cut_100	0.6812	0.1507
606	ndcg_cut_1000	0.7264	0.1435
606	ndcg_cut_15	0.5793	0.1380
606	ndcg_cut_20	0.5947	0.1392
606	ndcg_cut_200	0.7013	0.1462
606	ndcg_cut_30	0.6197	0.1482
606	ndcg_cut_5	0.7050	0.1527
606	ndcg_cut_500	0.7193	0.1456
606	ndcg_rel	0.7246	0.1404
606	num_nonrel_judged_ret	394.6545	127.8944
606	num_rel	14.0000	0.0000
606	num_rel_ret	11.9091	2.4589
606	num_ret	914.4182	245.8941
606	prefs_avgjg	0.8037	0.1661
606	prefs_avgjg_Rnonrel	0.0144	0.0022
606	prefs_avgjg_Rnonrel_ret	0.0327	0.0110
606	prefs_avgjg_imp	0.8810	0.1280
606	prefs_avgjg_ret	0.8385	0.1427
606	prefs_num_prefs_ful	10878.3182	2248.0043
606	prefs_num_prefs_ful_ret	4348.8091	1864.6828
606	prefs_num_prefs_poss	13536.0000	0.0000
606	prefs_pair	0.8037	0.1661
606	prefs_pair_imp	0.8810	0.1280
606	prefs_pair_ret	0.8385	0.1427
606	prefs_simp	0.8037	0.1661
606	prefs_simp_imp	0.8810	0.1280
606	prefs_simp_ret	0.8385	0.1427
606	recall_10	0.3734	0.1213
606	recall_100	0.6623	0.1880
606	recall_1000	0.8507	0.1756
606	recall_15	0.4318	0.1518
606	recall_20	0.4656	0.1579
606	recall_200	0.7338	0.1825
606	recall_30	0.5188	0.1773
606	recall_5	0.2584	0.0845
606	recall_500	0.8143	0.1810
606	recip_rank	0.9636	0.1713
606	relative_P_10	0.5227	0.1698
606	relative_P_100	0.6623	0.1880
606	relative_P_1000	0.8507	0.1756
606	relative_P_15	0.4318	0.1518
606	relative_P_20	0.4656	0.1579
606	relative_P_200	0.7338	0.1825
606	relative_P_30	0.5188	0.1773
606	relative_P_5	0.7236	0.2366
606	relative_P_500	0.8143	0.1810
606	set_F	   nan	   nan
606	set_P	0.0141	0.0063
606	set_map	0.0119	0.0039
606	set_recall	0.8507	0.1756
606	set_relative_P	0.8507	0.1756
606	success_1	0.9545	0.2083
606	success_10	0.9818	0.1336
606	success_5	0.9818	0.1336
606	utility	-890.6000	242.1165
607	11pt_avg	0.3641	0.1739
607	G	0.3099	0.1139
607	P_10	0.4164	0.1797
607	P_100	0.0753	0.0236
607	P_1000	0.0088	0.0024
607	P_15	0.3339	0.1473
607	P_20	0.2773	0.1177
607	P_200	0.0406	0.0117
607	P_30	0.2061	0.0818
607	P_5	0.5145	0.2389
607	P_500	0.0170	0.0047
607	Rndcg	0.4998	0.1776
607	Rprec	0.3917	0.1754
607	Rprec_mult_0.20	0.5333	0.2590
607	Rprec_mult_0.40	0.5145	0.2389
607	Rprec_mult_0.60	0.4727	0.2090
607	Rprec_mult_0.80	0.4364	0.1864
607	Rprec_mult_1.00	0.3917	0.1754
607	Rprec_mult_1.20	0.3481	0.1556
607	Rprec_mult_1.40	0.3233	0.1407
607	Rprec_mult_1.60	0.2975	0.1286
607	Rprec_mult_1.80	0.2773	0.1177
607	Rprec_mult_2.00	0.2607	0.1080
607	binG	0.3099	0.1139
607	bpref	0.3450	0.1725
607	infAP	0.3384	0.1594
607	iprec_at_recall_0.00	0.7206	0.2784
607	iprec_at_recall_0.10	0.6254	0.2631
607	iprec_at_recall_0.20	0.6012	0.2704
607	iprec_at_recall_0.30	0.5392	0.2614
607	iprec_at_recall_0.40	0.4233	0.2591
607	iprec_at_recall_0.50	0.3606	0.2322
607	iprec_at_recall_0.60	0.2859	0.2130
607	iprec_at_recall_0.70	0.2135	0.2243
607	iprec_at_recall_0.80	0.2070	0.2196
607	iprec_at_recall_0.90	0.0280	0.0591
607	iprec_at_recall_1.00	0.0000	0.0000
607	map	0.3384	0.1594
607	map_cut_10	0.2441	0.1263
607	map_cut_100	0.3338	0.1600
607	map_cut_1000	0.3384	0.1594
607	map_cut_15	0.2810	0.1540
607	map_cut_20	0.2987	0.1598
607	map_cut_200	0.3371	0.1592
607	map_cut_30	0.3148	0.1626
607	map_cut_5	0.1616	0.0910
607	map_cut_500	0.3380	0.1593
607	ndcg	0.5875	0.1887
607	ndcg_cut_10	0.4285	0.1776
607	ndcg_cut_100	0.5547	0.1883
607	ndcg_cut_1000	0.5875	0.1887
607	ndcg_cut_15	0.4501	0.1867
607	ndcg_cut_20	0.4765	0.1938
607	ndcg_cut_200	0.5720	0.1869
607	ndcg_cut_30	0.5048	0.1967
607	ndcg_cut_5	0.4868	0.2213
607	ndcg_cut_500	0.5810	0.1872
607	ndcg_rel	0.5302	0.1847
607	num_nonrel_judged_ret	357.5364	105.8733
607	num_rel	11.0000	0.0000
607	num_rel_ret	8.7818	2.4211
607	num_ret	929.3455	218.5068
607	prefs_avgjg	0.7593	0.2095
607	prefs_avgjg_Rnonrel	0.0107	0.0023
607	prefs_avgjg_Rnonrel_ret	0.0194	0.0064
607	prefs_avgjg_imp	0.8478	0.1523
607	prefs_avgjg_ret	0.8634	0.1506
607	prefs_num_prefs_ful	6740.3455	1859.6063
607	prefs_num_prefs_ful_ret	3021.4091	1155.7413
607	prefs_num_prefs_poss	8877.0000	0.0000
607	prefs_pair	0.7593	0.2095
607	prefs_pair_imp	0.8478	0.1523
607	prefs_pair_ret	0.8634	0.1506
607	prefs_simp	0.7593	0.2095
607	prefs_simp_imp	0.8478	0.1523
607	prefs_simp_ret	0.8634	0.1506
607	recall_10	0.3785	0.1633
607	recall_100	0.6843	0.2147
607	recall_1000	0.7984	0.2201
607	recall_15	0.4554	0.2009
607	recall_20	0.5041	0.2140
607	recall_200	0.7380	0.2133
607	recall_30	0.5620	0.2231
607	recall_5	0.2339	0.1086
607	recall_500	0.7711	0.2136
607	recip_rank	0.6016	0.2965
607	relative_P_10	0.4164	0.1797
607	relative_P_100	0.6843	0.2147
607	relative_P_1000	0.7984	0.2201
607	relative_P_15	0.4554	0.2009
607	relative_P_20	0.5041	0.2140
607	relative_P_200	0.7380	0.2133
607	relative_P_30	0.5620	0.2231
607	relative_P_5	0.5145	0.2389
607	relative_P_500	0.7711	0.2136
607	set_F	   nan	   nan
607	set_P	0.0094	0.0035
607	set_map	0.0079	0.0032
607	set_recall	0.7984	0.2201
607	set_relative_P	0.7984	0.2201
607	success_1	0.3091	0.4621
607	success_10	0.9273	0.2597
607	success_5	0.9182	0.2741
607	utility	-911.7818	214.2757
608	11pt_avg	0.0883	0.0619
608	G	0.1132	0.0402
608	P_10	0.1245	0.1169
608	P_100	0.0715	0.0383
608	P_1000	0.0190	0.0062
608	P_15	0.1152	0.1005
608	P_20	0.1091	0.0853
608	P_200	0.0541	0.0238
608	P_30	0.0973	0.0682
608	P_5	0.1127	0.1308
608	P_500	0.0315	0.0122
608	Rndcg	0.1653	0.0839
608	Rprec	0.1003	0.0717
608	Rprec_mult_0.20	0.1106	0.1216
608	Rprec_mult_0.40	0.1215	0.1132
608	Rprec_mult_0.60	0.1112	0.0923
608	Rprec_mult_0.80	0.1046	0.0796
608	Rprec_mult_1.00	0.1003	0.0717
608	Rprec_mult_1.20	0.0934	0.0638
608	Rprec_mult_1.40	0.0935	0.0613
608	Rprec_mult_1.60	0.0926	0.0613
608	Rprec_mult_1.80	0.0909	0.0586
608	Rprec_mult_2.00	0.0929	0.0598
608	binG	0.1196	0.0449
608	bpref	0.0658	0.0527
608	infAP	0.0705	0.0477
608	iprec_at_recall_0.00	0.3566	0.3138
608	iprec_at_recall_0.10	0.1644	0.1244
608	iprec_at_recall_0.20	0.1135	0.0906
608	iprec_at_recall_0.30	0.0986	0.0886
608	iprec_at_recall_0.40	0.0807	0.0857
608	iprec_at_recall_0.50	0.0548	0.0468
608	iprec_at_recall_0.60	0.0428	0.0401
608	iprec_at_recall_0.70	0.0319	0.0315
608	iprec_at_recall_0.80	0.0180	0.0248
608	iprec_at_recall_0.90	0.0088	0.0180
608	iprec_at_recall_1.00	0.0008	0.0045
608	map	0.0705	0.0477
608	map_cut_10	0.0183	0.0210
608	map_cut_100	0.0484	0.0415
608	map_cut_1000	0.0705	0.0477
608	map_cut_15	0.0224	0.0266
608	map_cut_20	0.0253	0.0296
608	map_cut_200	0.0584	0.0449
608	map_cut_30	0.0295	0.0320
608	map_cut_5	0.0119	0.0158
608	map_cut_500	0.0674	0.0478
608	ndcg	0.3277	0.1178
608	ndcg_cut_10	0.0904	0.0879
608	ndcg_cut_100	0.1733	0.0969
608	ndcg_cut_1000	0.3277	0.1178
608	ndcg_cut_15	0.0937	0.0809
608	ndcg_cut_20	0.0950	0.0749
608	ndcg_cut_200	0.2267	0.1075
608	ndcg_cut_30	0.0986	0.0734
608	ndcg_cut_5	0.0727	0.0870
608	ndcg_cut_500	0.2910	0.1225
608	ndcg_rel	0.2385	0.0809
608	num_nonrel_judged_ret	422.4909	124.8426
608	num_rel	27.0000	0.0000
608	num_rel_ret	19.0273	6.1607
608	num_ret	919.9273	229.1318
608	prefs_avgjg	0.6114	0.2012
608	prefs_avgjg_Rnonrel	0.0129	0.0013
608	prefs_avgjg_Rnonrel_ret	0.0270	0.0110
608	prefs_avgjg_imp	0.7488	0.1329
608	prefs_avgjg_ret	0.6090	0.1293
608	prefs_num_prefs_ful	20001.8091	6580.9658
608	prefs_num_prefs_ful_ret	5431.8000	2685.4754
608	prefs_num_prefs_poss	32715.0000	0.0000
608	prefs_pair	0.6114	0.2012
608	prefs_pair_imp	0.7488	0.1329
608	prefs_pair_ret	0.6090	0.1293
608	prefs_simp	0.6114	0.2012
608	prefs_simp_imp	0.7488	0.1329
608	prefs_simp_ret	0.6090	0.1293
608	recall_10	0.0461	0.0433
608	recall_100	0.2646	0.1417
608	recall_1000	0.7047	0.2282
608	recall_15	0.0640	0.0558
608	recall_20	0.0808	0.0632
608	recall_200	0.4007	0.1763
608	recall_30	0.1081	0.0758
608	recall_5	0.0209	0.0242
608	recall_500	0.5842	0.2264
608	recip_rank	0.3169	0.3247
608	relative_P_10	0.1245	0.1169
608	relative_P_100	0.2646	0.1417
608	relative_P_1000	0.7047	0.2282
608	relative_P_15	0.1152	0.1005
608	relative_P_20	0.1091	0.0853
608	relative_P_200	0.4007	0.1763
608	relative_P_30	0.1081	0.0758
608	relative_P_5	0.1127	0.1308
608	relative_P_500	0.5842	0.2264
608	set_F	0.0428	0.0182
608	set_P	0.0223	0.0101
608	set_map	0.0164	0.0083
608	set_recall	0.7047	0.2282
608	set_relative_P	0.7047	0.2282
608	success_1	0.1455	0.3526
608	success_10	0.6818	0.4658
608	success_5	0.4727	0.4993
608	utility	-881.8727	223.7874
609	11pt_avg	0.2651	0.1237
609	G	0.2316	0.0899
609	P_10	0.4736	0.2096
609	P_100	0.1261	0.0421
609	P_1000	0.0237	0.0060
609	P_15	0.3758	0.1541
609	P_20	0.3259	0.1314
609	P_200	0.0846	0.0291
609	P_30	0.2664	0.1059
609	P_5	0.5800	0.2841
609	P_500	0.0423	0.0124
609	Rndcg	0.4854	0.1793
609	Rprec	0.2664	0.1059
609	Rprec_mult_0.20	0.5470	0.2573
609	Rprec_mult_0.40	0.4303	0.1872
609	Rprec_mult_0.60	0.3429	0.1371
609	Rprec_mult_0.80	0.2970	0.1169
609	Rprec_mult_1.00	0.2664	0.1059
609	Rprec_mult_1.20	0.2338	0.0940
609	Rprec_mult_1.40	0.2110	0.0793
609	Rprec_mult_1.60	0.1941	0.0737
609	Rprec_mult_1.80	0.1810	0.0660
609	Rprec_mult_2.00	0.1703	0.0618
609	binG	0.2188	0.0793
609	bpref	0.2230	0.0994
609	infAP	0.2307	0.1165
609	iprec_at_recall_0.00	0.8290	0.3154
609	iprec_at_recall_0.10	0.7336	0.3251
609	iprec_at_recall_0.20	0.4874	0.2590
609	iprec_at_recall_0.30	0.2746	0.1658
609	iprec_at_recall_0.40	0.1893	0.1525
609	iprec_at_recall_0.50	0.1330	0.1225
609	iprec_at_recall_0.60	0.1006	0.1086
609	iprec_at_recall_0.70	0.0770	0.0902
609	iprec_at_recall_0.80	0.0521	0.0528
609	iprec_at_recall_0.90	0.0308	0.0405
609	iprec_at_recall_1.00	0.0083	0.0195
609	map	0.2307	0.1165
609	map_cut_10	0.1262	0.0698
609	map_cut_100	0.2007	0.1074
609	map_cut_1000	0.2307	0.1165
609	map_cut_15	0.1410	0.0777
609	map_cut_20	0.1532	0.0866
609	map_cut_200	0.2183	0.1139
609	map_cut_30	0.1704	0.0961
609	map_cut_5	0.0866	0.0500
609	map_cut_500	0.2279	0.1163
609	ndcg	0.5929	0.1819
609	ndcg_cut_10	0.4881	0.2207
609	ndcg_cut_100	0.4644	0.1663
609	ndcg_cut_1000	0.5929	0.1819
609	ndcg_cut_15	0.4479	0.1911
609	ndcg_cut_20	0.4271	0.1759
609	ndcg_cut_200	0.5200	0.1815
609	ndcg_cut_30	0.3929	0.1545
609	ndcg_cut_5	0.6017	0.2920
609	ndcg_cut_500	0.5672	0.1839
609	ndcg_rel	0.5468	0.1780
609	num_nonrel_judged_ret	420.6364	138.7490
609	num_rel	30.0000	0.0000
609	num_rel_ret	23.6727	6.0334
609	num_ret	931.8182	215.6098
609	prefs_avgjg	0.7106	0.1781
609	prefs_avgjg_Rnonrel	0.0224	0.0033
609	prefs_avgjg_Rnonrel_ret	0.0491	0.0157
609	prefs_avgjg_imp	0.8228	0.1043
609	prefs_avgjg_ret	0.7259	0.1225
609	prefs_num_prefs_ful	23704.4273	5941.8312
609	prefs_num_prefs_ful_ret	8166.9273	4312.8755
609	prefs_num_prefs_poss	33359.0000	0.0000
609	prefs_pair	0.7106	0.1781
609	prefs_pair_imp	0.8228	0.1043
609	prefs_pair_ret	0.7259	0.1225
609	prefs_simp	0.7106	0.1781
609	prefs_simp_imp	0.8228	0.1043
609	prefs_simp_ret	0.7259	0.1225
609	recall_10	0.1579	0.0699
609	recall_100	0.4203	0.1403
609	recall_1000	0.7891	0.2011
609	recall_15	0.1879	0.0770
609	recall_20	0.2173	0.0876
609	recall_200	0.5639	0.1937
609	recall_30	0.2664	0.1059
609	recall_5	0.0967	0.0473
609	recall_500	0.7045	0.2062
609	recip_rank	0.8102	0.3301
609	relative_P_10	0.4736	0.2096
609	relative_P_100	0.4203	0.1403
609	relative_P_1000	0.7891	0.2011
609	relative_P_15	0.3758	0.1541
609	relative_P_20	0.3259	0.1314
609	relative_P_200	0.5639	0.1937
609	relative_P_30	0.2664	0.1059
609	relative_P_5	0.5800	0.2841
609	relative_P_500	0.7045	0.2062
609	set_F	   nan	   nan
609	set_P	0.0274	0.0116
609	set_map	0.0218	0.0085
609	set_recall	0.7891	0.2011
609	set_relative_P	0.7891	0.2011
609	success_1	0.7364	0.4406
609	success_10	0.9636	0.1872
609	success_5	0.9091	0.2875
609	utility	-884.4727	209.5552
610	11pt_avg	0.0885	0.0910
610	G	0.1828	0.0802
610	P_10	0.0655	0.0732
610	P_100	0.0330	0.0180
610	P_1000	0.0053	0.0014
610	P_15	0.0679	0.0708
610	P_20	0.0609	0.0608
610	P_200	0.0221	0.0088
610	P_30	0.0579	0.0453
610	P_5	0.0673	0.1153
610	P_500	0.0102	0.0031
610	Rndcg	0.1955	0.1185
610	Rprec	0.0667	0.1128
610	Rprec_mult_0.20	0.0682	0.1716
610	Rprec_mult_0.40	0.0576	0.1338
610	Rprec_mult_0.60	0.0591	0.1302
610	Rprec_mult_0.80	0.0673	0.1153
610	Rprec_mult_1.00	0.0667	0.1128
610	Rprec_mult_1.20	0.0648	0.0871
610	Rprec_mult_1.40	0.0646	0.0798
610	Rprec_mult_1.60	0.0655	0.0732
610	Rprec_mult_1.80	0.0653	0.0716
610	Rprec_mult_2.00	0.0659	0.0738
610	binG	0.1828	0.0802
610	bpref	0.0402	0.0776
610	infAP	0.0822	0.0866
610	iprec_at_recall_0.00	0.1910	0.2370
610	iprec_at_recall_0.10	0.1910	0.2370
610	iprec_at_recall_0.20	0.1067	0.1198
610	iprec_at_recall_0.30	0.1067	0.1198
610	iprec_at_recall_0.40	0.0810	0.0875
610	iprec_at_recall_0.50	0.0810	0.0875
610	iprec_at_recall_0.60	0.0653	0.0699
610	iprec_at_recall_0.70	0.0458	0.0625
610	iprec_at_recall_0.80	0.0458	0.0625
610	iprec_at_recall_0.90	0.0295	0.0301
610	iprec_at_recall_1.00	0.0295	0.0301
610	map	0.0822	0.0866
610	map_cut_10	0.0354	0.0633
610	map_cut_100	0.0742	0.0876
610	map_cut_1000	0.0822	0.0866
610	map_cut_15	0.0454	0.0795
610	map_cut_20	0.0501	0.0827
610	map_cut_200	0.0800	0.0872
610	map_cut_30	0.0582	0.0868
610	map_cut_5	0.0262	0.0550
610	map_cut_500	0.0819	0.0868
610	ndcg	0.3265	0.1377
610	ndcg_cut_10	0.0883	0.1164
610	ndcg_cut_100	0.2457	0.1603
610	ndcg_cut_1000	0.3265	0.1377
610	ndcg_cut_15	0.1172	0.1398
610	ndcg_cut_20	0.1316	0.1493
610	ndcg_cut_200	0.2936	0.1532
610	ndcg_cut_30	0.1648	0.1551
610	ndcg_cut_5	0.0646	0.1182
610	ndcg_cut_500	0.3184	0.1435
610	ndcg_rel	0.2382	0.1259
610	num_nonrel_judged_ret	445.3182	114.1985
610	num_rel	6.0000	0.0000
610	num_rel_ret	5.3455	1.4041
610	num_ret	931.8091	215.6070
610	prefs_avgjg	0.8250	0.2248
610	prefs_avgjg_Rnonrel	0.0022	0.0004
610	prefs_avgjg_Rnonrel_ret	0.0053	0.0019
610	prefs_avgjg_imp	0.8753	0.1502
610	prefs_avgjg_ret	0.7481	0.2053
610	prefs_num_prefs_ful	6222.4727	1695.6492
610	prefs_num_prefs_ful_ret	2010.8636	827.8386
610	prefs_num_prefs_poss	7542.0000	0.0000
610	prefs_pair	0.8250	0.2248
610	prefs_pair_imp	0.8753	0.1502
610	prefs_pair_ret	0.7481	0.2053
610	prefs_simp	0.8250	0.2248
610	prefs_simp_imp	0.8753	0.1502
610	prefs_simp_ret	0.7481	0.2053
610	recall_10	0.1091	0.1219
610	recall_100	0.5500	0.2995
610	recall_1000	0.8909	0.2340
610	recall_15	0.1697	0.1769
610	recall_20	0.2030	0.2027
610	recall_200	0.7379	0.2943
610	recall_30	0.2894	0.2266
610	recall_5	0.0561	0.0961
610	recall_500	0.8485	0.2587
610	recip_rank	0.1785	0.2378
610	relative_P_10	0.1091	0.1219
610	relative_P_100	0.5500	0.2995
610	relative_P_1000	0.8909	0.2340
610	relative_P_15	0.1697	0.1769
610	relative_P_20	0.2030	0.2027
610	relative_P_200	0.7379	0.2943
610	relative_P_30	0.2894	0.2266
610	relative_P_5	0.0673	0.1153
610	relative_P_500	0.8485	0.2587
610	set_F	   nan	   nan
610	set_P	0.0059	0.0018
610	set_map	0.0053	0.0016
610	set_recall	0.8909	0.2340
610	set_relative_P	0.8909	0.2340
610	success_1	0.0545	0.2271
610	success_10	0.5182	0.4997
610	success_5	0.2818	0.4499
610	utility	-921.1182	213.4991
611	11pt_avg	0.3149	0.0703
611	G	0.1880	0.0373
611	P_10	0.6164	0.2266
611	P_100	0.2217	0.0414
611	P_1000	0.0441	0.0077
611	P_15	0.5485	0.1612
611	P_20	0.4750	0.1241
611	P_200	0.1487	0.0272
611	P_30	0.4015	0.0909
611	P_5	0.7073	0.2824
611	P_500	0.0761	0.0133
611	Rndcg	0.4802	0.1021
611	Rprec	0.3230	0.0673
611	Rprec_mult_0.20	0.6164	0.2266
611	Rprec_mult_0.40	0.4750	0.1241
611	Rprec_mult_0.60	0.4015	0.0909
611	Rprec_mult_0.80	0.3507	0.0798
611	Rprec_mult_1.00	0.3230	0.0673
611	Rprec_mult_1.20	0.2968	0.0564
611	Rprec_mult_1.40	0.2745	0.0523
611	Rprec_mult_1.60	0.2544	0.0490
611	Rprec_mult_1.80	0.2393	0.0457
611	Rprec_mult_2.00	0.2250	0.0425
611	binG	0.2295	0.0574
611	bpref	0.2700	0.0611
611	infAP	0.2911	0.0721
611	iprec_at_recall_0.00	0.8826	0.2095
611	iprec_at_recall_0.10	0.7417	0.2410
611	iprec_at_recall_0.20	0.5541	0.2042
611	iprec_at_recall_0.30	0.3775	0.1100
611	iprec_at_recall_0.40	0.2814	0.0906
611	iprec_at_recall_0.50	0.2136	0.0706
611	iprec_at_recall_0.60	0.1575	0.0584
611	iprec_at_recall_0.70	0.1200	0.0512
611	iprec_at_recall_0.80	0.0740	0.0440
611	iprec_at_recall_0.90	0.0437	0.0361
611	iprec_at_recall_1.00	0.0172	0.0286
611	map	0.2911	0.0721
611	map_cut_10	0.1054	0.0546
611	map_cut_100	0.2346	0.0683
611	map_cut_1000	0.2911	0.0721
611	map_cut_15	0.1313	0.0633
611	map_cut_20	0.1451	0.0646
611	map_cut_200	0.2639	0.0665
611	map_cut_30	0.1687	0.0677
611	map_cut_5	0.0643	0.0342
611	map_cut_500	0.2835	0.0699
611	ndcg	0.6470	0.1101
611	ndcg_cut_10	0.5005	0.1909
611	ndcg_cut_100	0.4611	0.0842
611	ndcg_cut_1000	0.6470	0.1101
611	ndcg_cut_15	0.4551	0.1529
611	ndcg_cut_20	0.4096	0.1239
611	ndcg_cut_200	0.5375	0.0878
611	ndcg_cut_30	0.4043	0.1080
611	ndcg_cut_5	0.5436	0.2274
611	ndcg_cut_500	0.6065	0.1002
611	ndcg_rel	0.5293	0.1093
611	num_nonrel_judged_ret	335.0545	86.2593
611	num_rel	49.0000	0.0000
611	num_rel_ret	44.1455	7.7434
611	num_ret	913.8545	247.9181
611	prefs_avgjg	0.6766	0.1086
611	prefs_avgjg_Rnonrel	0.0824	0.0107
611	prefs_avgjg_Rnonrel_ret	0.1069	0.0200
611	prefs_avgjg_imp	0.7141	0.0503
611	prefs_avgjg_ret	0.6619	0.0833
611	prefs_num_prefs_ful	16039.8364	2574.0297
611	prefs_num_prefs_ful_ret	10530.2545	3247.1976
611	prefs_num_prefs_poss	23708.0000	0.0000
611	prefs_pair	0.6766	0.1086
611	prefs_pair_imp	0.7141	0.0503
611	prefs_pair_ret	0.6619	0.0833
611	prefs_simp	0.6766	0.1086
611	prefs_simp_imp	0.7141	0.0503
611	prefs_simp_ret	0.6619	0.0833
611	recall_10	0.1258	0.0463
611	recall_100	0.4525	0.0844
611	recall_1000	0.9009	0.1580
611	recall_15	0.1679	0.0494
611	recall_20	0.1939	0.0506
611	recall_200	0.6069	0.1111
611	recall_30	0.2458	0.0557
611	recall_5	0.0721	0.0288
611	recall_500	0.7764	0.1361
611	recip_rank	0.8173	0.3050
611	relative_P_10	0.6164	0.2266
611	relative_P_100	0.4525	0.0844
611	relative_P_1000	0.9009	0.1580
611	relative_P_15	0.5485	0.1612
611	relative_P_20	0.4750	0.1241
611	relative_P_200	0.6069	0.1111
611	relative_P_30	0.4015	0.0909
611	relative_P_5	0.7073	0.2824
611	relative_P_500	0.7764	0.1361
611	set_F	0.0987	0.0392
611	set_P	0.0544	0.0249
611	set_map	0.0469	0.0161
611	set_recall	0.9009	0.1580
611	set_relative_P	0.9021	0.1518
611	success_1	0.7273	0.4454
611	success_10	0.9909	0.0949
611	success_5	0.9636	0.1872
611	utility	-825.5636	235.2556
612	11pt_avg	0.4986	0.1566
612	G	0.2830	0.0835
612	P_10	0.5536	0.1862
612	P_100	0.1389	0.0249
612	P_1000	0.0160	0.0021
612	P_15	0.4964	0.1695
612	P_20	0.4600	0.1556
612	P_200	0.0736	0.0113
612	P_30	0.3642	0.1096
612	P_5	0.6436	0.2606
612	P_500	0.0315	0.0044
612	Rndcg	0.5390	0.1663
612	Rprec	0.4850	0.1620
612	Rprec_mult_0.20	0.6773	0.2887
612	Rprec_mult_0.40	0.5948	0.2088
612	Rprec_mult_0.60	0.5430	0.1824
612	Rprec_mult_0.80	0.5078	0.1740
612	Rprec_mult_1.00	0.4850	0.1620
612	Rprec_mult_1.20	0.4511	0.1520
612	Rprec_mult_1.40	0.4254	0.1383
612	Rprec_mult_1.60	0.3822	0.1164
612	Rprec_mult_1.80	0.3575	0.1073
612	Rprec_mult_2.00	0.3321	0.0965
612	binG	0.3787	0.1096
612	bpref	0.4569	0.1693
612	infAP	0.4798	0.1681
612	iprec_at_recall_0.00	0.9351	0.1606
612	iprec_at_recall_0.10	0.7912	0.2702
612	iprec_at_recall_0.20	0.7297	0.2567
612	iprec_at_recall_0.30	0.6815	0.2374
612	iprec_at_recall_0.40	0.5733	0.2213
612	iprec_at_recall_0.50	0.5240	0.2098
612	iprec_at_recall_0.60	0.4554	0.2056
612	iprec_at_recall_0.70	0.4063	0.2126
612	iprec_at_recall_0.80	0.2490	0.1606
612	iprec_at_recall_0.90	0.1028	0.0773
612	iprec_at_recall_1.00	0.0362	0.0409
612	map	0.4798	0.1681
612	map_cut_10	0.2602	0.1165
612	map_cut_100	0.4711	0.1686
612	map_cut_1000	0.4798	0.1681
612	map_cut_15	0.3283	0.1490
612	map_cut_20	0.3846	0.1695
612	map_cut_200	0.4763	0.1685
612	map_cut_30	0.4303	0.1745
612	map_cut_5	0.1697	0.0857
612	map_cut_500	0.4794	0.1683
612	ndcg	0.6863	0.1562
612	ndcg_cut_10	0.4572	0.1761
612	ndcg_cut_100	0.6405	0.1644
612	ndcg_cut_1000	0.6863	0.1562
612	ndcg_cut_15	0.4690	0.1782
612	ndcg_cut_20	0.5108	0.1892
612	ndcg_cut_200	0.6604	0.1623
612	ndcg_cut_30	0.5637	0.1896
612	ndcg_cut_5	0.5190	0.2265
612	ndcg_cut_500	0.6818	0.1592
612	ndcg_rel	0.5820	0.1672
612	num_nonrel_judged_ret	367.0455	110.5887
612	num_rel	17.0000	0.0000
612	num_rel_ret	16.0182	2.1319
612	num_ret	914.0727	247.1284
612	prefs_avgjg	0.8842	0.1204
612	prefs_avgjg_Rnonrel	0.0262	0.0050
612	prefs_avgjg_Rnonrel_ret	0.0519	0.0568
612	prefs_avgjg_imp	0.9225	0.0463
612	prefs_avgjg_ret	0.8715	0.1145
612	prefs_num_prefs_ful	9483.5545	1291.3509
612	prefs_num_prefs_ful_ret	5526.8818	1994.4005
612	prefs_num_prefs_poss	10725.0000	0.0000
612	prefs_pair	0.8842	0.1204
612	prefs_pair_imp	0.9225	0.0463
612	prefs_pair_ret	0.8715	0.1145
612	prefs_simp	0.8842	0.1204
612	prefs_simp_imp	0.9225	0.0463
612	prefs_simp_ret	0.8715	0.1145
612	recall_10	0.3257	0.1095
612	recall_100	0.8171	0.1468
612	recall_1000	0.9423	0.1254
612	recall_15	0.4380	0.1496
612	recall_20	0.5412	0.1831
612	recall_200	0.8663	0.1325
612	recall_30	0.6428	0.1934
612	recall_5	0.1893	0.0767
612	recall_500	0.9278	0.1285
612	recip_rank	0.9033	0.2239
612	relative_P_10	0.5536	0.1862
612	relative_P_100	0.8171	0.1468
612	relative_P_1000	0.9423	0.1254
612	relative_P_15	0.4964	0.1695
612	relative_P_20	0.5412	0.1831
612	relative_P_200	0.8663	0.1325
612	relative_P_30	0.6428	0.1934
612	relative_P_5	0.6436	0.2606
612	relative_P_500	0.9278	0.1285
612	set_F	0.0454	0.0620
612	set_P	0.0263	0.0538
612	set_map	0.0217	0.0308
612	set_recall	0.9423	0.1254
612	set_relative_P	0.9423	0.1254
612	success_1	0.8364	0.3699
612	success_10	1.0000	0.0000
612	success_5	0.9909	0.0949
612	utility	-882.0364	243.3372
613	11pt_avg	0.3508	0.1292
613	G	0.2025	0.0594
613	P_10	0.6827	0.2873
613	P_100	0.2319	0.0539
613	P_1000	0.0406	0.0070
613	P_15	0.5994	0.2314
613	P_20	0.5323	0.2068
613	P_200	0.1513	0.0280
613	P_30	0.4391	0.1572
613	P_5	0.7200	0.3403
613	P_500	0.0750	0.0135
613	Rndcg	0.5035	0.1557
613	Rprec	0.3460	0.1181
613	Rprec_mult_0.20	0.6827	0.2873
613	Rprec_mult_0.40	0.5474	0.2161
613	Rprec_mult_0.60	0.4461	0.1604
613	Rprec_mult_0.80	0.3844	0.1377
613	Rprec_mult_1.00	0.3460	0.1181
613	Rprec_mult_1.20	0.3166	0.0958
613	Rprec_mult_1.40	0.2928	0.0830
613	Rprec_mult_1.60	0.2712	0.0711
613	Rprec_mult_1.80	0.2547	0.0635
613	Rprec_mult_2.00	0.2409	0.0573
613	binG	0.2622	0.0932
613	bpref	0.3098	0.1129
613	infAP	0.3366	0.1360
613	iprec_at_recall_0.00	0.8429	0.2753
613	iprec_at_recall_0.10	0.7687	0.2913
613	iprec_at_recall_0.20	0.6374	0.2954
613	iprec_at_recall_0.30	0.5053	0.2473
613	iprec_at_recall_0.40	0.3826	0.1685
613	iprec_at_recall_0.50	0.2624	0.1112
613	iprec_at_recall_0.60	0.1871	0.0771
613	iprec_at_recall_0.70	0.1460	0.0700
613	iprec_at_recall_0.80	0.0855	0.0606
613	iprec_at_recall_0.90	0.0396	0.0442
613	iprec_at_recall_1.00	0.0009	0.0069
613	map	0.3366	0.1360
613	map_cut_10	0.1289	0.0731
613	map_cut_100	0.2856	0.1348
613	map_cut_1000	0.3366	0.1360
613	map_cut_15	0.1623	0.0906
613	map_cut_20	0.1859	0.1044
613	map_cut_200	0.3143	0.1335
613	map_cut_30	0.2146	0.1167
613	map_cut_5	0.0717	0.0412
613	map_cut_500	0.3326	0.1359
613	ndcg	0.6702	0.1462
613	ndcg_cut_10	0.5804	0.2653
613	ndcg_cut_100	0.5046	0.1501
613	ndcg_cut_1000	0.6702	0.1462
613	ndcg_cut_15	0.5396	0.2323
613	ndcg_cut_20	0.5019	0.2130
613	ndcg_cut_200	0.5813	0.1387
613	ndcg_cut_30	0.4394	0.1768
613	ndcg_cut_5	0.5675	0.2949
613	ndcg_cut_500	0.6466	0.1451
613	ndcg_rel	0.5698	0.1593
613	num_nonrel_judged_ret	330.5727	83.0611
613	num_rel	47.0000	0.0000
613	num_rel_ret	40.6455	7.0499
613	num_ret	913.8727	247.8520
613	prefs_avgjg	0.7367	0.1251
613	prefs_avgjg_Rnonrel	0.0655	0.0116
613	prefs_avgjg_Rnonrel_ret	0.1012	0.0212
613	prefs_avgjg_imp	0.7832	0.1144
613	prefs_avgjg_ret	0.7097	0.1222
613	prefs_num_prefs_ful	21440.0636	3640.0012
613	prefs_num_prefs_ful_ret	10497.5182	3704.3647
613	prefs_num_prefs_poss	29103.0000	0.0000
613	prefs_pair	0.7367	0.1251
613	prefs_pair_imp	0.7832	0.1144
613	prefs_pair_ret	0.7097	0.1222
613	prefs_simp	0.7367	0.1251
613	prefs_simp_imp	0.7832	0.1144
613	prefs_simp_ret	0.7097	0.1222
613	recall_10	0.1453	0.0611
613	recall_100	0.4934	0.1146
613	recall_1000	0.8648	0.1500
613	recall_15	0.1913	0.0738
613	recall_20	0.2265	0.0880
613	recall_200	0.6437	0.1192
613	recall_30	0.2803	0.1003
613	recall_5	0.0766	0.0362
613	recall_500	0.7975	0.1436
613	recip_rank	0.8029	0.3310
613	relative_P_10	0.6827	0.2873
613	relative_P_100	0.4934	0.1146
613	relative_P_1000	0.8648	0.1500
613	relative_P_15	0.5994	0.2314
613	relative_P_20	0.5323	0.2068
613	relative_P_200	0.6437	0.1192
613	relative_P_30	0.4391	0.1572
613	relative_P_5	0.7200	0.3403
613	relative_P_500	0.7975	0.1436
613	set_F	   nan	   nan
613	set_P	0.0497	0.0272
613	set_map	0.0426	0.0182
613	set_recall	0.8648	0.1500
613	set_relative_P	0.8648	0.1500
613	success_1	0.7273	0.4454
613	success_10	0.9818	0.1336
613	success_5	0.9273	0.2597
613	utility	-832.5818	238.1355
614	11pt_avg	0.6007	0.2215
614	G	0.3386	0.1044
614	P_10	0.7618	0.2401
614	P_100	0.2146	0.0722
614	P_1000	0.0261	0.0047
614	P_15	0.7339	0.2646
614	P_20	0.6818	0.2672
614	P_200	0.1141	0.0322
614	P_30	0.5758	0.2382
614	P_5	0.7927	0.1594
614	P_500	0.0489	0.0106
614	Rndcg	0.6366	0.1100
614	Rprec	0.5758	0.2382
614	Rprec_mult_0.20	0.7848	0.1774
614	Rprec_mult_0.40	0.7508	0.2554
614	Rprec_mult_0.60	0.7045	0.2707
614	Rprec_mult_0.80	0.6401	0.2582
614	Rprec_mult_1.00	0.5758	0.2382
614	Rprec_mult_1.20	0.5139	0.2130
614	Rprec_mult_1.40	0.4565	0.1862
614	Rprec_mult_1.60	0.4085	0.1627
614	Rprec_mult_1.80	0.3699	0.1428
614	Rprec_mult_2.00	0.3383	0.1276
614	binG	0.4110	0.1328
614	bpref	0.5718	0.2532
614	infAP	0.5734	0.2418
614	iprec_at_recall_0.00	0.9988	0.0090
614	iprec_at_recall_0.10	0.9721	0.1073
614	iprec_at_recall_0.20	0.7866	0.3138
614	iprec_at_recall_0.30	0.7412	0.3317
614	iprec_at_recall_0.40	0.7047	0.3459
614	iprec_at_recall_0.50	0.6663	0.3517
614	iprec_at_recall_0.60	0.6118	0.3550
614	iprec_at_recall_0.70	0.5062	0.3539
614	iprec_at_recall_0.80	0.3958	0.3262
614	iprec_at_recall_0.90	0.2163	0.2537
614	iprec_at_recall_1.00	0.0082	0.0218
614	map	0.5734	0.2418
614	map_cut_10	0.2338	0.0733
614	map_cut_100	0.5620	0.2467
614	map_cut_1000	0.5734	0.2418
614	map_cut_15	0.3323	0.1249
614	map_cut_20	0.4074	0.1693
614	map_cut_200	0.5681	0.2451
614	map_cut_30	0.5001	0.2238
614	map_cut_5	0.1270	0.0277
614	map_cut_500	0.5715	0.2432
614	ndcg	0.7365	0.1394
614	ndcg_cut_10	0.6634	0.1527
614	ndcg_cut_100	0.6878	0.1770
614	ndcg_cut_1000	0.7365	0.1394
614	ndcg_cut_15	0.6837	0.1730
614	ndcg_cut_20	0.6709	0.1820
614	ndcg_cut_200	0.7047	0.1653
614	ndcg_cut_30	0.6199	0.1790
614	ndcg_cut_5	0.5904	0.1017
614	ndcg_cut_500	0.7217	0.1509
614	ndcg_rel	0.6655	0.1214
614	num_nonrel_judged_ret	403.1273	119.3498
614	num_rel	30.0000	0.0000
614	num_rel_ret	26.0818	4.7331
614	num_ret	905.2545	249.3857
614	prefs_avgjg	0.8190	0.1678
614	prefs_avgjg_Rnonrel	0.0387	0.0094
614	prefs_avgjg_Rnonrel_ret	0.0779	0.0280
614	prefs_avgjg_imp	0.8941	0.0867
614	prefs_avgjg_ret	0.8542	0.1663
614	prefs_num_prefs_ful	20970.8545	4296.8767
614	prefs_num_prefs_ful_ret	9767.9909	4265.1175
614	prefs_num_prefs_poss	25604.0000	0.0000
614	prefs_pair	0.8190	0.1678
614	prefs_pair_imp	0.8941	0.0867
614	prefs_pair_ret	0.8542	0.1663
614	prefs_simp	0.8190	0.1678
614	prefs_simp_imp	0.8941	0.0867
614	prefs_simp_ret	0.8542	0.1663
614	recall_10	0.2539	0.0800
614	recall_100	0.7155	0.2406
614	recall_1000	0.8694	0.1578
614	recall_15	0.3670	0.1323
614	recall_20	0.4545	0.1781
614	recall_200	0.7606	0.2148
614	recall_30	0.5758	0.2382
614	recall_5	0.1321	0.0266
614	recall_500	0.8151	0.1773
614	recip_rank	0.9909	0.0668
614	relative_P_10	0.7618	0.2401
614	relative_P_100	0.7155	0.2406
614	relative_P_1000	0.8694	0.1578
614	relative_P_15	0.7339	0.2646
614	relative_P_20	0.6818	0.2672
614	relative_P_200	0.7606	0.2148
614	relative_P_30	0.5758	0.2382
614	relative_P_5	0.7927	0.1594
614	relative_P_500	0.8151	0.1773
614	set_F	0.0630	0.0283
614	set_P	0.0495	0.1301
614	set_map	0.0285	0.0125
614	set_recall	0.8694	0.1578
614	set_relative_P	0.8858	0.1191
614	success_1	0.9818	0.1336
614	success_10	1.0000	0.0000
614	success_5	1.0000	0.0000
614	utility	-853.0909	241.6121
615	11pt_avg	0.2791	0.1630
615	G	0.2455	0.0940
615	P_10	0.3118	0.1823
615	P_100	0.0692	0.0182
615	P_1000	0.0096	0.0025
615	P_15	0.2473	0.1349
615	P_20	0.2077	0.1047
615	P_200	0.0390	0.0099
615	P_30	0.1642	0.0654
615	P_5	0.4345	0.3085
615	P_500	0.0181	0.0048
615	Rndcg	0.4079	0.2324
615	Rprec	0.2879	0.1650
615	Rprec_mult_0.20	0.5000	0.3886
615	Rprec_mult_0.40	0.4345	0.3085
615	Rprec_mult_0.60	0.3625	0.2229
615	Rprec_mult_0.80	0.3118	0.1823
615	Rprec_mult_1.00	0.2879	0.1650
615	Rprec_mult_1.20	0.2473	0.1349
615	Rprec_mult_1.40	0.2299	0.1233
615	Rprec_mult_1.60	0.2077	0.1047
615	Rprec_mult_1.80	0.2008	0.0906
615	Rprec_mult_2.00	0.1905	0.0829
615	binG	0.2803	0.1254
615	bpref	0.2442	0.1571
615	infAP	0.2597	0.1629
615	iprec_at_recall_0.00	0.6669	0.3657
615	iprec_at_recall_0.10	0.6431	0.3572
615	iprec_at_recall_0.20	0.5577	0.3296
615	iprec_at_recall_0.30	0.4518	0.3135
615	iprec_at_recall_0.40	0.3182	0.2537
615	iprec_at_recall_0.50	0.2147	0.2014
615	iprec_at_recall_0.60	0.0974	0.1126
615	iprec_at_recall_0.70	0.0623	0.0776
615	iprec_at_recall_0.80	0.0322	0.0403
615	iprec_at_recall_0.90	0.0159	0.0225
615	iprec_at_recall_1.00	0.0094	0.0175
615	map	0.2597	0.1629
615	map_cut_10	0.1901	0.1467
615	map_cut_100	0.2515	0.1637
615	map_cut_1000	0.2597	0.1629
615	map_cut_15	0.2082	0.1547
615	map_cut_20	0.2181	0.1602
615	map_cut_200	0.2558	0.1638
615	map_cut_30	0.2304	0.1619
615	map_cut_5	0.1508	0.1266
615	map_cut_500	0.2591	0.1630
615	ndcg	0.5036	0.1747
615	ndcg_cut_10	0.3501	0.2252
615	ndcg_cut_100	0.4479	0.1846
615	ndcg_cut_1000	0.5036	0.1747
615	ndcg_cut_15	0.3471	0.2089
615	ndcg_cut_20	0.3631	0.2096
615	ndcg_cut_200	0.4680	0.1826
615	ndcg_cut_30	0.3915	0.1973
615	ndcg_cut_5	0.3988	0.2961
615	ndcg_cut_500	0.4940	0.1769
615	ndcg_rel	0.4597	0.2023
615	num_nonrel_judged_ret	355.9091	101.4865
615	num_rel	12.0000	0.0000
615	num_rel_ret	9.5818	2.4509
615	num_ret	914.4909	245.6368
615	prefs_avgjg	0.7267	0.1746
615	prefs_avgjg_Rnonrel	0.0111	0.0024
615	prefs_avgjg_Rnonrel_ret	0.0224	0.0089
615	prefs_avgjg_imp	0.8313	0.0752
615	prefs_avgjg_ret	0.8061	0.1050
615	prefs_num_prefs_ful	7121.2818	1710.6480
615	prefs_num_prefs_ful_ret	2923.8636	1333.4057
615	prefs_num_prefs_poss	9800.0000	0.0000
615	prefs_pair	0.7267	0.1746
615	prefs_pair_imp	0.8313	0.0752
615	prefs_pair_ret	0.8061	0.1050
615	prefs_simp	0.7267	0.1746
615	prefs_simp_imp	0.8313	0.0752
615	prefs_simp_ret	0.8061	0.1050
615	recall_10	0.2598	0.1519
615	recall_100	0.5765	0.1516
615	recall_1000	0.7985	0.2042
615	recall_15	0.3091	0.1687
615	recall_20	0.3462	0.1745
615	recall_200	0.6508	0.1642
615	recall_30	0.4106	0.1635
615	recall_5	0.1811	0.1285
615	recall_500	0.7530	0.1981
615	recip_rank	0.6117	0.3977
615	relative_P_10	0.3118	0.1823
615	relative_P_100	0.5765	0.1516
615	relative_P_1000	0.7985	0.2042
615	relative_P_15	0.3091	0.1687
615	relative_P_20	0.3462	0.1745
615	relative_P_200	0.6508	0.1642
615	relative_P_30	0.4106	0.1635
615	relative_P_5	0.4345	0.3085
615	relative_P_500	0.7530	0.1981
615	set_F	0.0241	0.0146
615	set_P	0.0125	0.0088
615	set_map	0.0095	0.0039
615	set_recall	0.7985	0.2042
615	set_relative_P	0.7985	0.2042
615	success_1	0.4818	0.4997
615	success_10	0.8364	0.3699
615	success_5	0.7364	0.4406
615	utility	-895.3273	243.1447
616	11pt_avg	0.5421	0.1930
616	G	0.2577	0.0773
616	P_10	0.8291	0.2278
616	P_100	0.2822	0.0881
616	P_1000	0.0362	0.0090
616	P_15	0.7582	0.2274
616	P_20	0.7145	0.1913
616	P_200	0.1564	0.0443
616	P_30	0.6130	0.1771
616	P_5	0.8855	0.2148
616	P_500	0.0695	0.0179
616	Rndcg	0.5958	0.1420
616	Rprec	0.5262	0.1620
616	Rprec_mult_0.20	0.8444	0.2258
616	Rprec_mult_0.40	0.7417	0.2058
616	Rprec_mult_0.60	0.6629	0.1820
616	Rprec_mult_0.80	0.5887	0.1739
616	Rprec_mult_1.00	0.5262	0.1620
616	Rprec_mult_1.20	0.4722	0.1494
616	Rprec_mult_1.40	0.4288	0.1377
616	Rprec_mult_1.60	0.3923	0.1259
616	Rprec_mult_1.80	0.3612	0.1158
616	Rprec_mult_2.00	0.3335	0.1071
616	binG	0.3805	0.1384
616	bpref	0.5200	0.1850
616	infAP	0.5407	0.2101
616	iprec_at_recall_0.00	0.9543	0.1418
616	iprec_at_recall_0.10	0.8945	0.2036
616	iprec_at_recall_0.20	0.8444	0.2372
616	iprec_at_recall_0.30	0.7301	0.3007
616	iprec_at_recall_0.40	0.6523	0.3032
616	iprec_at_recall_0.50	0.5579	0.2967
616	iprec_at_recall_0.60	0.4788	0.2778
616	iprec_at_recall_0.70	0.3901	0.2511
616	iprec_at_recall_0.80	0.2734	0.2217
616	iprec_at_recall_0.90	0.1652	0.1779
616	iprec_at_recall_1.00	0.0220	0.0301
616	map	0.5407	0.2101
616	map_cut_10	0.1909	0.0678
616	map_cut_100	0.5131	0.2104
616	map_cut_1000	0.5407	0.2101
616	map_cut_15	0.2573	0.0974
616	map_cut_20	0.3123	0.1177
616	map_cut_200	0.5294	0.2110
616	map_cut_30	0.3862	0.1523
616	map_cut_5	0.1032	0.0327
616	map_cut_500	0.5389	0.2106
616	ndcg	0.7188	0.1685
616	ndcg_cut_10	0.5868	0.1588
616	ndcg_cut_100	0.6472	0.1739
616	ndcg_cut_1000	0.7188	0.1685
616	ndcg_cut_15	0.6080	0.1735
616	ndcg_cut_20	0.6221	0.1583
616	ndcg_cut_200	0.6779	0.1730
616	ndcg_cut_30	0.5996	0.1588
616	ndcg_cut_5	0.5100	0.1348
616	ndcg_cut_500	0.7084	0.1699
616	ndcg_rel	0.6147	0.1381
616	num_nonrel_judged_ret	411.9818	134.3943
616	num_rel	41.0000	0.0000
616	num_rel_ret	36.1545	9.0083
616	num_ret	914.6727	244.9975
616	prefs_avgjg	0.8340	0.2072
616	prefs_avgjg_Rnonrel	0.0442	0.0079
616	prefs_avgjg_Rnonrel_ret	0.1014	0.0832
616	prefs_avgjg_imp	0.9072	0.0782
616	prefs_avgjg_ret	0.8566	0.1077
616	prefs_num_prefs_ful	33104.6727	8222.6798
616	prefs_num_prefs_ful_ret	14204.2818	5908.6690
616	prefs_num_prefs_poss	39693.0000	0.0000
616	prefs_pair	0.8340	0.2072
616	prefs_pair_imp	0.9072	0.0782
616	prefs_pair_ret	0.8566	0.1077
616	prefs_simp	0.8340	0.2072
616	prefs_simp_imp	0.9072	0.0782
616	prefs_simp_ret	0.8566	0.1077
616	recall_10	0.2022	0.0555
616	recall_100	0.6882	0.2150
616	recall_1000	0.8818	0.2197
616	recall_15	0.2774	0.0832
616	recall_20	0.3485	0.0933
616	recall_200	0.7630	0.2162
616	recall_30	0.4486	0.1296
616	recall_5	0.1080	0.0262
616	recall_500	0.8479	0.2184
616	recip_rank	0.9304	0.1973
616	relative_P_10	0.8291	0.2278
616	relative_P_100	0.6882	0.2150
616	relative_P_1000	0.8818	0.2197
616	relative_P_15	0.7582	0.2274
616	relative_P_20	0.7145	0.1913
616	relative_P_200	0.7630	0.2162
616	relative_P_30	0.6130	0.1771
616	relative_P_5	0.8855	0.2148
616	relative_P_500	0.8479	0.2184
616	set_F	0.0854	0.0833
616	set_P	0.0491	0.0746
616	set_map	0.0430	0.0622
616	set_recall	0.8818	0.2197
616	set_relative_P	0.8818	0.2197
616	success_1	0.8818	0.3228
616	success_10	0.9909	0.0949
616	success_5	0.9818	0.1336
616	utility	-842.3636	230.3640
617	11pt_avg	0.2470	0.0976
617	G	0.1350	0.0357
617	P_10	0.5064	0.1932
617	P_100	0.2235	0.0855
617	P_1000	0.0528	0.0120
617	P_15	0.4503	0.1789
617	P_20	0.4150	0.1624
617	P_200	0.1636	0.0509
617	P_30	0.3636	0.1420
617	P_5	0.6018	0.2464
617	P_500	0.0905	0.0235
617	Rndcg	0.3638	0.1020
617	Rprec	0.2650	0.1005
617	Rprec_mult_0.20	0.4656	0.1839
617	Rprec_mult_0.40	0.3734	0.1454
617	Rprec_mult_0.60	0.3233	0.1202
617	Rprec_mult_0.80	0.2884	0.1054
617	Rprec_mult_1.00	0.2650	0.1005
617	Rprec_mult_1.20	0.2439	0.0928
617	Rprec_mult_1.40	0.2282	0.0869
617	Rprec_mult_1.60	0.2148	0.0807
617	Rprec_mult_1.80	0.2039	0.0749
617	Rprec_mult_2.00	0.1940	0.0695
617	binG	0.1650	0.0483
617	bpref	0.2197	0.0867
617	infAP	0.2189	0.0976
617	iprec_at_recall_0.00	0.8513	0.2451
617	iprec_at_recall_0.10	0.4969	0.2420
617	iprec_at_recall_0.20	0.3603	0.1877
617	iprec_at_recall_0.30	0.2703	0.1421
617	iprec_at_recall_0.40	0.2234	0.1221
617	iprec_at_recall_0.50	0.1895	0.1066
617	iprec_at_recall_0.60	0.1483	0.0884
617	iprec_at_recall_0.70	0.0996	0.0752
617	iprec_at_recall_0.80	0.0592	0.0571
617	iprec_at_recall_0.90	0.0181	0.0406
617	iprec_at_recall_1.00	0.0000	0.0000
617	map	0.2189	0.0976
617	map_cut_10	0.0556	0.0291
617	map_cut_100	0.1551	0.0809
617	map_cut_1000	0.2189	0.0976
617	map_cut_15	0.0702	0.0366
617	map_cut_20	0.0817	0.0421
617	map_cut_200	0.1861	0.0910
617	map_cut_30	0.0995	0.0509
617	map_cut_5	0.0362	0.0210
617	map_cut_500	0.2109	0.0969
617	ndcg	0.5289	0.1314
617	ndcg_cut_10	0.3041	0.1113
617	ndcg_cut_100	0.3125	0.1103
617	ndcg_cut_1000	0.5289	0.1314
617	ndcg_cut_15	0.3122	0.1131
617	ndcg_cut_20	0.3153	0.1120
617	ndcg_cut_200	0.3963	0.1254
617	ndcg_cut_30	0.3098	0.1084
617	ndcg_cut_5	0.3070	0.1294
617	ndcg_cut_500	0.4824	0.1331
617	ndcg_rel	0.4082	0.0954
617	num_nonrel_judged_ret	411.4000	108.0089
617	num_rel	68.0000	0.0000
617	num_rel_ret	52.8273	12.0014
617	num_ret	931.8182	215.6098
617	prefs_avgjg	0.6952	0.1586
617	prefs_avgjg_Rnonrel	0.0385	0.0048
617	prefs_avgjg_Rnonrel_ret	0.0897	0.0246
617	prefs_avgjg_imp	0.8170	0.0867
617	prefs_avgjg_ret	0.6681	0.1002
617	prefs_num_prefs_ful	59528.3909	13579.8720
617	prefs_num_prefs_ful_ret	16002.7545	6762.1838
617	prefs_num_prefs_poss	85631.0000	0.0000
617	prefs_pair	0.6952	0.1586
617	prefs_pair_imp	0.8170	0.0867
617	prefs_pair_ret	0.6681	0.1002
617	prefs_simp	0.6952	0.1586
617	prefs_simp_imp	0.8170	0.0867
617	prefs_simp_ret	0.6681	0.1002
617	recall_10	0.0744	0.0284
617	recall_100	0.3287	0.1257
617	recall_1000	0.7769	0.1765
617	recall_15	0.0993	0.0395
617	recall_20	0.1221	0.0478
617	recall_200	0.4813	0.1497
617	recall_30	0.1604	0.0626
617	recall_5	0.0442	0.0181
617	recall_500	0.6655	0.1727
617	recip_rank	0.7810	0.3129
617	relative_P_10	0.5064	0.1932
617	relative_P_100	0.3287	0.1257
617	relative_P_1000	0.7769	0.1765
617	relative_P_15	0.4503	0.1789
617	relative_P_20	0.4150	0.1624
617	relative_P_200	0.4813	0.1497
617	relative_P_30	0.3636	0.1420
617	relative_P_5	0.6018	0.2464
617	relative_P_500	0.6655	0.1727
617	set_F	0.1140	0.0489
617	set_P	0.0631	0.0328
617	set_map	0.0494	0.0216
617	set_recall	0.7769	0.1765
617	set_relative_P	0.7769	0.1765
617	success_1	0.6545	0.4755
617	success_10	0.9727	0.1629
617	success_5	0.9636	0.1872
617	utility	-826.1636	207.0835
618	11pt_avg	0.1976	0.0801
618	G	0.1799	0.0313
618	P_10	0.1891	0.1461
618	P_100	0.1526	0.0347
618	P_1000	0.0261	0.0027
618	P_15	0.1879	0.1262
618	P_20	0.1809	0.1104
618	P_200	0.1141	0.0135
618	P_30	0.1839	0.0930
618	P_5	0.1764	0.1863
618	P_500	0.0521	0.0054
618	Rndcg	0.2508	0.1103
618	Rprec	0.1895	0.1007
618	Rprec_mult_0.20	0.1803	0.1728
618	Rprec_mult_0.40	0.1868	0.1380
618	Rprec_mult_0.60	0.1882	0.1213
618	Rprec_mult_0.80	0.1831	0.1059
618	Rprec_mult_1.00	0.1895	0.1007
618	Rprec_mult_1.20	0.1832	0.0854
618	Rprec_mult_1.40	0.1787	0.0798
618	Rprec_mult_1.60	0.1806	0.0711
618	Rprec_mult_1.80	0.1742	0.0674
618	Rprec_mult_2.00	0.1753	0.0651
618	binG	0.1870	0.0380
618	bpref	0.1207	0.0805
618	infAP	0.1790	0.0732
618	iprec_at_recall_0.00	0.3885	0.2824
618	iprec_at_recall_0.10	0.2979	0.1692
618	iprec_at_recall_0.20	0.2411	0.1080
618	iprec_at_recall_0.30	0.2276	0.0943
618	iprec_at_recall_0.40	0.2072	0.0749
618	iprec_at_recall_0.50	0.1833	0.0602
618	iprec_at_recall_0.60	0.1657	0.0513
618	iprec_at_recall_0.70	0.1564	0.0448
618	iprec_at_recall_0.80	0.1295	0.0416
618	iprec_at_recall_0.90	0.0979	0.0471
618	iprec_at_recall_1.00	0.0783	0.0449
618	map	0.1790	0.0732
618	map_cut_10	0.0297	0.0356
618	map_cut_100	0.1295	0.0778
618	map_cut_1000	0.1790	0.0732
618	map_cut_15	0.0392	0.0420
618	map_cut_20	0.0467	0.0479
618	map_cut_200	0.1673	0.0758
618	map_cut_30	0.0632	0.0575
618	map_cut_5	0.0177	0.0269
618	map_cut_500	0.1788	0.0733
618	ndcg	0.5172	0.0896
618	ndcg_cut_10	0.1484	0.1311
618	ndcg_cut_100	0.3560	0.1204
618	ndcg_cut_1000	0.5172	0.0896
618	ndcg_cut_15	0.1557	0.1204
618	ndcg_cut_20	0.1575	0.1133
618	ndcg_cut_200	0.4737	0.0989
618	ndcg_cut_30	0.1756	0.1079
618	ndcg_cut_5	0.1264	0.1500
618	ndcg_cut_500	0.5161	0.0904
618	ndcg_rel	0.3330	0.0838
618	num_nonrel_judged_ret	256.6455	44.1056
618	num_rel	27.0000	0.0000
618	num_rel_ret	26.1364	2.6917
618	num_ret	916.0909	240.1905
618	prefs_avgjg	0.6919	0.0932
618	prefs_avgjg_Rnonrel	0.0521	0.0071
618	prefs_avgjg_Rnonrel_ret	0.0580	0.0152
618	prefs_avgjg_imp	0.7027	0.0752
618	prefs_avgjg_ret	0.6726	0.0875
618	prefs_num_prefs_ful	5472.9727	737.0685
618	prefs_num_prefs_ful_ret	4652.0091	1233.5135
618	prefs_num_prefs_poss	7910.0000	0.0000
618	prefs_pair	0.6919	0.0932
618	prefs_pair_imp	0.7027	0.0752
618	prefs_pair_ret	0.6726	0.0875
618	prefs_simp	0.6919	0.0932
618	prefs_simp_imp	0.7027	0.0752
618	prefs_simp_ret	0.6726	0.0875
618	recall_10	0.0700	0.0541
618	recall_100	0.5653	0.1287
618	recall_1000	0.9680	0.0997
618	recall_15	0.1044	0.0701
618	recall_20	0.1340	0.0818
618	recall_200	0.8451	0.1000
618	recall_30	0.2044	0.1033
618	recall_5	0.0326	0.0345
618	recall_500	0.9643	0.1009
618	recip_rank	0.3220	0.3034
618	relative_P_10	0.1891	0.1461
618	relative_P_100	0.5653	0.1287
618	relative_P_1000	0.9680	0.0997
618	relative_P_15	0.1879	0.1262
618	relative_P_20	0.1809	0.1104
618	relative_P_200	0.8451	0.1000
618	relative_P_30	0.2044	0.1033
618	relative_P_5	0.1764	0.1863
618	relative_P_500	0.9643	0.1009
618	set_F	0.0643	0.0379
618	set_P	0.0339	0.0225
618	set_map	0.0317	0.0162
618	set_recall	0.9680	0.0997
618	set_relative_P	0.9680	0.0997
618	success_1	0.1364	0.3432
618	success_10	0.7727	0.4191
618	success_5	0.5818	0.4933
618	utility	-863.8182	236.1399
619	11pt_avg	0.5585	0.1424
619	G	0.3372	0.0809
619	P_10	0.6564	0.1552
619	P_100	0.1833	0.0393
619	P_1000	0.0196	0.0037
619	P_15	0.5776	0.1411
619	P_20	0.5355	0.1389
619	P_200	0.0951	0.0189
619	P_30	0.4476	0.1144
619	P_5	0.7545	0.1900
619	P_500	0.0388	0.0073
619	Rndcg	0.6631	0.1312
619	Rprec	0.5294	0.1357
619	Rprec_mult_0.20	0.7545	0.1900
619	Rprec_mult_0.40	0.6778	0.1634
619	Rprec_mult_0.60	0.6105	0.1475
619	Rprec_mult_0.80	0.5583	0.1403
619	Rprec_mult_1.00	0.5294	0.1357
619	Rprec_mult_1.20	0.4825	0.1242
619	Rprec_mult_1.40	0.4476	0.1144
619	Rprec_mult_1.60	0.4169	0.1051
619	Rprec_mult_1.80	0.3837	0.0970
619	Rprec_mult_2.00	0.3569	0.0885
619	binG	0.3925	0.0928
619	bpref	0.5105	0.1391
619	infAP	0.5460	0.1487
619	iprec_at_recall_0.00	0.9836	0.1109
619	iprec_at_recall_0.10	0.8811	0.1735
619	iprec_at_recall_0.20	0.7742	0.2080
619	iprec_at_recall_0.30	0.6933	0.1970
619	iprec_at_recall_0.40	0.6130	0.1882
619	iprec_at_recall_0.50	0.5529	0.2040
619	iprec_at_recall_0.60	0.5100	0.1984
619	iprec_at_recall_0.70	0.4284	0.1913
619	iprec_at_recall_0.80	0.3288	0.1933
619	iprec_at_recall_0.90	0.2400	0.1615
619	iprec_at_recall_1.00	0.1385	0.1070
619	map	0.5460	0.1487
619	map_cut_10	0.2679	0.0762
619	map_cut_100	0.5399	0.1505
619	map_cut_1000	0.5460	0.1487
619	map_cut_15	0.3353	0.0963
619	map_cut_20	0.3949	0.1159
619	map_cut_200	0.5446	0.1493
619	map_cut_30	0.4646	0.1384
619	map_cut_5	0.1675	0.0493
619	map_cut_500	0.5457	0.1489
619	ndcg	0.7758	0.1412
619	ndcg_cut_10	0.6160	0.1423
619	ndcg_cut_100	0.7600	0.1442
619	ndcg_cut_1000	0.7758	0.1412
619	ndcg_cut_15	0.6254	0.1431
619	ndcg_cut_20	0.6171	0.1418
619	ndcg_cut_200	0.7691	0.1425
619	ndcg_cut_30	0.6698	0.1492
619	ndcg_cut_5	0.6482	0.1497
619	ndcg_cut_500	0.7734	0.1414
619	ndcg_rel	0.6885	0.1291
619	num_nonrel_judged_ret	301.8273	83.4614
619	num_rel	21.0000	0.0000
619	num_rel_ret	19.6091	3.6608
619	num_ret	913.7091	248.4311
619	prefs_avgjg	0.8987	0.1677
619	prefs_avgjg_Rnonrel	0.0374	0.0063
619	prefs_avgjg_Rnonrel_ret	0.0784	0.0371
619	prefs_avgjg_imp	0.9472	0.0432
619	prefs_avgjg_ret	0.9151	0.0702
619	prefs_num_prefs_ful	11831.9000	2207.7624
619	prefs_num_prefs_ful_ret	5824.7455	1900.9853
619	prefs_num_prefs_poss	13166.0000	0.0000
619	prefs_pair	0.8987	0.1677
619	prefs_pair_imp	0.9472	0.0432
619	prefs_pair_ret	0.9151	0.0702
619	prefs_simp	0.8987	0.1677
619	prefs_simp_imp	0.9472	0.0432
619	prefs_simp_ret	0.9151	0.0702
619	recall_10	0.3126	0.0739
619	recall_100	0.8727	0.1873
619	recall_1000	0.9338	0.1743
619	recall_15	0.4126	0.1008
619	recall_20	0.5100	0.1323
619	recall_200	0.9056	0.1798
619	recall_30	0.6394	0.1634
619	recall_5	0.1797	0.0452
619	recall_500	0.9234	0.1743
619	recip_rank	0.9804	0.1217
619	relative_P_10	0.6564	0.1552
619	relative_P_100	0.8727	0.1873
619	relative_P_1000	0.9338	0.1743
619	relative_P_15	0.5776	0.1411
619	relative_P_20	0.5355	0.1389
619	relative_P_200	0.9056	0.1798
619	relative_P_30	0.6394	0.1634
619	relative_P_5	0.7545	0.1900
619	relative_P_500	0.9234	0.1743
619	set_F	0.0483	0.0296
619	set_P	0.0337	0.0776
619	set_map	0.0225	0.0104
619	set_recall	0.9338	0.1743
619	set_relative_P	0.9421	0.1448
619	success_1	0.9727	0.1629
619	success_10	0.9909	0.0949
619	success_5	0.9909	0.0949
619	utility	-874.4909	241.7984
620	11pt_avg	0.2746	0.2061
620	G	0.2326	0.1167
620	P_10	0.2509	0.1720
620	P_100	0.0491	0.0225
620	P_1000	0.0074	0.0018
620	P_15	0.1921	0.1339
620	P_20	0.1573	0.1009
620	P_200	0.0273	0.0106
620	P_30	0.1197	0.0738
620	P_5	0.3709	0.2626
620	P_500	0.0134	0.0036
620	Rndcg	0.3563	0.2171
620	Rprec	0.2626	0.1758
620	Rprec_mult_0.20	0.5455	0.4240
620	Rprec_mult_0.40	0.3750	0.2953
620	Rprec_mult_0.60	0.3409	0.2414
620	Rprec_mult_0.80	0.2864	0.1895
620	Rprec_mult_1.00	0.2626	0.1758
620	Rprec_mult_1.20	0.2363	0.1627
620	Rprec_mult_1.40	0.2098	0.1444
620	Rprec_mult_1.60	0.1921	0.1339
620	Rprec_mult_1.80	0.1733	0.1192
620	Rprec_mult_2.00	0.1702	0.1071
620	binG	0.2910	0.1634
620	bpref	0.2351	0.1828
620	infAP	0.2535	0.2093
620	iprec_at_recall_0.00	0.6727	0.3884
620	iprec_at_recall_0.10	0.6727	0.3884
620	iprec_at_recall_0.20	0.5497	0.4085
620	iprec_at_recall_0.30	0.3760	0.3207
620	iprec_at_recall_0.40	0.2696	0.3137
620	iprec_at_recall_0.50	0.1730	0.2193
620	iprec_at_recall_0.60	0.1172	0.1970
620	iprec_at_recall_0.70	0.0789	0.1524
620	iprec_at_recall_0.80	0.0461	0.1113
620	iprec_at_recall_0.90	0.0325	0.0789
620	iprec_at_recall_1.00	0.0325	0.0789
620	map	0.2535	0.2093
620	map_cut_10	0.2036	0.1791
620	map_cut_100	0.2479	0.2115
620	map_cut_1000	0.2535	0.2093
620	map_cut_15	0.2186	0.1943
620	map_cut_20	0.2244	0.1991
620	map_cut_200	0.2500	0.2111
620	map_cut_30	0.2339	0.2067
620	map_cut_5	0.1690	0.1484
620	map_cut_500	0.2527	0.2097
620	ndcg	0.4593	0.2080
620	ndcg_cut_10	0.3016	0.2123
620	ndcg_cut_100	0.3965	0.2348
620	ndcg_cut_1000	0.4593	0.2080
620	ndcg_cut_15	0.3182	0.2223
620	ndcg_cut_20	0.3320	0.2199
620	ndcg_cut_200	0.4109	0.2306
620	ndcg_cut_30	0.3493	0.2297
620	ndcg_cut_5	0.3288	0.2388
620	ndcg_cut_500	0.4415	0.2149
620	ndcg_rel	0.4226	0.2180
620	num_nonrel_judged_ret	338.6909	96.4147
620	num_rel	9.0000	0.0000
620	num_rel_ret	7.4000	1.8350
620	num_ret	923.8182	221.0265
620	prefs_avgjg	0.7169	0.1888
620	prefs_avgjg_Rnonrel	0.0098	0.0025
620	prefs_avgjg_Rnonrel_ret	0.0194	0.0135
620	prefs_avgjg_imp	0.7868	0.1239
620	prefs_avgjg_ret	0.7471	0.1684
620	prefs_num_prefs_ful	4440.4909	1169.6051
620	prefs_num_prefs_ful_ret	1947.6727	1018.0922
620	prefs_num_prefs_poss	6194.0000	0.0000
620	prefs_pair	0.7169	0.1888
620	prefs_pair_imp	0.7868	0.1239
620	prefs_pair_ret	0.7471	0.1684
620	prefs_simp	0.7169	0.1888
620	prefs_simp_imp	0.7868	0.1239
620	prefs_simp_ret	0.7471	0.1684
620	recall_10	0.2788	0.1911
620	recall_100	0.5455	0.2501
620	recall_1000	0.8222	0.2039
620	recall_15	0.3202	0.2231
620	recall_20	0.3495	0.2242
620	recall_200	0.6061	0.2358
620	recall_30	0.3990	0.2459
620	recall_5	0.2060	0.1459
620	recall_500	0.7424	0.2026
620	recip_rank	0.6640	0.3948
620	relative_P_10	0.2788	0.1911
620	relative_P_100	0.5455	0.2501
620	relative_P_1000	0.8222	0.2039
620	relative_P_15	0.3202	0.2231
620	relative_P_20	0.3495	0.2242
620	relative_P_200	0.6061	0.2358
620	relative_P_30	0.3990	0.2459
620	relative_P_5	0.3709	0.2626
620	relative_P_500	0.7424	0.2026
620	set_F	0.0164	0.0032
620	set_P	0.0083	0.0017
620	set_map	0.0068	0.0021
620	set_recall	0.8222	0.2039
620	set_relative_P	0.8222	0.2039
620	success_1	0.5545	0.4970
620	success_10	0.8455	0.3615
620	success_5	0.8000	0.4000
620	utility	-909.0182	218.2232
621	11pt_avg	0.4436	0.1246
621	G	0.2857	0.0586
621	P_10	0.7491	0.1016
621	P_100	0.3048	0.0841
621	P_1000	0.0472	0.0057
621	P_15	0.6418	0.1252
621	P_20	0.5745	0.1436
621	P_200	0.1847	0.0456
621	P_30	0.5161	0.1704
621	P_5	0.8709	0.1631
621	P_500	0.0904	0.0113
621	Rndcg	0.6571	0.1078
621	Rprec	0.4200	0.1524
621	Rprec_mult_0.20	0.7289	0.1096
621	Rprec_mult_0.40	0.5688	0.1474
621	Rprec_mult_0.60	0.5097	0.1688
621	Rprec_mult_0.80	0.4534	0.1650
621	Rprec_mult_1.00	0.4200	0.1524
621	Rprec_mult_1.20	0.3875	0.1314
621	Rprec_mult_1.40	0.3663	0.1127
621	Rprec_mult_1.60	0.3460	0.1015
621	Rprec_mult_1.80	0.3225	0.0909
621	Rprec_mult_2.00	0.3003	0.0821
621	binG	0.2795	0.0561
621	bpref	0.3926	0.1514
621	infAP	0.4268	0.1338
621	iprec_at_recall_0.00	0.9821	0.0840
621	iprec_at_recall_0.10	0.8807	0.1168
621	iprec_at_recall_0.20	0.6062	0.2186
621	iprec_at_recall_0.30	0.5124	0.2216
621	iprec_at_recall_0.40	0.4719	0.2150
621	iprec_at_recall_0.50	0.4243	0.2107
621	iprec_at_recall_0.60	0.3759	0.2006
621	iprec_at_recall_0.70	0.3028	0.1726
621	iprec_at_recall_0.80	0.1891	0.1256
621	iprec_at_recall_0.90	0.1211	0.0862
621	iprec_at_recall_1.00	0.0125	0.0333
621	map	0.4268	0.1338
621	map_cut_10	0.1330	0.0247
621	map_cut_100	0.3711	0.1421
621	map_cut_1000	0.4268	0.1338
621	map_cut_15	0.1648	0.0344
621	map_cut_20	0.1900	0.0497
621	map_cut_200	0.4037	0.1423
621	map_cut_30	0.2401	0.0859
621	map_cut_5	0.0818	0.0211
621	map_cut_500	0.4240	0.1344
621	ndcg	0.7783	0.0953
621	ndcg_cut_10	0.7201	0.1169
621	ndcg_cut_100	0.6477	0.1503
621	ndcg_cut_1000	0.7783	0.0953
621	ndcg_cut_15	0.6380	0.1067
621	ndcg_cut_20	0.6232	0.1197
621	ndcg_cut_200	0.7051	0.1535
621	ndcg_cut_30	0.6032	0.1382
621	ndcg_cut_5	0.8468	0.1840
621	ndcg_cut_500	0.7662	0.0978
621	ndcg_rel	0.6962	0.0986
621	num_nonrel_judged_ret	287.4273	68.2501
621	num_rel	51.0000	0.0000
621	num_rel_ret	47.2364	5.6551
621	num_ret	921.6545	225.1218
621	prefs_avgjg	0.8148	0.0951
621	prefs_avgjg_Rnonrel	0.0876	0.0139
621	prefs_avgjg_Rnonrel_ret	0.1567	0.0837
621	prefs_avgjg_imp	0.8516	0.0478
621	prefs_avgjg_ret	0.7713	0.0827
621	prefs_num_prefs_ful	22986.8545	2681.6582
621	prefs_num_prefs_ful_ret	11177.7000	3431.8161
621	prefs_num_prefs_poss	28211.0000	0.0000
621	prefs_pair	0.8148	0.0951
621	prefs_pair_imp	0.8516	0.0478
621	prefs_pair_ret	0.7713	0.0827
621	prefs_simp	0.8148	0.0951
621	prefs_simp_imp	0.8516	0.0478
621	prefs_simp_ret	0.7713	0.0827
621	recall_10	0.1469	0.0199
621	recall_100	0.5977	0.1650
621	recall_1000	0.9262	0.1109
621	recall_15	0.1888	0.0368
621	recall_20	0.2253	0.0563
621	recall_200	0.7244	0.1790
621	recall_30	0.3036	0.1002
621	recall_5	0.0853	0.0160
621	recall_500	0.8859	0.1104
621	recip_rank	0.9558	0.1702
621	relative_P_10	0.7491	0.1016
621	relative_P_100	0.5977	0.1650
621	relative_P_1000	0.9262	0.1109
621	relative_P_15	0.6418	0.1252
621	relative_P_20	0.5745	0.1436
621	relative_P_200	0.7244	0.1790
621	relative_P_30	0.5161	0.1704
621	relative_P_5	0.8709	0.1631
621	relative_P_500	0.8859	0.1104
621	set_F	0.1052	0.0363
621	set_P	0.0569	0.0236
621	set_map	0.0507	0.0132
621	set_recall	0.9262	0.1109
621	set_relative_P	0.9262	0.1109
621	success_1	0.9364	0.2441
621	success_10	1.0000	0.0000
621	success_5	0.9909	0.0949
621	utility	-827.1818	215.4959
622	11pt_avg	0.2173	0.1584
622	G	0.1424	0.0637
622	P_10	0.4145	0.2779
622	P_100	0.1904	0.1285
622	P_1000	0.0358	0.0136
622	P_15	0.3679	0.2450
622	P_20	0.3441	0.2302
622	P_200	0.1249	0.0739
622	P_30	0.3067	0.2014
622	P_5	0.4800	0.3205
622	P_500	0.0627	0.0291
622	Rndcg	0.3941	0.1893
622	Rprec	0.2448	0.1649
622	Rprec_mult_0.20	0.3977	0.2637
622	Rprec_mult_0.40	0.3311	0.2208
622	Rprec_mult_0.60	0.2871	0.1883
622	Rprec_mult_0.80	0.2631	0.1752
622	Rprec_mult_1.00	0.2448	0.1649
622	Rprec_mult_1.20	0.2274	0.1549
622	Rprec_mult_1.40	0.2098	0.1427
622	Rprec_mult_1.60	0.1958	0.1339
622	Rprec_mult_1.80	0.1832	0.1233
622	Rprec_mult_2.00	0.1733	0.1143
622	binG	0.1442	0.0768
622	bpref	0.2102	0.1568
622	infAP	0.1918	0.1636
622	iprec_at_recall_0.00	0.7472	0.3531
622	iprec_at_recall_0.10	0.4203	0.3089
622	iprec_at_recall_0.20	0.3268	0.2704
622	iprec_at_recall_0.30	0.2567	0.2424
622	iprec_at_recall_0.40	0.1999	0.2173
622	iprec_at_recall_0.50	0.1548	0.1979
622	iprec_at_recall_0.60	0.1224	0.1823
622	iprec_at_recall_0.70	0.0915	0.1612
622	iprec_at_recall_0.80	0.0622	0.1175
622	iprec_at_recall_0.90	0.0082	0.0299
622	iprec_at_recall_1.00	0.0000	0.0000
622	map	0.1918	0.1636
622	map_cut_10	0.0536	0.0447
622	map_cut_100	0.1593	0.1492
622	map_cut_1000	0.1918	0.1636
622	map_cut_15	0.0672	0.0571
622	map_cut_20	0.0796	0.0699
622	map_cut_200	0.1785	0.1628
622	map_cut_30	0.0982	0.0875
622	map_cut_5	0.0342	0.0273
622	map_cut_500	0.1884	0.1643
622	ndcg	0.4850	0.1938
622	ndcg_cut_10	0.3912	0.2464
622	ndcg_cut_100	0.3608	0.1954
622	ndcg_cut_1000	0.4850	0.1938
622	ndcg_cut_15	0.3831	0.2292
622	ndcg_cut_20	0.3764	0.2192
622	ndcg_cut_200	0.4108	0.2077
622	ndcg_cut_30	0.3608	0.2026
622	ndcg_cut_5	0.4021	0.2747
622	ndcg_cut_500	0.4566	0.2034
622	ndcg_rel	0.4312	0.1729
622	num_nonrel_judged_ret	358.7545	124.7458
622	num_rel	59.0000	0.0000
622	num_rel_ret	35.8364	13.5664
622	num_ret	931.8182	215.6098
622	prefs_avgjg	0.5728	0.2250
622	prefs_avgjg_Rnonrel	0.0251	0.0053
622	prefs_avgjg_Rnonrel_ret	0.0838	0.0457
622	prefs_avgjg_imp	0.8068	0.1579
622	prefs_avgjg_ret	0.6745	0.1689
622	prefs_num_prefs_ful	59052.6727	23191.7054
622	prefs_num_prefs_ful_ret	10121.4364	6874.5726
622	prefs_num_prefs_poss	103096.0000	0.0000
622	prefs_pair	0.5728	0.2250
622	prefs_pair_imp	0.8068	0.1579
622	prefs_pair_ret	0.6745	0.1689
622	prefs_simp	0.5728	0.2250
622	prefs_simp_imp	0.8068	0.1579
622	prefs_simp_ret	0.6745	0.1689
622	recall_10	0.0702	0.0471
622	recall_100	0.3226	0.2179
622	recall_1000	0.6074	0.2299
622	recall_15	0.0935	0.0623
622	recall_20	0.1166	0.0780
622	recall_200	0.4233	0.2506
622	recall_30	0.1559	0.1024
622	recall_5	0.0407	0.0272
622	recall_500	0.5313	0.2464
622	recip_rank	0.6944	0.4012
622	relative_P_10	0.4145	0.2779
622	relative_P_100	0.3226	0.2179
622	relative_P_1000	0.6074	0.2299
622	relative_P_15	0.3679	0.2450
622	relative_P_20	0.3441	0.2302
622	relative_P_200	0.4233	0.2506
622	relative_P_30	0.3067	0.2014
622	relative_P_5	0.4800	0.3205
622	relative_P_500	0.5313	0.2464
622	set_F	   nan	   nan
622	set_P	0.0417	0.0204
622	set_map	0.0272	0.0157
622	set_recall	0.6074	0.2299
622	set_relative_P	0.6074	0.2299
622	success_1	0.6182	0.4858
622	success_10	0.8545	0.3526
622	success_5	0.8091	0.3930
622	utility	-860.1455	208.1854
623	11pt_avg	0.4043	0.1712
623	G	0.2105	0.0656
623	P_10	0.7464	0.2689
623	P_100	0.2025	0.0604
623	P_1000	0.0307	0.0069
623	P_15	0.6879	0.2344
623	P_20	0.6232	0.2179
623	P_200	0.1176	0.0344
623	P_30	0.4806	0.1650
623	P_5	0.7709	0.3143
623	P_500	0.0552	0.0140
623	Rndcg	0.4915	0.1587
623	Rprec	0.4041	0.1360
623	Rprec_mult_0.20	0.7568	0.2860
623	Rprec_mult_0.40	0.6756	0.2318
623	Rprec_mult_0.60	0.5739	0.1968
623	Rprec_mult_0.80	0.4689	0.1601
623	Rprec_mult_1.00	0.4041	0.1360
623	Rprec_mult_1.20	0.3553	0.1183
623	Rprec_mult_1.40	0.3153	0.1058
623	Rprec_mult_1.60	0.2876	0.0941
623	Rprec_mult_1.80	0.2646	0.0837
623	Rprec_mult_2.00	0.2468	0.0750
623	binG	0.3099	0.1264
623	bpref	0.3785	0.1518
623	infAP	0.3904	0.1828
623	iprec_at_recall_0.00	0.8849	0.2346
623	iprec_at_recall_0.10	0.8297	0.2607
623	iprec_at_recall_0.20	0.7815	0.2754
623	iprec_at_recall_0.30	0.6659	0.2929
623	iprec_at_recall_0.40	0.5145	0.3085
623	iprec_at_recall_0.50	0.2910	0.2564
623	iprec_at_recall_0.60	0.2083	0.2199
623	iprec_at_recall_0.70	0.1466	0.1765
623	iprec_at_recall_0.80	0.0828	0.1132
623	iprec_at_recall_0.90	0.0322	0.0689
623	iprec_at_recall_1.00	0.0102	0.0428
623	map	0.3904	0.1828
623	map_cut_10	0.1766	0.0856
623	map_cut_100	0.3630	0.1764
623	map_cut_1000	0.3904	0.1828
623	map_cut_15	0.2361	0.1130
623	map_cut_20	0.2790	0.1371
623	map_cut_200	0.3779	0.1823
623	map_cut_30	0.3108	0.1533
623	map_cut_5	0.0950	0.0472
623	map_cut_500	0.3870	0.1832
623	ndcg	0.6166	0.1595
623	ndcg_cut_10	0.5278	0.2001
623	ndcg_cut_100	0.5093	0.1574
623	ndcg_cut_1000	0.6166	0.1595
623	ndcg_cut_15	0.5404	0.1904
623	ndcg_cut_20	0.5368	0.1896
623	ndcg_cut_200	0.5477	0.1651
623	ndcg_cut_30	0.4796	0.1644
623	ndcg_cut_5	0.4526	0.1982
623	ndcg_cut_500	0.5887	0.1647
623	ndcg_rel	0.5396	0.1443
623	num_nonrel_judged_ret	360.1909	86.4755
623	num_rel	38.0000	0.0000
623	num_rel_ret	30.7273	6.9228
623	num_ret	915.0182	243.7984
623	prefs_avgjg	0.7180	0.1686
623	prefs_avgjg_Rnonrel	0.0437	0.0074
623	prefs_avgjg_Rnonrel_ret	0.0772	0.0246
623	prefs_avgjg_imp	0.8027	0.0941
623	prefs_avgjg_ret	0.7693	0.1013
623	prefs_num_prefs_ful	20642.3455	4847.0330
623	prefs_num_prefs_ful_ret	9032.2091	3537.1344
623	prefs_num_prefs_poss	28750.0000	0.0000
623	prefs_pair	0.7180	0.1686
623	prefs_pair_imp	0.8027	0.0941
623	prefs_pair_ret	0.7693	0.1013
623	prefs_simp	0.7180	0.1686
623	prefs_simp_imp	0.8027	0.0941
623	prefs_simp_ret	0.7693	0.1013
623	recall_10	0.1964	0.0708
623	recall_100	0.5330	0.1591
623	recall_1000	0.8086	0.1822
623	recall_15	0.2715	0.0925
623	recall_20	0.3280	0.1147
623	recall_200	0.6189	0.1809
623	recall_30	0.3794	0.1303
623	recall_5	0.1014	0.0414
623	recall_500	0.7263	0.1847
623	recip_rank	0.8435	0.3050
623	relative_P_10	0.7464	0.2689
623	relative_P_100	0.5330	0.1591
623	relative_P_1000	0.8086	0.1822
623	relative_P_15	0.6879	0.2344
623	relative_P_20	0.6232	0.2179
623	relative_P_200	0.6189	0.1809
623	relative_P_30	0.4806	0.1650
623	relative_P_5	0.7709	0.3143
623	relative_P_500	0.7263	0.1847
623	set_F	0.0691	0.0254
623	set_P	0.0367	0.0152
623	set_map	0.0292	0.0099
623	set_recall	0.8086	0.1822
623	set_relative_P	0.8086	0.1822
623	success_1	0.7818	0.4130
623	success_10	0.9818	0.1336
623	success_5	0.9455	0.2271
623	utility	-853.5636	234.2698
624	11pt_avg	0.3330	0.0592
624	G	0.2305	0.0344
624	P_10	0.4545	0.0683
624	P_100	0.1335	0.0240
624	P_1000	0.0173	0.0018
624	P_15	0.3485	0.0399
624	P_20	0.2745	0.0335
624	P_200	0.0797	0.0108
624	P_30	0.2055	0.0316
624	P_5	0.5600	0.1169
624	P_500	0.0340	0.0037
624	Rndcg	0.4267	0.0775
624	Rprec	0.2985	0.0342
624	Rprec_mult_0.20	0.5750	0.1670
624	Rprec_mult_0.40	0.5091	0.0934
624	Rprec_mult_0.60	0.4338	0.0557
624	Rprec_mult_0.80	0.3485	0.0399
624	Rprec_mult_1.00	0.2985	0.0342
624	Rprec_mult_1.20	0.2537	0.0309
624	Rprec_mult_1.40	0.2297	0.0342
624	Rprec_mult_1.60	0.2113	0.0326
624	Rprec_mult_1.80	0.1925	0.0313
624	Rprec_mult_2.00	0.1864	0.0329
624	binG	0.2928	0.0443
624	bpref	0.2575	0.0297
624	infAP	0.3055	0.0578
624	iprec_at_recall_0.00	0.9305	0.1665
624	iprec_at_recall_0.10	0.8414	0.2019
624	iprec_at_recall_0.20	0.5828	0.1111
624	iprec_at_recall_0.30	0.3198	0.1239
624	iprec_at_recall_0.40	0.1975	0.0587
624	iprec_at_recall_0.50	0.1916	0.0569
624	iprec_at_recall_0.60	0.1706	0.0581
624	iprec_at_recall_0.70	0.1564	0.0572
624	iprec_at_recall_0.80	0.1282	0.0575
624	iprec_at_recall_0.90	0.0981	0.0559
624	iprec_at_recall_1.00	0.0458	0.0433
624	map	0.3055	0.0578
624	map_cut_10	0.1830	0.0450
624	map_cut_100	0.2851	0.0589
624	map_cut_1000	0.3055	0.0578
624	map_cut_15	0.1995	0.0431
624	map_cut_20	0.2045	0.0428
624	map_cut_200	0.3016	0.0590
624	map_cut_30	0.2144	0.0432
624	map_cut_5	0.1293	0.0434
624	map_cut_500	0.3051	0.0579
624	ndcg	0.5954	0.0741
624	ndcg_cut_10	0.3782	0.0753
624	ndcg_cut_100	0.5299	0.0894
624	ndcg_cut_1000	0.5954	0.0741
624	ndcg_cut_15	0.3502	0.0634
624	ndcg_cut_20	0.3339	0.0601
624	ndcg_cut_200	0.5769	0.0810
624	ndcg_cut_30	0.3560	0.0610
624	ndcg_cut_5	0.3554	0.1150
624	ndcg_cut_500	0.5921	0.0748
624	ndcg_rel	0.4754	0.0802
624	num_nonrel_judged_ret	243.4091	57.3464
624	num_rel	18.0000	0.0000
624	num_rel_ret	17.2727	1.7731
624	num_ret	914.0909	247.0629
624	prefs_avgjg	0.8647	0.0845
624	prefs_avgjg_Rnonrel	0.0269	0.0012
624	prefs_avgjg_Rnonrel_ret	0.0593	0.0237
624	prefs_avgjg_imp	0.8913	0.0251
624	prefs_avgjg_ret	0.7703	0.0825
624	prefs_num_prefs_ful	8477.1545	828.3379
624	prefs_num_prefs_ful_ret	3411.0727	1059.2029
624	prefs_num_prefs_poss	9803.0000	0.0000
624	prefs_pair	0.8647	0.0845
624	prefs_pair_imp	0.8913	0.0251
624	prefs_pair_ret	0.7703	0.0825
624	prefs_simp	0.8647	0.0845
624	prefs_simp_imp	0.8913	0.0251
624	prefs_simp_ret	0.7703	0.0825
624	recall_10	0.2525	0.0379
624	recall_100	0.7419	0.1335
624	recall_1000	0.9596	0.0985
624	recall_15	0.2904	0.0332
624	recall_20	0.3050	0.0372
624	recall_200	0.8853	0.1197
624	recall_30	0.3424	0.0527
624	recall_5	0.1556	0.0325
624	recall_500	0.9444	0.1019
624	recip_rank	0.9000	0.2367
624	relative_P_10	0.4545	0.0683
624	relative_P_100	0.7419	0.1335
624	relative_P_1000	0.9596	0.0985
624	relative_P_15	0.3485	0.0399
624	relative_P_20	0.3050	0.0372
624	relative_P_200	0.8853	0.1197
624	relative_P_30	0.3424	0.0527
624	relative_P_5	0.5600	0.1169
624	relative_P_500	0.9444	0.1019
624	set_F	0.0474	0.0447
624	set_P	0.0265	0.0369
624	set_map	0.0224	0.0163
624	set_recall	0.9596	0.0985
624	set_relative_P	0.9596	0.0985
624	success_1	0.8455	0.3615
624	success_10	1.0000	0.0000
624	success_5	0.9909	0.0949
624	utility	-879.5455	244.6237
625	11pt_avg	0.1083	0.0833
625	G	0.1093	0.0472
625	P_10	0.1791	0.1168
625	P_100	0.0754	0.0477
625	P_1000	0.0148	0.0059
625	P_15	0.1576	0.1100
625	P_20	0.1459	0.1000
625	P_200	0.0486	0.0260
625	P_30	0.1379	0.0950
625	P_5	0.2255	0.1455
625	P_500	0.0254	0.0110
625	Rndcg	0.2175	0.1011
625	Rprec	0.1411	0.0975
625	Rprec_mult_0.20	0.2197	0.1420
625	Rprec_mult_0.40	0.1735	0.1134
625	Rprec_mult_0.60	0.1492	0.1042
625	Rprec_mult_0.80	0.1446	0.0989
625	Rprec_mult_1.00	0.1411	0.0975
625	Rprec_mult_1.20	0.1339	0.0914
625	Rprec_mult_1.40	0.1320	0.0867
625	Rprec_mult_1.60	0.1221	0.0814
625	Rprec_mult_1.80	0.1143	0.0775
625	Rprec_mult_2.00	0.1089	0.0736
625	binG	0.1126	0.0518
625	bpref	0.0990	0.0741
625	infAP	0.0837	0.0760
625	iprec_at_recall_0.00	0.4984	0.3006
625	iprec_at_recall_0.10	0.2210	0.1930
625	iprec_at_recall_0.20	0.1499	0.1394
625	iprec_at_recall_0.30	0.1133	0.1259
625	iprec_at_recall_0.40	0.0775	0.1062
625	iprec_at_recall_0.50	0.0510	0.0909
625	iprec_at_recall_0.60	0.0339	0.0799
625	iprec_at_recall_0.70	0.0234	0.0713
625	iprec_at_recall_0.80	0.0150	0.0559
625	iprec_at_recall_0.90	0.0061	0.0283
625	iprec_at_recall_1.00	0.0015	0.0079
625	map	0.0837	0.0760
625	map_cut_10	0.0307	0.0269
625	map_cut_100	0.0719	0.0724
625	map_cut_1000	0.0837	0.0760
625	map_cut_15	0.0369	0.0331
625	map_cut_20	0.0418	0.0380
625	map_cut_200	0.0777	0.0747
625	map_cut_30	0.0520	0.0490
625	map_cut_5	0.0222	0.0223
625	map_cut_500	0.0820	0.0757
625	ndcg	0.3317	0.1330
625	ndcg_cut_10	0.1679	0.0963
625	ndcg_cut_100	0.2345	0.1283
625	ndcg_cut_1000	0.3317	0.1330
625	ndcg_cut_15	0.1579	0.0909
625	ndcg_cut_20	0.1589	0.0928
625	ndcg_cut_200	0.2680	0.1324
625	ndcg_cut_30	0.1705	0.1014
625	ndcg_cut_5	0.2015	0.1418
625	ndcg_cut_500	0.3071	0.1323
625	ndcg_rel	0.2817	0.1022
625	num_nonrel_judged_ret	392.9455	116.3069
625	num_rel	27.0000	0.0000
625	num_rel_ret	14.8364	5.9061
625	num_ret	913.6727	248.5822
625	prefs_avgjg	0.5008	0.2041
625	prefs_avgjg_Rnonrel	0.0125	0.0022
625	prefs_avgjg_Rnonrel_ret	0.0355	0.0931
625	prefs_avgjg_imp	0.7358	0.1345
625	prefs_avgjg_ret	0.6770	0.1476
625	prefs_num_prefs_ful	19752.1636	8048.2021
625	prefs_num_prefs_ful_ret	4375.6364	2628.0883
625	prefs_num_prefs_poss	39440.0000	0.0000
625	prefs_pair	0.5008	0.2041
625	prefs_pair_imp	0.7358	0.1345
625	prefs_pair_ret	0.6770	0.1476
625	prefs_simp	0.5008	0.2041
625	prefs_simp_imp	0.7358	0.1345
625	prefs_simp_ret	0.6770	0.1476
625	recall_10	0.0663	0.0433
625	recall_100	0.2791	0.1765
625	recall_1000	0.5495	0.2187
625	recall_15	0.0875	0.0611
625	recall_20	0.1081	0.0741
625	recall_200	0.3603	0.1924
625	recall_30	0.1532	0.1055
625	recall_5	0.0417	0.0270
625	recall_500	0.4697	0.2032
625	recip_rank	0.4441	0.3159
625	relative_P_10	0.1791	0.1168
625	relative_P_100	0.2791	0.1765
625	relative_P_1000	0.5495	0.2187
625	relative_P_15	0.1576	0.1100
625	relative_P_20	0.1459	0.1000
625	relative_P_200	0.3603	0.1924
625	relative_P_30	0.1532	0.1055
625	relative_P_5	0.2255	0.1455
625	relative_P_500	0.4697	0.2032
625	set_F	   nan	   nan
625	set_P	0.0256	0.0648
625	set_map	0.0102	0.0062
625	set_recall	0.5495	0.2187
625	set_relative_P	0.5579	0.2075
625	success_1	0.2182	0.4130
625	success_10	0.9545	0.2083
625	success_5	0.8545	0.3526
625	utility	-884.0000	242.0750
626	11pt_avg	0.3701	0.2059
626	G	0.3111	0.1640
626	P_10	0.3709	0.2112
626	P_100	0.0880	0.0386
626	P_1000	0.0102	0.0036
626	P_15	0.3152	0.1603
626	P_20	0.2691	0.1392
626	P_200	0.0474	0.0194
626	P_30	0.2094	0.1034
626	P_5	0.4745	0.3279
626	P_500	0.0198	0.0073
626	Rndcg	0.4798	0.2464
626	Rprec	0.3477	0.1849
626	Rprec_mult_0.20	0.4939	0.3833
626	Rprec_mult_0.40	0.4745	0.3279
626	Rprec_mult_0.60	0.3875	0.2407
626	Rprec_mult_0.80	0.3709	0.2112
626	Rprec_mult_1.00	0.3477	0.1849
626	Rprec_mult_1.20	0.3152	0.1603
626	Rprec_mult_1.40	0.2995	0.1527
626	Rprec_mult_1.60	0.2691	0.1392
626	Rprec_mult_1.80	0.2521	0.1298
626	Rprec_mult_2.00	0.2417	0.1206
626	binG	0.3239	0.1604
626	bpref	0.3070	0.1851
626	infAP	0.3506	0.2050
626	iprec_at_recall_0.00	0.7026	0.3685
626	iprec_at_recall_0.10	0.6314	0.3689
626	iprec_at_recall_0.20	0.5701	0.3407
626	iprec_at_recall_0.30	0.5106	0.3205
626	iprec_at_recall_0.40	0.4594	0.3082
626	iprec_at_recall_0.50	0.3537	0.2488
626	iprec_at_recall_0.60	0.2462	0.1816
626	iprec_at_recall_0.70	0.2063	0.1584
626	iprec_at_recall_0.80	0.1736	0.1451
626	iprec_at_recall_0.90	0.1391	0.1219
626	iprec_at_recall_1.00	0.0780	0.0845
626	map	0.3506	0.2050
626	map_cut_10	0.2248	0.1658
626	map_cut_100	0.3452	0.2060
626	map_cut_1000	0.3506	0.2050
626	map_cut_15	0.2605	0.1762
626	map_cut_20	0.2824	0.1893
626	map_cut_200	0.3493	0.2053
626	map_cut_30	0.3045	0.1970
626	map_cut_5	0.1656	0.1388
626	map_cut_500	0.3502	0.2051
626	ndcg	0.6160	0.2612
626	ndcg_cut_10	0.4102	0.2515
626	ndcg_cut_100	0.5836	0.2686
626	ndcg_cut_1000	0.6160	0.2612
626	ndcg_cut_15	0.4423	0.2450
626	ndcg_cut_20	0.4731	0.2586
626	ndcg_cut_200	0.6008	0.2674
626	ndcg_cut_30	0.5075	0.2627
626	ndcg_cut_5	0.4883	0.3464
626	ndcg_cut_500	0.6107	0.2621
626	ndcg_rel	0.5539	0.2753
626	num_nonrel_judged_ret	390.4727	135.6018
626	num_rel	12.0000	0.0000
626	num_rel_ret	10.1818	3.5782
626	num_ret	913.7273	248.3824
626	prefs_avgjg	0.8281	0.2938
626	prefs_avgjg_Rnonrel	0.0068	0.0017
626	prefs_avgjg_Rnonrel_ret	0.0250	0.0157
626	prefs_avgjg_imp	0.8912	0.2447
626	prefs_avgjg_ret	0.8264	0.2479
626	prefs_num_prefs_ful	14923.1636	5294.1486
626	prefs_num_prefs_ful_ret	3821.3545	2055.2254
626	prefs_num_prefs_poss	18020.0000	0.0000
626	prefs_pair	0.8281	0.2938
626	prefs_pair_imp	0.8912	0.2447
626	prefs_pair_ret	0.8264	0.2479
626	prefs_simp	0.8281	0.2938
626	prefs_simp_imp	0.8912	0.2447
626	prefs_simp_ret	0.8264	0.2479
626	recall_10	0.3091	0.1760
626	recall_100	0.7333	0.3219
626	recall_1000	0.8485	0.2982
626	recall_15	0.3939	0.2004
626	recall_20	0.4485	0.2319
626	recall_200	0.7902	0.3225
626	recall_30	0.5235	0.2585
626	recall_5	0.1977	0.1366
626	recall_500	0.8250	0.3036
626	recip_rank	0.6510	0.4102
626	relative_P_10	0.3709	0.2112
626	relative_P_100	0.7333	0.3219
626	relative_P_1000	0.8485	0.2982
626	relative_P_15	0.3939	0.2004
626	relative_P_20	0.4485	0.2319
626	relative_P_200	0.7902	0.3225
626	relative_P_30	0.5235	0.2585
626	relative_P_5	0.4745	0.3279
626	relative_P_500	0.8250	0.3036
626	set_F	   nan	   nan
626	set_P	0.0163	0.0266
626	set_map	0.0121	0.0082
626	set_recall	0.8485	0.2982
626	set_relative_P	0.8506	0.2931
626	success_1	0.5636	0.4959
626	success_10	0.8545	0.3526
626	success_5	0.7909	0.4067
626	utility	-893.3636	246.4920
627	11pt_avg	0.0186	0.0218
627	G	0.0539	0.0294
627	P_10	0.0245	0.0490
627	P_100	0.0243	0.0245
627	P_1000	0.0110	0.0059
627	P_15	0.0279	0.0385
627	P_20	0.0250	0.0322
627	P_200	0.0209	0.0166
627	P_30	0.0248	0.0282
627	P_5	0.0145	0.0519
627	P_500	0.0152	0.0097
627	Rndcg	0.0967	0.0525
627	Rprec	0.0240	0.0285
627	Rprec_mult_0.20	0.0167	0.0592
627	Rprec_mult_0.40	0.0265	0.0434
627	Rprec_mult_0.60	0.0267	0.0360
627	Rprec_mult_0.80	0.0233	0.0291
627	Rprec_mult_1.00	0.0240	0.0285
627	Rprec_mult_1.20	0.0265	0.0260
627	Rprec_mult_1.40	0.0264	0.0245
627	Rprec_mult_1.60	0.0269	0.0245
627	Rprec_mult_1.80	0.0258	0.0238
627	Rprec_mult_2.00	0.0266	0.0237
627	binG	0.0539	0.0294
627	bpref	0.0150	0.0189
627	infAP	0.0139	0.0155
627	iprec_at_recall_0.00	0.0822	0.0884
627	iprec_at_recall_0.10	0.0348	0.0369
627	iprec_at_recall_0.20	0.0257	0.0334
627	iprec_at_recall_0.30	0.0210	0.0297
627	iprec_at_recall_0.40	0.0152	0.0284
627	iprec_at_recall_0.50	0.0111	0.0281
627	iprec_at_recall_0.60	0.0078	0.0271
627	iprec_at_recall_0.70	0.0056	0.0249
627	iprec_at_recall_0.80	0.0007	0.0041
627	iprec_at_recall_0.90	0.0000	0.0000
627	iprec_at_recall_1.00	0.0000	0.0000
627	map	0.0139	0.0155
627	map_cut_10	0.0017	0.0041
627	map_cut_100	0.0065	0.0116
627	map_cut_1000	0.0139	0.0155
627	map_cut_15	0.0023	0.0041
627	map_cut_20	0.0025	0.0044
627	map_cut_200	0.0088	0.0133
627	map_cut_30	0.0031	0.0052
627	map_cut_5	0.0008	0.0030
627	map_cut_500	0.0119	0.0149
627	ndcg	0.1715	0.0929
627	ndcg_cut_10	0.0197	0.0402
627	ndcg_cut_100	0.0562	0.0513
627	ndcg_cut_1000	0.1715	0.0929
627	ndcg_cut_15	0.0231	0.0332
627	ndcg_cut_20	0.0220	0.0292
627	ndcg_cut_200	0.0841	0.0643
627	ndcg_cut_30	0.0236	0.0271
627	ndcg_cut_5	0.0115	0.0422
627	ndcg_cut_500	0.1310	0.0828
627	ndcg_rel	0.1380	0.0628
627	num_nonrel_judged_ret	436.8455	152.6726
627	num_rel	28.0000	0.0000
627	num_rel_ret	10.9545	5.8905
627	num_ret	922.0727	224.2832
627	prefs_avgjg	0.3438	0.1871
627	prefs_avgjg_Rnonrel	0.0076	0.0003
627	prefs_avgjg_Rnonrel_ret	0.0113	0.0062
627	prefs_avgjg_imp	0.6205	0.1672
627	prefs_avgjg_ret	0.5388	0.1427
627	prefs_num_prefs_ful	17317.9273	9422.0265
627	prefs_num_prefs_ful_ret	2870.2545	2172.5612
627	prefs_num_prefs_poss	50372.0000	0.0000
627	prefs_pair	0.3438	0.1871
627	prefs_pair_imp	0.6205	0.1672
627	prefs_pair_ret	0.5388	0.1427
627	prefs_simp	0.3438	0.1871
627	prefs_simp_imp	0.6205	0.1672
627	prefs_simp_ret	0.5388	0.1427
627	recall_10	0.0088	0.0175
627	recall_100	0.0867	0.0877
627	recall_1000	0.3912	0.2104
627	recall_15	0.0149	0.0206
627	recall_20	0.0179	0.0230
627	recall_200	0.1490	0.1186
627	recall_30	0.0266	0.0302
627	recall_5	0.0026	0.0093
627	recall_500	0.2711	0.1730
627	recip_rank	0.0688	0.0830
627	relative_P_10	0.0245	0.0490
627	relative_P_100	0.0867	0.0877
627	relative_P_1000	0.3912	0.2104
627	relative_P_15	0.0279	0.0385
627	relative_P_20	0.0250	0.0322
627	relative_P_200	0.1490	0.1186
627	relative_P_30	0.0266	0.0302
627	relative_P_5	0.0145	0.0519
627	relative_P_500	0.2711	0.1730
627	set_F	0.0224	0.0105
627	set_P	0.0115	0.0054
627	set_map	0.0056	0.0050
627	set_recall	0.3912	0.2104
627	set_relative_P	0.3912	0.2104
627	success_1	0.0000	0.0000
627	success_10	0.2182	0.4130
627	success_5	0.0727	0.2597
627	utility	-900.1636	218.4317
628	11pt_avg	0.2849	0.1119
628	G	0.2020	0.0401
628	P_10	0.4136	0.1942
628	P_100	0.1452	0.0281
628	P_1000	0.0245	0.0025
628	P_15	0.3721	0.1571
628	P_20	0.3336	0.1377
628	P_200	0.0930	0.0142
628	P_30	0.2785	0.1012
628	P_5	0.5073	0.2824
628	P_500	0.0464	0.0054
628	Rndcg	0.3981	0.1365
628	Rprec	0.3007	0.1139
628	Rprec_mult_0.20	0.4788	0.2514
628	Rprec_mult_0.40	0.4016	0.1816
628	Rprec_mult_0.60	0.3682	0.1566
628	Rprec_mult_0.80	0.3281	0.1332
628	Rprec_mult_1.00	0.3007	0.1139
628	Rprec_mult_1.20	0.2699	0.0972
628	Rprec_mult_1.40	0.2484	0.0835
628	Rprec_mult_1.60	0.2322	0.0726
628	Rprec_mult_1.80	0.2157	0.0636
628	Rprec_mult_2.00	0.2058	0.0590
628	binG	0.2427	0.0670
628	bpref	0.2414	0.1069
628	infAP	0.2623	0.1093
628	iprec_at_recall_0.00	0.7646	0.3115
628	iprec_at_recall_0.10	0.6218	0.2810
628	iprec_at_recall_0.20	0.4387	0.2130
628	iprec_at_recall_0.30	0.3621	0.1887
628	iprec_at_recall_0.40	0.2965	0.1646
628	iprec_at_recall_0.50	0.2284	0.1049
628	iprec_at_recall_0.60	0.1583	0.0653
628	iprec_at_recall_0.70	0.1044	0.0434
628	iprec_at_recall_0.80	0.0768	0.0376
628	iprec_at_recall_0.90	0.0524	0.0348
628	iprec_at_recall_1.00	0.0297	0.0309
628	map	0.2623	0.1093
628	map_cut_10	0.1131	0.0734
628	map_cut_100	0.2286	0.1076
628	map_cut_1000	0.2623	0.1093
628	map_cut_15	0.1390	0.0863
628	map_cut_20	0.1569	0.0976
628	map_cut_200	0.2477	0.1085
628	map_cut_30	0.1790	0.1031
628	map_cut_5	0.0784	0.0554
628	map_cut_500	0.2604	0.1103
628	ndcg	0.5727	0.1069
628	ndcg_cut_10	0.3194	0.1596
628	ndcg_cut_100	0.4452	0.1238
628	ndcg_cut_1000	0.5727	0.1069
628	ndcg_cut_15	0.3282	0.1527
628	ndcg_cut_20	0.3239	0.1506
628	ndcg_cut_200	0.5023	0.1161
628	ndcg_cut_30	0.3272	0.1367
628	ndcg_cut_5	0.3073	0.1800
628	ndcg_cut_500	0.5589	0.1123
628	ndcg_rel	0.4398	0.1113
628	num_nonrel_judged_ret	358.2636	75.8248
628	num_rel	26.0000	0.0000
628	num_rel_ret	24.5364	2.5251
628	num_ret	925.6000	218.4665
628	prefs_avgjg	0.7616	0.0787
628	prefs_avgjg_Rnonrel	0.0401	0.0054
628	prefs_avgjg_Rnonrel_ret	0.0537	0.0118
628	prefs_avgjg_imp	0.7827	0.0561
628	prefs_avgjg_ret	0.7278	0.0793
628	prefs_num_prefs_ful	9941.4727	1027.6575
628	prefs_num_prefs_ful_ret	6660.7273	1991.5166
628	prefs_num_prefs_poss	13053.0000	0.0000
628	prefs_pair	0.7616	0.0787
628	prefs_pair_imp	0.7827	0.0561
628	prefs_pair_ret	0.7278	0.0793
628	prefs_simp	0.7616	0.0787
628	prefs_simp_imp	0.7827	0.0561
628	prefs_simp_ret	0.7278	0.0793
628	recall_10	0.1591	0.0747
628	recall_100	0.5584	0.1082
628	recall_1000	0.9437	0.0971
628	recall_15	0.2147	0.0906
628	recall_20	0.2566	0.1059
628	recall_200	0.7157	0.1093
628	recall_30	0.3213	0.1167
628	recall_5	0.0975	0.0543
628	recall_500	0.8923	0.1047
628	recip_rank	0.7168	0.3523
628	relative_P_10	0.4136	0.1942
628	relative_P_100	0.5584	0.1082
628	relative_P_1000	0.9437	0.0971
628	relative_P_15	0.3721	0.1571
628	relative_P_20	0.3336	0.1377
628	relative_P_200	0.7157	0.1093
628	relative_P_30	0.3213	0.1167
628	relative_P_5	0.5073	0.2824
628	relative_P_500	0.8923	0.1047
628	set_F	0.0570	0.0246
628	set_P	0.0297	0.0141
628	set_map	0.0272	0.0092
628	set_recall	0.9437	0.0971
628	set_relative_P	0.9437	0.0971
628	success_1	0.5818	0.4933
628	success_10	0.9545	0.2083
628	success_5	0.8636	0.3432
628	utility	-876.5273	214.5613
629	11pt_avg	0.2847	0.1227
629	G	0.2503	0.0817
629	P_10	0.3282	0.1706
629	P_100	0.1263	0.0314
629	P_1000	0.0183	0.0026
629	P_15	0.2697	0.1295
629	P_20	0.2359	0.1098
629	P_200	0.0839	0.0152
629	P_30	0.2048	0.0856
629	P_5	0.4273	0.2676
629	P_500	0.0362	0.0055
629	Rndcg	0.4326	0.1755
629	Rprec	0.2407	0.1150
629	Rprec_mult_0.20	0.4727	0.2945
629	Rprec_mult_0.40	0.3625	0.1980
629	Rprec_mult_0.60	0.2962	0.1535
629	Rprec_mult_0.80	0.2580	0.1245
629	Rprec_mult_1.00	0.2407	0.1150
629	Rprec_mult_1.20	0.2269	0.0975
629	Rprec_mult_1.40	0.2114	0.0888
629	Rprec_mult_1.60	0.2026	0.0833
629	Rprec_mult_1.80	0.1956	0.0781
629	Rprec_mult_2.00	0.1900	0.0730
629	binG	0.2589	0.0799
629	bpref	0.1961	0.1082
629	infAP	0.2567	0.1215
629	iprec_at_recall_0.00	0.7689	0.3198
629	iprec_at_recall_0.10	0.6118	0.3342
629	iprec_at_recall_0.20	0.4260	0.2775
629	iprec_at_recall_0.30	0.2892	0.1971
629	iprec_at_recall_0.40	0.2374	0.1382
629	iprec_at_recall_0.50	0.2011	0.1063
629	iprec_at_recall_0.60	0.1752	0.0895
629	iprec_at_recall_0.70	0.1425	0.0698
629	iprec_at_recall_0.80	0.1238	0.0573
629	iprec_at_recall_0.90	0.0845	0.0485
629	iprec_at_recall_1.00	0.0710	0.0433
629	map	0.2567	0.1215
629	map_cut_10	0.1220	0.0909
629	map_cut_100	0.2278	0.1248
629	map_cut_1000	0.2567	0.1215
629	map_cut_15	0.1367	0.0976
629	map_cut_20	0.1478	0.1037
629	map_cut_200	0.2516	0.1242
629	map_cut_30	0.1673	0.1125
629	map_cut_5	0.0933	0.0740
629	map_cut_500	0.2564	0.1215
629	ndcg	0.6014	0.1487
629	ndcg_cut_10	0.3635	0.2065
629	ndcg_cut_100	0.5088	0.1725
629	ndcg_cut_1000	0.6014	0.1487
629	ndcg_cut_15	0.3411	0.1820
629	ndcg_cut_20	0.3287	0.1692
629	ndcg_cut_200	0.5792	0.1618
629	ndcg_cut_30	0.3676	0.1760
629	ndcg_cut_5	0.3901	0.2480
629	ndcg_cut_500	0.5995	0.1500
629	ndcg_rel	0.4912	0.1724
629	num_nonrel_judged_ret	282.0545	52.6603
629	num_rel	19.0000	0.0000
629	num_rel_ret	18.2727	2.6108
629	num_ret	915.7818	241.2213
629	prefs_avgjg	0.8108	0.1287
629	prefs_avgjg_Rnonrel	0.0348	0.0056
629	prefs_avgjg_Rnonrel_ret	0.0491	0.0106
629	prefs_avgjg_imp	0.8253	0.0870
629	prefs_avgjg_ret	0.7649	0.1146
629	prefs_num_prefs_ful	6517.8636	1034.5140
629	prefs_num_prefs_ful_ret	4119.7364	1049.4338
629	prefs_num_prefs_poss	8039.0000	0.0000
629	prefs_pair	0.8108	0.1287
629	prefs_pair_imp	0.8253	0.0870
629	prefs_pair_ret	0.7649	0.1146
629	prefs_simp	0.8108	0.1287
629	prefs_simp_imp	0.8253	0.0870
629	prefs_simp_ret	0.7649	0.1146
629	recall_10	0.1727	0.0898
629	recall_100	0.6646	0.1655
629	recall_1000	0.9617	0.1374
629	recall_15	0.2129	0.1022
629	recall_20	0.2483	0.1156
629	recall_200	0.8832	0.1600
629	recall_30	0.3235	0.1352
629	recall_5	0.1124	0.0704
629	recall_500	0.9526	0.1440
629	recip_rank	0.7429	0.3460
629	relative_P_10	0.3282	0.1706
629	relative_P_100	0.6646	0.1655
629	relative_P_1000	0.9617	0.1374
629	relative_P_15	0.2697	0.1295
629	relative_P_20	0.2483	0.1156
629	relative_P_200	0.8832	0.1600
629	relative_P_30	0.3235	0.1352
629	relative_P_5	0.4273	0.2676
629	relative_P_500	0.9526	0.1440
629	set_F	0.0443	0.0251
629	set_P	0.0229	0.0138
629	set_map	0.0218	0.0120
629	set_recall	0.9617	0.1374
629	set_relative_P	0.9617	0.1374
629	success_1	0.6273	0.4835
629	success_10	0.9636	0.1872
629	success_5	0.9091	0.2875
629	utility	-879.2364	237.8997
630	11pt_avg	0.6847	0.1656
630	G	0.7465	0.1546
630	P_10	0.2982	0.0751
630	P_100	0.0375	0.0058
630	P_1000	0.0039	0.0004
630	P_15	0.2115	0.0508
630	P_20	0.1618	0.0375
630	P_200	0.0190	0.0027
630	P_30	0.1124	0.0254
630	P_5	0.5091	0.1468
630	P_500	0.0078	0.0009
630	Rndcg	0.8476	0.1797
630	Rprec	0.6000	0.1725
630	Rprec_mult_0.20	0.9364	0.2441
630	Rprec_mult_0.40	0.9136	0.2322
630	Rprec_mult_0.60	0.7031	0.2027
630	Rprec_mult_0.80	0.6000	0.1725
630	Rprec_mult_1.00	0.6000	0.1725
630	Rprec_mult_1.20	0.5091	0.1468
630	Rprec_mult_1.40	0.4485	0.1184
630	Rprec_mult_1.60	0.4078	0.1052
630	Rprec_mult_1.80	0.3625	0.0907
630	Rprec_mult_2.00	0.3625	0.0907
630	binG	0.6743	0.1472
630	bpref	0.6080	0.1747
630	infAP	0.6746	0.1716
630	iprec_at_recall_0.00	0.9588	0.1689
630	iprec_at_recall_0.10	0.9588	0.1689
630	iprec_at_recall_0.20	0.9588	0.1689
630	iprec_at_recall_0.30	0.9282	0.2074
630	iprec_at_recall_0.40	0.9282	0.2074
630	iprec_at_recall_0.50	0.9282	0.2074
630	iprec_at_recall_0.60	0.6008	0.3005
630	iprec_at_recall_0.70	0.6008	0.3005
630	iprec_at_recall_0.80	0.2229	0.2290
630	iprec_at_recall_0.90	0.2229	0.2290
630	iprec_at_recall_1.00	0.2229	0.2290
630	map	0.6746	0.1716
630	map_cut_10	0.6449	0.1749
630	map_cut_100	0.6738	0.1722
630	map_cut_1000	0.6746	0.1716
630	map_cut_15	0.6583	0.1764
630	map_cut_20	0.6615	0.1761
630	map_cut_200	0.6742	0.1719
630	map_cut_30	0.6667	0.1745
630	map_cut_5	0.5944	0.1786
630	map_cut_500	0.6746	0.1716
630	ndcg	0.8761	0.1435
630	ndcg_cut_10	0.8312	0.1577
630	ndcg_cut_100	0.8707	0.1463
630	ndcg_cut_1000	0.8761	0.1435
630	ndcg_cut_15	0.8438	0.1560
630	ndcg_cut_20	0.8474	0.1564
630	ndcg_cut_200	0.8726	0.1452
630	ndcg_cut_30	0.8543	0.1562
630	ndcg_cut_5	0.7906	0.1726
630	ndcg_cut_500	0.8759	0.1436
630	ndcg_rel	0.8939	0.1635
630	num_nonrel_judged_ret	475.3636	137.9632
630	num_rel	4.0000	0.0000
630	num_rel_ret	3.9273	0.4413
630	num_ret	913.8000	248.1168
630	prefs_avgjg	0.9684	0.1105
630	prefs_avgjg_Rnonrel	0.0042	0.0006
630	prefs_avgjg_Rnonrel_ret	0.0111	0.0065
630	prefs_avgjg_imp	0.9854	0.0211
630	prefs_avgjg_ret	0.9533	0.1078
630	prefs_num_prefs_ful	4539.7727	518.1825
630	prefs_num_prefs_ful_ret	1840.2273	554.7184
630	prefs_num_prefs_poss	4688.0000	0.0000
630	prefs_pair	0.9684	0.1105
630	prefs_pair_imp	0.9854	0.0211
630	prefs_pair_ret	0.9533	0.1078
630	prefs_simp	0.9684	0.1105
630	prefs_simp_imp	0.9854	0.0211
630	prefs_simp_ret	0.9533	0.1078
630	recall_10	0.7455	0.1876
630	recall_100	0.9364	0.1447
630	recall_1000	0.9818	0.1103
630	recall_15	0.7932	0.1903
630	recall_20	0.8091	0.1875
630	recall_200	0.9500	0.1340
630	recall_30	0.8432	0.1903
630	recall_5	0.6364	0.1835
630	recall_500	0.9795	0.1125
630	recip_rank	0.9551	0.1788
630	relative_P_10	0.7455	0.1876
630	relative_P_100	0.9364	0.1447
630	relative_P_1000	0.9818	0.1103
630	relative_P_15	0.7932	0.1903
630	relative_P_20	0.8091	0.1875
630	relative_P_200	0.9500	0.1340
630	relative_P_30	0.8432	0.1903
630	relative_P_5	0.6364	0.1835
630	relative_P_500	0.9795	0.1125
630	set_F	0.0126	0.0203
630	set_P	0.0070	0.0145
630	set_map	0.0054	0.0045
630	set_recall	0.9818	0.1103
630	set_relative_P	0.9818	0.1103
630	success_1	0.9364	0.2441
630	success_10	0.9909	0.0949
630	success_5	0.9727	0.1629
630	utility	-905.9455	247.6228
631	11pt_avg	0.2078	0.0839
631	G	0.1174	0.0256
631	P_10	0.3200	0.2323
631	P_100	0.2268	0.1030
631	P_1000	0.0961	0.0218
631	P_15	0.2982	0.2013
631	P_20	0.2882	0.1913
631	P_200	0.2028	0.0668
631	P_30	0.2694	0.1647
631	P_5	0.3182	0.2461
631	P_500	0.1411	0.0371
631	Rndcg	0.3037	0.0889
631	Rprec	0.2234	0.0961
631	Rprec_mult_0.20	0.2838	0.1817
631	Rprec_mult_0.40	0.2551	0.1470
631	Rprec_mult_0.60	0.2404	0.1233
631	Rprec_mult_0.80	0.2298	0.1061
631	Rprec_mult_1.00	0.2234	0.0961
631	Rprec_mult_1.20	0.2161	0.0858
631	Rprec_mult_1.40	0.2111	0.0769
631	Rprec_mult_1.60	0.2065	0.0702
631	Rprec_mult_1.80	0.2024	0.0653
631	Rprec_mult_2.00	0.1966	0.0609
631	binG	0.1299	0.0345
631	bpref	0.1671	0.0806
631	infAP	0.1828	0.0788
631	iprec_at_recall_0.00	0.5807	0.3168
631	iprec_at_recall_0.10	0.3267	0.1849
631	iprec_at_recall_0.20	0.2731	0.1329
631	iprec_at_recall_0.30	0.2344	0.1048
631	iprec_at_recall_0.40	0.2115	0.0955
631	iprec_at_recall_0.50	0.1868	0.0819
631	iprec_at_recall_0.60	0.1635	0.0702
631	iprec_at_recall_0.70	0.1396	0.0592
631	iprec_at_recall_0.80	0.1149	0.0497
631	iprec_at_recall_0.90	0.0545	0.0582
631	iprec_at_recall_1.00	0.0000	0.0000
631	map	0.1828	0.0788
631	map_cut_10	0.0163	0.0165
631	map_cut_100	0.0718	0.0568
631	map_cut_1000	0.1828	0.0788
631	map_cut_15	0.0212	0.0215
631	map_cut_20	0.0261	0.0265
631	map_cut_200	0.1078	0.0704
631	map_cut_30	0.0338	0.0330
631	map_cut_5	0.0089	0.0095
631	map_cut_500	0.1556	0.0791
631	ndcg	0.5352	0.1157
631	ndcg_cut_10	0.1856	0.1205
631	ndcg_cut_100	0.2044	0.0880
631	ndcg_cut_1000	0.5352	0.1157
631	ndcg_cut_15	0.1767	0.1087
631	ndcg_cut_20	0.1719	0.1057
631	ndcg_cut_200	0.2878	0.0914
631	ndcg_cut_30	0.1770	0.1027
631	ndcg_cut_5	0.1849	0.1358
631	ndcg_cut_500	0.4290	0.1047
631	ndcg_rel	0.3615	0.0748
631	num_nonrel_judged_ret	465.0455	113.7171
631	num_rel	115.0000	0.0000
631	num_rel_ret	96.1455	21.8144
631	num_ret	926.3273	217.6395
631	prefs_avgjg	0.5952	0.1292
631	prefs_avgjg_Rnonrel	0.1009	0.0106
631	prefs_avgjg_Rnonrel_ret	0.1247	0.0171
631	prefs_avgjg_imp	0.6458	0.0592
631	prefs_avgjg_ret	0.5821	0.0779
631	prefs_num_prefs_ful	49306.4455	10706.8854
631	prefs_num_prefs_ful_ret	28680.8000	9785.8819
631	prefs_num_prefs_poss	82846.0000	0.0000
631	prefs_pair	0.5952	0.1292
631	prefs_pair_imp	0.6458	0.0592
631	prefs_pair_ret	0.5821	0.0779
631	prefs_simp	0.5952	0.1292
631	prefs_simp_imp	0.6458	0.0592
631	prefs_simp_ret	0.5821	0.0779
631	recall_10	0.0278	0.0202
631	recall_100	0.1972	0.0896
631	recall_1000	0.8360	0.1897
631	recall_15	0.0389	0.0263
631	recall_20	0.0501	0.0333
631	recall_200	0.3527	0.1162
631	recall_30	0.0703	0.0430
631	recall_5	0.0138	0.0107
631	recall_500	0.6134	0.1611
631	recip_rank	0.5047	0.3553
631	relative_P_10	0.3200	0.2323
631	relative_P_100	0.2268	0.1030
631	relative_P_1000	0.8360	0.1897
631	relative_P_15	0.2982	0.2013
631	relative_P_20	0.2882	0.1913
631	relative_P_200	0.3527	0.1162
631	relative_P_30	0.2694	0.1647
631	relative_P_5	0.3182	0.2461
631	relative_P_500	0.6134	0.1611
631	set_F	0.1839	0.0289
631	set_P	0.1053	0.0215
631	set_map	0.0879	0.0204
631	set_recall	0.8360	0.1897
631	set_relative_P	0.8360	0.1897
631	success_1	0.3000	0.4583
631	success_10	0.8545	0.3526
631	success_5	0.8091	0.3930
631	utility	-734.0364	176.5205
632	11pt_avg	0.2438	0.1571
632	G	0.1354	0.0625
632	P_10	0.5564	0.3699
632	P_100	0.2118	0.1181
632	P_1000	0.0484	0.0188
632	P_15	0.5018	0.3289
632	P_20	0.4532	0.2945
632	P_200	0.1457	0.0714
632	P_30	0.3794	0.2416
632	P_5	0.5873	0.3993
632	P_500	0.0813	0.0351
632	Rndcg	0.3758	0.1933
632	Rprec	0.2535	0.1524
632	Rprec_mult_0.20	0.5018	0.3289
632	Rprec_mult_0.40	0.3859	0.2455
632	Rprec_mult_0.60	0.3209	0.1996
632	Rprec_mult_0.80	0.2802	0.1703
632	Rprec_mult_1.00	0.2535	0.1524
632	Rprec_mult_1.20	0.2280	0.1346
632	Rprec_mult_1.40	0.2118	0.1181
632	Rprec_mult_1.60	0.1974	0.1074
632	Rprec_mult_1.80	0.1859	0.0989
632	Rprec_mult_2.00	0.1756	0.0919
632	binG	0.1746	0.0990
632	bpref	0.2178	0.1494
632	infAP	0.2267	0.1600
632	iprec_at_recall_0.00	0.7362	0.3817
632	iprec_at_recall_0.10	0.5640	0.3693
632	iprec_at_recall_0.20	0.4141	0.3020
632	iprec_at_recall_0.30	0.2881	0.2438
632	iprec_at_recall_0.40	0.2151	0.1943
632	iprec_at_recall_0.50	0.1637	0.1652
632	iprec_at_recall_0.60	0.1237	0.1312
632	iprec_at_recall_0.70	0.0863	0.1092
632	iprec_at_recall_0.80	0.0621	0.0868
632	iprec_at_recall_0.90	0.0275	0.0537
632	iprec_at_recall_1.00	0.0009	0.0089
632	map	0.2267	0.1600
632	map_cut_10	0.0688	0.0529
632	map_cut_100	0.1749	0.1430
632	map_cut_1000	0.2267	0.1600
632	map_cut_15	0.0899	0.0709
632	map_cut_20	0.1047	0.0840
632	map_cut_200	0.1981	0.1540
632	map_cut_30	0.1236	0.1010
632	map_cut_5	0.0381	0.0284
632	map_cut_500	0.2192	0.1604
632	ndcg	0.5049	0.2089
632	ndcg_cut_10	0.3830	0.2572
632	ndcg_cut_100	0.3224	0.1852
632	ndcg_cut_1000	0.5049	0.2089
632	ndcg_cut_15	0.3900	0.2575
632	ndcg_cut_20	0.3842	0.2517
632	ndcg_cut_200	0.3849	0.1990
632	ndcg_cut_30	0.3620	0.2325
632	ndcg_cut_5	0.3277	0.2277
632	ndcg_cut_500	0.4612	0.2107
632	ndcg_rel	0.4241	0.1823
632	num_nonrel_judged_ret	364.8273	127.2590
632	num_rel	71.0000	0.0000
632	num_rel_ret	48.4091	18.7821
632	num_ret	914.0364	247.2594
632	prefs_avgjg	0.5925	0.2345
632	prefs_avgjg_Rnonrel	0.0493	0.0116
632	prefs_avgjg_Rnonrel_ret	0.1005	0.0631
632	prefs_avgjg_imp	0.7073	0.2068
632	prefs_avgjg_ret	0.6560	0.1490
632	prefs_num_prefs_ful	41966.2545	16612.0811
632	prefs_num_prefs_ful_ret	12712.6636	6935.3995
632	prefs_num_prefs_poss	70833.0000	0.0000
632	prefs_pair	0.5925	0.2345
632	prefs_pair_imp	0.7073	0.2068
632	prefs_pair_ret	0.6560	0.1490
632	prefs_simp	0.5925	0.2345
632	prefs_simp_imp	0.7073	0.2068
632	prefs_simp_ret	0.6560	0.1490
632	recall_10	0.0784	0.0521
632	recall_100	0.2983	0.1663
632	recall_1000	0.6818	0.2645
632	recall_15	0.1060	0.0695
632	recall_20	0.1277	0.0830
632	recall_200	0.4104	0.2012
632	recall_30	0.1603	0.1021
632	recall_5	0.0413	0.0281
632	recall_500	0.5725	0.2473
632	recip_rank	0.6881	0.4145
632	relative_P_10	0.5564	0.3699
632	relative_P_100	0.2983	0.1663
632	relative_P_1000	0.6818	0.2645
632	relative_P_15	0.5018	0.3289
632	relative_P_20	0.4532	0.2945
632	relative_P_200	0.4104	0.2012
632	relative_P_30	0.3794	0.2416
632	relative_P_5	0.5873	0.3993
632	relative_P_500	0.5725	0.2473
632	set_F	   nan	   nan
632	set_P	0.0510	0.0188
632	set_map	0.0387	0.0202
632	set_recall	0.6818	0.2645
632	set_relative_P	0.6818	0.2645
632	success_1	0.6182	0.4858
632	success_10	0.7909	0.4067
632	success_5	0.7455	0.4356
632	utility	-817.2182	220.2744
633	11pt_avg	0.4823	0.1455
633	G	0.2586	0.0640
633	P_10	0.8945	0.1920
633	P_100	0.2635	0.0823
633	P_1000	0.0411	0.0082
633	P_15	0.8073	0.1980
633	P_20	0.7268	0.1927
633	P_200	0.1588	0.0428
633	P_30	0.5927	0.1621
633	P_5	0.9509	0.1622
633	P_500	0.0767	0.0162
633	Rndcg	0.5682	0.1005
633	Rprec	0.4472	0.1267
633	Rprec_mult_0.20	0.8945	0.1920
633	Rprec_mult_0.40	0.7440	0.1934
633	Rprec_mult_0.60	0.6066	0.1654
633	Rprec_mult_0.80	0.5077	0.1420
633	Rprec_mult_1.00	0.4472	0.1267
633	Rprec_mult_1.20	0.3965	0.1160
633	Rprec_mult_1.40	0.3576	0.1087
633	Rprec_mult_1.60	0.3237	0.1016
633	Rprec_mult_1.80	0.2973	0.0932
633	Rprec_mult_2.00	0.2755	0.0861
633	binG	0.3597	0.0917
633	bpref	0.4309	0.1381
633	infAP	0.4729	0.1578
633	iprec_at_recall_0.00	0.9921	0.0599
633	iprec_at_recall_0.10	0.9353	0.2148
633	iprec_at_recall_0.20	0.8646	0.2555
633	iprec_at_recall_0.30	0.7713	0.2772
633	iprec_at_recall_0.40	0.6147	0.2655
633	iprec_at_recall_0.50	0.3536	0.2439
633	iprec_at_recall_0.60	0.2786	0.2160
633	iprec_at_recall_0.70	0.2316	0.1911
633	iprec_at_recall_0.80	0.1508	0.1393
633	iprec_at_recall_0.90	0.0867	0.0893
633	iprec_at_recall_1.00	0.0267	0.0418
633	map	0.4729	0.1578
633	map_cut_10	0.1867	0.0472
633	map_cut_100	0.4284	0.1523
633	map_cut_1000	0.4729	0.1578
633	map_cut_15	0.2493	0.0704
633	map_cut_20	0.2927	0.0871
633	map_cut_200	0.4532	0.1594
633	map_cut_30	0.3434	0.1071
633	map_cut_5	0.1001	0.0206
633	map_cut_500	0.4693	0.1584
633	ndcg	0.7126	0.1334
633	ndcg_cut_10	0.7008	0.1378
633	ndcg_cut_100	0.5769	0.1444
633	ndcg_cut_1000	0.7126	0.1334
633	ndcg_cut_15	0.6977	0.1502
633	ndcg_cut_20	0.6716	0.1536
633	ndcg_cut_200	0.6320	0.1466
633	ndcg_cut_30	0.6064	0.1402
633	ndcg_cut_5	0.6190	0.0992
633	ndcg_cut_500	0.6908	0.1364
633	ndcg_rel	0.6356	0.1086
633	num_nonrel_judged_ret	376.2636	101.3467
633	num_rel	47.0000	0.0000
633	num_rel_ret	41.1000	8.1764
633	num_ret	914.0364	247.2594
633	prefs_avgjg	0.7836	0.1609
633	prefs_avgjg_Rnonrel	0.0539	0.0090
633	prefs_avgjg_Rnonrel_ret	0.1038	0.0478
633	prefs_avgjg_imp	0.8515	0.0770
633	prefs_avgjg_ret	0.7836	0.1007
633	prefs_num_prefs_ful	28209.2091	5790.5781
633	prefs_num_prefs_ful_ret	13015.0909	4926.2825
633	prefs_num_prefs_poss	35998.0000	0.0000
633	prefs_pair	0.7836	0.1609
633	prefs_pair_imp	0.8515	0.0770
633	prefs_pair_ret	0.7836	0.1007
633	prefs_simp	0.7836	0.1609
633	prefs_simp_imp	0.8515	0.0770
633	prefs_simp_ret	0.7836	0.1007
633	recall_10	0.1903	0.0409
633	recall_100	0.5607	0.1752
633	recall_1000	0.8745	0.1740
633	recall_15	0.2576	0.0632
633	recall_20	0.3093	0.0820
633	recall_200	0.6758	0.1821
633	recall_30	0.3783	0.1035
633	recall_5	0.1012	0.0173
633	recall_500	0.8155	0.1727
633	recip_rank	0.9886	0.0852
633	relative_P_10	0.8945	0.1920
633	relative_P_100	0.5607	0.1752
633	relative_P_1000	0.8745	0.1740
633	relative_P_15	0.8073	0.1980
633	relative_P_20	0.7268	0.1927
633	relative_P_200	0.6758	0.1821
633	relative_P_30	0.5927	0.1621
633	relative_P_5	0.9509	0.1622
633	relative_P_500	0.8155	0.1727
633	set_F	0.0976	0.0687
633	set_P	0.0630	0.1159
633	set_map	0.0469	0.0468
633	set_recall	0.8745	0.1740
633	set_relative_P	0.8833	0.1629
633	success_1	0.9818	0.1336
633	success_10	1.0000	0.0000
633	success_5	1.0000	0.0000
633	utility	-831.8364	233.4022
634	11pt_avg	0.7612	0.1382
634	G	0.5714	0.1467
634	P_10	0.7018	0.1258
634	P_100	0.1045	0.0151
634	P_1000	0.0106	0.0014
634	P_15	0.5673	0.0924
634	P_20	0.4941	0.0788
634	P_200	0.0528	0.0074
634	P_30	0.3421	0.0526
634	P_5	0.8545	0.1767
634	P_500	0.0211	0.0029
634	Rndcg	0.8096	0.1215
634	Rprec	0.6637	0.1127
634	Rprec_mult_0.20	0.8727	0.2059
634	Rprec_mult_0.40	0.8545	0.1767
634	Rprec_mult_0.60	0.7792	0.1384
634	Rprec_mult_0.80	0.7212	0.1363
634	Rprec_mult_1.00	0.6637	0.1127
634	Rprec_mult_1.20	0.5942	0.0968
634	Rprec_mult_1.40	0.5528	0.0893
634	Rprec_mult_1.60	0.5217	0.0884
634	Rprec_mult_1.80	0.4941	0.0788
634	Rprec_mult_2.00	0.4587	0.0729
634	binG	0.6150	0.1347
634	bpref	0.7116	0.1317
634	infAP	0.7466	0.1444
634	iprec_at_recall_0.00	0.9670	0.1241
634	iprec_at_recall_0.10	0.9456	0.1393
634	iprec_at_recall_0.20	0.9229	0.1470
634	iprec_at_recall_0.30	0.9099	0.1670
634	iprec_at_recall_0.40	0.8725	0.1781
634	iprec_at_recall_0.50	0.8120	0.1784
634	iprec_at_recall_0.60	0.7464	0.1801
634	iprec_at_recall_0.70	0.7045	0.1886
634	iprec_at_recall_0.80	0.5991	0.1947
634	iprec_at_recall_0.90	0.4916	0.2039
634	iprec_at_recall_1.00	0.4019	0.2370
634	map	0.7467	0.1444
634	map_cut_10	0.5675	0.1372
634	map_cut_100	0.7458	0.1448
634	map_cut_1000	0.7467	0.1444
634	map_cut_15	0.6563	0.1421
634	map_cut_20	0.7260	0.1488
634	map_cut_200	0.7466	0.1445
634	map_cut_30	0.7422	0.1469
634	map_cut_5	0.3666	0.1032
634	map_cut_500	0.7466	0.1445
634	ndcg	0.8905	0.1279
634	ndcg_cut_10	0.7562	0.1307
634	ndcg_cut_100	0.8859	0.1289
634	ndcg_cut_1000	0.8905	0.1279
634	ndcg_cut_15	0.7943	0.1273
634	ndcg_cut_20	0.8616	0.1322
634	ndcg_cut_200	0.8891	0.1287
634	ndcg_cut_30	0.8789	0.1320
634	ndcg_cut_5	0.8665	0.1760
634	ndcg_cut_500	0.8893	0.1285
634	ndcg_rel	0.8602	0.1433
634	num_nonrel_judged_ret	334.4636	129.7490
634	num_rel	11.0000	0.0000
634	num_rel_ret	10.6273	1.4451
634	num_ret	913.7909	248.1137
634	prefs_avgjg	0.9605	0.1308
634	prefs_avgjg_Rnonrel	0.0127	0.0016
634	prefs_avgjg_Rnonrel_ret	0.0551	0.0901
634	prefs_avgjg_imp	0.9809	0.0961
634	prefs_avgjg_ret	0.9553	0.1453
634	prefs_num_prefs_ful	10523.1727	1432.7590
634	prefs_num_prefs_ful_ret	3576.9818	1488.3621
634	prefs_num_prefs_poss	10956.0000	0.0000
634	prefs_pair	0.9605	0.1308
634	prefs_pair_imp	0.9809	0.0961
634	prefs_pair_ret	0.9553	0.1453
634	prefs_simp	0.9605	0.1308
634	prefs_simp_imp	0.9809	0.0961
634	prefs_simp_ret	0.9553	0.1453
634	recall_10	0.6380	0.1143
634	recall_100	0.9504	0.1368
634	recall_1000	0.9661	0.1314
634	recall_15	0.7736	0.1261
634	recall_20	0.8984	0.1433
634	recall_200	0.9603	0.1351
634	recall_30	0.9331	0.1433
634	recall_5	0.3884	0.0803
634	recall_500	0.9612	0.1340
634	recip_rank	0.9455	0.1698
634	relative_P_10	0.7018	0.1258
634	relative_P_100	0.9504	0.1368
634	relative_P_1000	0.9661	0.1314
634	relative_P_15	0.7736	0.1261
634	relative_P_20	0.8984	0.1433
634	relative_P_200	0.9603	0.1351
634	relative_P_30	0.9331	0.1433
634	relative_P_5	0.8545	0.1767
634	relative_P_500	0.9612	0.1340
634	set_F	   nan	   nan
634	set_P	0.0292	0.1173
634	set_map	0.0244	0.0850
634	set_recall	0.9661	0.1314
634	set_relative_P	0.9691	0.1278
634	success_1	0.9000	0.3000
634	success_10	0.9909	0.0949
634	success_5	0.9909	0.0949
634	utility	-892.5364	247.0170
635	11pt_avg	0.5660	0.1463
635	G	0.4583	0.1114
635	P_10	0.7573	0.1697
635	P_100	0.1415	0.0257
635	P_1000	0.0160	0.0023
635	P_15	0.6406	0.1616
635	P_20	0.5591	0.1618
635	P_200	0.0743	0.0129
635	P_30	0.4109	0.1090
635	P_5	0.8600	0.1759
635	P_500	0.0311	0.0051
635	Rndcg	0.7260	0.1335
635	Rprec	0.5703	0.1611
635	Rprec_mult_0.20	0.8977	0.1825
635	Rprec_mult_0.40	0.8045	0.1772
635	Rprec_mult_0.60	0.7030	0.1623
635	Rprec_mult_0.80	0.6159	0.1581
635	Rprec_mult_1.00	0.5703	0.1611
635	Rprec_mult_1.20	0.5111	0.1489
635	Rprec_mult_1.40	0.4468	0.1240
635	Rprec_mult_1.60	0.4000	0.1041
635	Rprec_mult_1.80	0.3600	0.0908
635	Rprec_mult_2.00	0.3364	0.0844
635	binG	0.4583	0.1114
635	bpref	0.5586	0.1693
635	infAP	0.5701	0.1661
635	iprec_at_recall_0.00	0.9900	0.0876
635	iprec_at_recall_0.10	0.9703	0.1310
635	iprec_at_recall_0.20	0.9060	0.1933
635	iprec_at_recall_0.30	0.8395	0.2186
635	iprec_at_recall_0.40	0.7789	0.2287
635	iprec_at_recall_0.50	0.6232	0.2633
635	iprec_at_recall_0.60	0.4971	0.2761
635	iprec_at_recall_0.70	0.3703	0.3190
635	iprec_at_recall_0.80	0.2116	0.2911
635	iprec_at_recall_0.90	0.0386	0.0631
635	iprec_at_recall_1.00	0.0000	0.0000
635	map	0.5701	0.1661
635	map_cut_10	0.3697	0.0969
635	map_cut_100	0.5633	0.1661
635	map_cut_1000	0.5701	0.1661
635	map_cut_15	0.4515	0.1284
635	map_cut_20	0.5079	0.1601
635	map_cut_200	0.5677	0.1665
635	map_cut_30	0.5391	0.1702
635	map_cut_5	0.2211	0.0512
635	map_cut_500	0.5696	0.1663
635	ndcg	0.7902	0.1246
635	ndcg_cut_10	0.8097	0.1524
635	ndcg_cut_100	0.7563	0.1329
635	ndcg_cut_1000	0.7902	0.1246
635	ndcg_cut_15	0.7194	0.1472
635	ndcg_cut_20	0.6733	0.1506
635	ndcg_cut_200	0.7710	0.1300
635	ndcg_cut_30	0.7094	0.1510
635	ndcg_cut_5	0.8914	0.1519
635	ndcg_cut_500	0.7831	0.1280
635	ndcg_rel	0.8181	0.1223
635	num_nonrel_judged_ret	389.0909	120.7383
635	num_rel	19.0000	0.0000
635	num_rel_ret	15.9909	2.3452
635	num_ret	915.9273	240.7422
635	prefs_avgjg	0.8116	0.1223
635	prefs_avgjg_Rnonrel	0.0230	0.0038
635	prefs_avgjg_Rnonrel_ret	0.0477	0.0172
635	prefs_avgjg_imp	0.8981	0.0491
635	prefs_avgjg_ret	0.9101	0.0864
635	prefs_num_prefs_ful	12860.0455	1937.8738
635	prefs_num_prefs_ful_ret	5979.8909	2408.2318
635	prefs_num_prefs_poss	15846.0000	0.0000
635	prefs_pair	0.8116	0.1223
635	prefs_pair_imp	0.8981	0.0491
635	prefs_pair_ret	0.9101	0.0864
635	prefs_simp	0.8116	0.1223
635	prefs_simp_imp	0.8981	0.0491
635	prefs_simp_ret	0.9101	0.0864
635	recall_10	0.3986	0.0893
635	recall_100	0.7450	0.1351
635	recall_1000	0.8416	0.1234
635	recall_15	0.5057	0.1276
635	recall_20	0.5885	0.1703
635	recall_200	0.7818	0.1356
635	recall_30	0.6488	0.1721
635	recall_5	0.2263	0.0463
635	recall_500	0.8172	0.1333
635	recip_rank	0.9868	0.1013
635	relative_P_10	0.7573	0.1697
635	relative_P_100	0.7450	0.1351
635	relative_P_1000	0.8416	0.1234
635	relative_P_15	0.6406	0.1616
635	relative_P_20	0.5885	0.1703
635	relative_P_200	0.7818	0.1356
635	relative_P_30	0.6488	0.1721
635	relative_P_5	0.8600	0.1759
635	relative_P_500	0.8172	0.1333
635	set_F	0.0399	0.0239
635	set_P	0.0208	0.0137
635	set_map	0.0168	0.0080
635	set_recall	0.8416	0.1234
635	set_relative_P	0.8416	0.1234
635	success_1	0.9818	0.1336
635	success_10	0.9909	0.0949
635	success_5	0.9909	0.0949
635	utility	-883.9455	237.9846
636	11pt_avg	0.3204	0.1403
636	G	0.2075	0.0711
636	P_10	0.3927	0.1757
636	P_100	0.0743	0.0273
636	P_1000	0.0104	0.0028
636	P_15	0.3230	0.1306
636	P_20	0.2627	0.1048
636	P_200	0.0418	0.0142
636	P_30	0.1939	0.0729
636	P_5	0.5218	0.2225
636	P_500	0.0192	0.0056
636	Rndcg	0.4066	0.1527
636	Rprec	0.3390	0.1397
636	Rprec_mult_0.20	0.6606	0.3393
636	Rprec_mult_0.40	0.4833	0.2131
636	Rprec_mult_0.60	0.4121	0.1843
636	Rprec_mult_0.80	0.3682	0.1554
636	Rprec_mult_1.00	0.3390	0.1397
636	Rprec_mult_1.20	0.2973	0.1226
636	Rprec_mult_1.40	0.2627	0.1048
636	Rprec_mult_1.60	0.2371	0.0922
636	Rprec_mult_1.80	0.2182	0.0828
636	Rprec_mult_2.00	0.2049	0.0771
636	binG	0.2910	0.1039
636	bpref	0.2919	0.1293
636	infAP	0.2940	0.1374
636	iprec_at_recall_0.00	0.8552	0.2890
636	iprec_at_recall_0.10	0.8065	0.3115
636	iprec_at_recall_0.20	0.6547	0.3317
636	iprec_at_recall_0.30	0.3984	0.2575
636	iprec_at_recall_0.40	0.3508	0.2474
636	iprec_at_recall_0.50	0.2541	0.2362
636	iprec_at_recall_0.60	0.0946	0.1257
636	iprec_at_recall_0.70	0.0636	0.0972
636	iprec_at_recall_0.80	0.0285	0.0570
636	iprec_at_recall_0.90	0.0176	0.0389
636	iprec_at_recall_1.00	0.0007	0.0043
636	map	0.2940	0.1374
636	map_cut_10	0.2204	0.1162
636	map_cut_100	0.2862	0.1377
636	map_cut_1000	0.2940	0.1374
636	map_cut_15	0.2482	0.1251
636	map_cut_20	0.2587	0.1292
636	map_cut_200	0.2904	0.1380
636	map_cut_30	0.2692	0.1321
636	map_cut_5	0.1658	0.0858
636	map_cut_500	0.2931	0.1377
636	ndcg	0.4921	0.1512
636	ndcg_cut_10	0.3687	0.1625
636	ndcg_cut_100	0.4340	0.1596
636	ndcg_cut_1000	0.4921	0.1512
636	ndcg_cut_15	0.3558	0.1452
636	ndcg_cut_20	0.3714	0.1483
636	ndcg_cut_200	0.4532	0.1583
636	ndcg_cut_30	0.3905	0.1502
636	ndcg_cut_5	0.3806	0.1704
636	ndcg_cut_500	0.4764	0.1554
636	ndcg_rel	0.4403	0.1390
636	num_nonrel_judged_ret	447.0818	152.3969
636	num_rel	14.0000	0.0000
636	num_rel_ret	10.4455	2.8045
636	num_ret	913.8909	247.7860
636	prefs_avgjg	0.7088	0.1899
636	prefs_avgjg_Rnonrel	0.0072	0.0013
636	prefs_avgjg_Rnonrel_ret	0.0243	0.0245
636	prefs_avgjg_imp	0.8699	0.1069
636	prefs_avgjg_ret	0.8173	0.1504
636	prefs_num_prefs_ful	15652.8818	4193.5979
636	prefs_num_prefs_ful_ret	4221.5727	2000.5903
636	prefs_num_prefs_poss	22083.0000	0.0000
636	prefs_pair	0.7088	0.1899
636	prefs_pair_imp	0.8699	0.1069
636	prefs_pair_ret	0.8173	0.1504
636	prefs_simp	0.7088	0.1899
636	prefs_simp_imp	0.8699	0.1069
636	prefs_simp_ret	0.8173	0.1504
636	recall_10	0.2805	0.1255
636	recall_100	0.5305	0.1946
636	recall_1000	0.7461	0.2003
636	recall_15	0.3461	0.1400
636	recall_20	0.3753	0.1497
636	recall_200	0.5974	0.2033
636	recall_30	0.4156	0.1563
636	recall_5	0.1864	0.0795
636	recall_500	0.6844	0.2014
636	recip_rank	0.8268	0.3229
636	relative_P_10	0.3927	0.1757
636	relative_P_100	0.5305	0.1946
636	relative_P_1000	0.7461	0.2003
636	relative_P_15	0.3461	0.1400
636	relative_P_20	0.3753	0.1497
636	relative_P_200	0.5974	0.2033
636	relative_P_30	0.4156	0.1563
636	relative_P_5	0.5218	0.2225
636	relative_P_500	0.6844	0.2014
636	set_F	   nan	   nan
636	set_P	0.0146	0.0181
636	set_map	0.0095	0.0034
636	set_recall	0.7461	0.2003
636	set_relative_P	0.7461	0.2003
636	success_1	0.7636	0.4248
636	success_10	0.9455	0.2271
636	success_5	0.9273	0.2597
636	utility	-893.0000	244.0426
637	11pt_avg	0.3849	0.0859
637	G	0.2535	0.0494
637	P_10	0.5482	0.1305
637	P_100	0.1538	0.0328
637	P_1000	0.0207	0.0035
637	P_15	0.4636	0.0835
637	P_20	0.3868	0.0765
637	P_200	0.0924	0.0177
637	P_30	0.3148	0.0651
637	P_5	0.6418	0.1770
637	P_500	0.0408	0.0071
637	Rndcg	0.5245	0.0920
637	Rprec	0.3665	0.0699
637	Rprec_mult_0.20	0.6418	0.1770
637	Rprec_mult_0.40	0.5546	0.1361
637	Rprec_mult_0.60	0.4864	0.0951
637	Rprec_mult_0.80	0.4136	0.0759
637	Rprec_mult_1.00	0.3665	0.0699
637	Rprec_mult_1.20	0.3313	0.0692
637	Rprec_mult_1.40	0.3114	0.0657
637	Rprec_mult_1.60	0.2833	0.0623
637	Rprec_mult_1.80	0.2691	0.0621
637	Rprec_mult_2.00	0.2535	0.0572
637	binG	0.2976	0.0595
637	bpref	0.3233	0.0681
637	infAP	0.3606	0.0894
637	iprec_at_recall_0.00	0.9422	0.1385
637	iprec_at_recall_0.10	0.7503	0.1834
637	iprec_at_recall_0.20	0.6344	0.1679
637	iprec_at_recall_0.30	0.5427	0.1633
637	iprec_at_recall_0.40	0.3710	0.1346
637	iprec_at_recall_0.50	0.3026	0.1107
637	iprec_at_recall_0.60	0.2147	0.1008
637	iprec_at_recall_0.70	0.1707	0.0917
637	iprec_at_recall_0.80	0.1403	0.0899
637	iprec_at_recall_0.90	0.1023	0.0641
637	iprec_at_recall_1.00	0.0632	0.0464
637	map	0.3606	0.0894
637	map_cut_10	0.1871	0.0620
637	map_cut_100	0.3356	0.0890
637	map_cut_1000	0.3606	0.0894
637	map_cut_15	0.2229	0.0630
637	map_cut_20	0.2396	0.0663
637	map_cut_200	0.3535	0.0913
637	map_cut_30	0.2687	0.0743
637	map_cut_5	0.1214	0.0453
637	map_cut_500	0.3602	0.0898
637	ndcg	0.6633	0.1031
637	ndcg_cut_10	0.4908	0.1099
637	ndcg_cut_100	0.5895	0.1008
637	ndcg_cut_1000	0.6633	0.1031
637	ndcg_cut_15	0.4770	0.0905
637	ndcg_cut_20	0.4468	0.0841
637	ndcg_cut_200	0.6331	0.1057
637	ndcg_cut_30	0.4773	0.0858
637	ndcg_cut_5	0.4845	0.1276
637	ndcg_cut_500	0.6597	0.1039
637	ndcg_rel	0.5521	0.0915
637	num_nonrel_judged_ret	336.8364	104.1503
637	num_rel	22.0000	0.0000
637	num_rel_ret	20.7000	3.5254
637	num_ret	913.6364	248.6427
637	prefs_avgjg	0.8696	0.1450
637	prefs_avgjg_Rnonrel	0.0268	0.0039
637	prefs_avgjg_Rnonrel_ret	0.0595	0.0248
637	prefs_avgjg_imp	0.9153	0.0322
637	prefs_avgjg_ret	0.8192	0.1276
637	prefs_num_prefs_ful	14069.1273	2345.9777
637	prefs_num_prefs_ful_ret	6190.9182	2235.7562
637	prefs_num_prefs_poss	16178.0000	0.0000
637	prefs_pair	0.8696	0.1450
637	prefs_pair_imp	0.9153	0.0322
637	prefs_pair_ret	0.8192	0.1276
637	prefs_simp	0.8696	0.1450
637	prefs_simp_imp	0.9153	0.0322
637	prefs_simp_ret	0.8192	0.1276
637	recall_10	0.2492	0.0593
637	recall_100	0.6992	0.1489
637	recall_1000	0.9409	0.1602
637	recall_15	0.3161	0.0570
637	recall_20	0.3516	0.0695
637	recall_200	0.8397	0.1612
637	recall_30	0.4293	0.0887
637	recall_5	0.1459	0.0402
637	recall_500	0.9281	0.1615
637	recip_rank	0.9136	0.1969
637	relative_P_10	0.5482	0.1305
637	relative_P_100	0.6992	0.1489
637	relative_P_1000	0.9409	0.1602
637	relative_P_15	0.4636	0.0835
637	relative_P_20	0.3868	0.0765
637	relative_P_200	0.8397	0.1612
637	relative_P_30	0.4293	0.0887
637	relative_P_5	0.6418	0.1770
637	relative_P_500	0.9281	0.1615
637	set_F	0.0494	0.0212
637	set_P	0.0429	0.1308
637	set_map	0.0237	0.0082
637	set_recall	0.9409	0.1602
637	set_relative_P	0.9583	0.1042
637	success_1	0.8364	0.3699
637	success_10	1.0000	0.0000
637	success_5	1.0000	0.0000
637	utility	-872.2364	242.6106
638	11pt_avg	0.1102	0.0751
638	G	0.1082	0.0401
638	P_10	0.2182	0.1663
638	P_100	0.0837	0.0429
638	P_1000	0.0212	0.0070
638	P_15	0.1909	0.1408
638	P_20	0.1718	0.1231
638	P_200	0.0596	0.0263
638	P_30	0.1470	0.0983
638	P_5	0.2564	0.2091
638	P_500	0.0347	0.0127
638	Rndcg	0.2177	0.1097
638	Rprec	0.1366	0.0903
638	Rprec_mult_0.20	0.2468	0.1886
638	Rprec_mult_0.40	0.1974	0.1448
638	Rprec_mult_0.60	0.1671	0.1180
638	Rprec_mult_0.80	0.1536	0.1030
638	Rprec_mult_1.00	0.1366	0.0903
638	Rprec_mult_1.20	0.1247	0.0829
638	Rprec_mult_1.40	0.1186	0.0747
638	Rprec_mult_1.60	0.1109	0.0670
638	Rprec_mult_1.80	0.1027	0.0611
638	Rprec_mult_2.00	0.0996	0.0567
638	binG	0.1158	0.0489
638	bpref	0.1013	0.0723
638	infAP	0.0868	0.0640
638	iprec_at_recall_0.00	0.5038	0.3348
638	iprec_at_recall_0.10	0.2549	0.2362
638	iprec_at_recall_0.20	0.1678	0.1469
638	iprec_at_recall_0.30	0.1113	0.0956
638	iprec_at_recall_0.40	0.0730	0.0589
638	iprec_at_recall_0.50	0.0470	0.0385
638	iprec_at_recall_0.60	0.0323	0.0322
638	iprec_at_recall_0.70	0.0173	0.0275
638	iprec_at_recall_0.80	0.0053	0.0196
638	iprec_at_recall_0.90	0.0000	0.0000
638	iprec_at_recall_1.00	0.0000	0.0000
638	map	0.0868	0.0640
638	map_cut_10	0.0337	0.0343
638	map_cut_100	0.0673	0.0578
638	map_cut_1000	0.0868	0.0640
638	map_cut_15	0.0403	0.0399
638	map_cut_20	0.0448	0.0429
638	map_cut_200	0.0756	0.0617
638	map_cut_30	0.0512	0.0481
638	map_cut_5	0.0232	0.0257
638	map_cut_500	0.0835	0.0638
638	ndcg	0.3472	0.1291
638	ndcg_cut_10	0.1647	0.1227
638	ndcg_cut_100	0.2122	0.1149
638	ndcg_cut_1000	0.3472	0.1291
638	ndcg_cut_15	0.1671	0.1220
638	ndcg_cut_20	0.1650	0.1163
638	ndcg_cut_200	0.2560	0.1219
638	ndcg_cut_30	0.1594	0.1031
638	ndcg_cut_5	0.1551	0.1323
638	ndcg_cut_500	0.3123	0.1293
638	ndcg_rel	0.2842	0.1067
638	num_nonrel_judged_ret	392.1091	136.6356
638	num_rel	35.0000	0.0000
638	num_rel_ret	21.1636	6.9564
638	num_ret	917.6000	235.5059
638	prefs_avgjg	0.5401	0.1777
638	prefs_avgjg_Rnonrel	0.0166	0.0022
638	prefs_avgjg_Rnonrel_ret	0.0356	0.0109
638	prefs_avgjg_imp	0.7482	0.1036
638	prefs_avgjg_ret	0.6344	0.1196
638	prefs_num_prefs_ful	25937.2000	8535.4198
638	prefs_num_prefs_ful_ret	5981.0455	3310.6918
638	prefs_num_prefs_poss	48019.0000	0.0000
638	prefs_pair	0.5401	0.1777
638	prefs_pair_imp	0.7482	0.1036
638	prefs_pair_ret	0.6344	0.1196
638	prefs_simp	0.5401	0.1777
638	prefs_simp_imp	0.7482	0.1036
638	prefs_simp_ret	0.6344	0.1196
638	recall_10	0.0623	0.0475
638	recall_100	0.2392	0.1225
638	recall_1000	0.6047	0.1988
638	recall_15	0.0818	0.0604
638	recall_20	0.0982	0.0704
638	recall_200	0.3408	0.1500
638	recall_30	0.1260	0.0843
638	recall_5	0.0366	0.0299
638	recall_500	0.4951	0.1815
638	recip_rank	0.4620	0.3413
638	relative_P_10	0.2182	0.1663
638	relative_P_100	0.2392	0.1225
638	relative_P_1000	0.6047	0.1988
638	relative_P_15	0.1909	0.1408
638	relative_P_20	0.1718	0.1231
638	relative_P_200	0.3408	0.1500
638	relative_P_30	0.1470	0.0983
638	relative_P_5	0.2564	0.2091
638	relative_P_500	0.4951	0.1815
638	set_F	0.0434	0.0100
638	set_P	0.0227	0.0052
638	set_map	0.0144	0.0062
638	set_recall	0.6047	0.1988
638	set_relative_P	0.6047	0.1988
638	success_1	0.2455	0.4304
638	success_10	0.8727	0.3333
638	success_5	0.7636	0.4248
638	utility	-875.2727	223.9205
639	11pt_avg	0.1843	0.0963
639	G	0.1720	0.0654
639	P_10	0.3645	0.2251
639	P_100	0.0998	0.0400
639	P_1000	0.0215	0.0054
639	P_15	0.2897	0.1751
639	P_20	0.2427	0.1391
639	P_200	0.0674	0.0237
639	P_30	0.1970	0.1002
639	P_5	0.5145	0.2769
639	P_500	0.0362	0.0105
639	Rndcg	0.3785	0.1363
639	Rprec	0.1903	0.0970
639	Rprec_mult_0.20	0.4468	0.2606
639	Rprec_mult_0.40	0.3098	0.1877
639	Rprec_mult_0.60	0.2427	0.1391
639	Rprec_mult_0.80	0.2143	0.1132
639	Rprec_mult_1.00	0.1903	0.0970
639	Rprec_mult_1.20	0.1681	0.0835
639	Rprec_mult_1.40	0.1552	0.0759
639	Rprec_mult_1.60	0.1441	0.0685
639	Rprec_mult_1.80	0.1357	0.0619
639	Rprec_mult_2.00	0.1281	0.0569
639	binG	0.1720	0.0654
639	bpref	0.1561	0.0889
639	infAP	0.1587	0.0939
639	iprec_at_recall_0.00	0.8301	0.3239
639	iprec_at_recall_0.10	0.4938	0.3526
639	iprec_at_recall_0.20	0.2897	0.2371
639	iprec_at_recall_0.30	0.1478	0.1186
639	iprec_at_recall_0.40	0.0997	0.0947
639	iprec_at_recall_0.50	0.0714	0.0799
639	iprec_at_recall_0.60	0.0449	0.0536
639	iprec_at_recall_0.70	0.0297	0.0479
639	iprec_at_recall_0.80	0.0156	0.0358
639	iprec_at_recall_0.90	0.0041	0.0152
639	iprec_at_recall_1.00	0.0010	0.0060
639	map	0.1587	0.0939
639	map_cut_10	0.0932	0.0650
639	map_cut_100	0.1374	0.0896
639	map_cut_1000	0.1587	0.0939
639	map_cut_15	0.1030	0.0719
639	map_cut_20	0.1082	0.0747
639	map_cut_200	0.1476	0.0923
639	map_cut_30	0.1168	0.0791
639	map_cut_5	0.0707	0.0445
639	map_cut_500	0.1556	0.0937
639	ndcg	0.4867	0.1468
639	ndcg_cut_10	0.4445	0.2448
639	ndcg_cut_100	0.3392	0.1417
639	ndcg_cut_1000	0.4867	0.1468
639	ndcg_cut_15	0.3759	0.2053
639	ndcg_cut_20	0.3299	0.1742
639	ndcg_cut_200	0.3903	0.1457
639	ndcg_cut_30	0.2781	0.1368
639	ndcg_cut_5	0.5668	0.2900
639	ndcg_cut_500	0.4489	0.1481
639	ndcg_rel	0.4596	0.1543
639	num_nonrel_judged_ret	406.4727	114.5666
639	num_rel	32.0000	0.0000
639	num_rel_ret	21.5364	5.3609
639	num_ret	928.4545	215.9627
639	prefs_avgjg	0.6068	0.1512
639	prefs_avgjg_Rnonrel	0.0151	0.0021
639	prefs_avgjg_Rnonrel_ret	0.0358	0.0121
639	prefs_avgjg_imp	0.7848	0.0791
639	prefs_avgjg_ret	0.6824	0.0826
639	prefs_num_prefs_ful	25670.6727	6395.2341
639	prefs_num_prefs_ful_ret	6293.6818	2851.1309
639	prefs_num_prefs_poss	42304.0000	0.0000
639	prefs_pair	0.6068	0.1512
639	prefs_pair_imp	0.7848	0.0791
639	prefs_pair_ret	0.6824	0.0826
639	prefs_simp	0.6068	0.1512
639	prefs_simp_imp	0.7848	0.0791
639	prefs_simp_ret	0.6824	0.0826
639	recall_10	0.1139	0.0703
639	recall_100	0.3119	0.1251
639	recall_1000	0.6730	0.1675
639	recall_15	0.1358	0.0821
639	recall_20	0.1517	0.0870
639	recall_200	0.4213	0.1479
639	recall_30	0.1847	0.0939
639	recall_5	0.0804	0.0433
639	recall_500	0.5659	0.1637
639	recip_rank	0.8218	0.3381
639	relative_P_10	0.3645	0.2251
639	relative_P_100	0.3119	0.1251
639	relative_P_1000	0.6730	0.1675
639	relative_P_15	0.2897	0.1751
639	relative_P_20	0.2427	0.1391
639	relative_P_200	0.4213	0.1479
639	relative_P_30	0.1970	0.1002
639	relative_P_5	0.5145	0.2769
639	relative_P_500	0.5659	0.1637
639	set_F	0.0475	0.0159
639	set_P	0.0249	0.0092
639	set_map	0.0167	0.0065
639	set_recall	0.6730	0.1675
639	set_relative_P	0.6730	0.1675
639	success_1	0.7727	0.4191
639	success_10	0.9182	0.2741
639	success_5	0.9000	0.3000
639	utility	-885.3818	210.1434
640	11pt_avg	0.3404	0.0878
640	G	0.1914	0.0467
640	P_10	0.5982	0.1395
640	P_100	0.2179	0.0457
640	P_1000	0.0378	0.0084
640	P_15	0.5467	0.1225
640	P_20	0.5073	0.1130
640	P_200	0.1498	0.0377
640	P_30	0.4124	0.0827
640	P_5	0.6909	0.2047
640	P_500	0.0721	0.0173
640	Rndcg	0.4943	0.1056
640	Rprec	0.3376	0.0632
640	Rprec_mult_0.20	0.6121	0.1427
640	Rprec_mult_0.40	0.5227	0.1173
640	Rprec_mult_0.60	0.4475	0.0945
640	Rprec_mult_0.80	0.3790	0.0702
640	Rprec_mult_1.00	0.3376	0.0632
640	Rprec_mult_1.20	0.3025	0.0599
640	Rprec_mult_1.40	0.2786	0.0584
640	Rprec_mult_1.60	0.2606	0.0557
640	Rprec_mult_1.80	0.2466	0.0550
640	Rprec_mult_2.00	0.2357	0.0493
640	binG	0.2318	0.0558
640	bpref	0.2933	0.0493
640	infAP	0.3163	0.0939
640	iprec_at_recall_0.00	0.9165	0.1635
640	iprec_at_recall_0.10	0.6999	0.1543
640	iprec_at_recall_0.20	0.5732	0.1656
640	iprec_at_recall_0.30	0.4492	0.1583
640	iprec_at_recall_0.40	0.2819	0.1099
640	iprec_at_recall_0.50	0.2257	0.0958
640	iprec_at_recall_0.60	0.1831	0.0974
640	iprec_at_recall_0.70	0.1605	0.0913
640	iprec_at_recall_0.80	0.1238	0.0804
640	iprec_at_recall_0.90	0.0897	0.0778
640	iprec_at_recall_1.00	0.0406	0.0570
640	map	0.3163	0.0939
640	map_cut_10	0.1089	0.0356
640	map_cut_100	0.2587	0.0742
640	map_cut_1000	0.3163	0.0939
640	map_cut_15	0.1406	0.0469
640	map_cut_20	0.1661	0.0542
640	map_cut_200	0.2970	0.0893
640	map_cut_30	0.1912	0.0596
640	map_cut_5	0.0695	0.0258
640	map_cut_500	0.3140	0.0940
640	ndcg	0.6524	0.1372
640	ndcg_cut_10	0.4904	0.1298
640	ndcg_cut_100	0.5016	0.1052
640	ndcg_cut_1000	0.6524	0.1372
640	ndcg_cut_15	0.4622	0.1184
640	ndcg_cut_20	0.4396	0.1105
640	ndcg_cut_200	0.5854	0.1304
640	ndcg_cut_30	0.4212	0.0984
640	ndcg_cut_5	0.5280	0.1789
640	ndcg_cut_500	0.6383	0.1396
640	ndcg_rel	0.5374	0.1072
640	num_nonrel_judged_ret	273.7182	76.6499
640	num_rel	43.0000	0.0000
640	num_rel_ret	37.8091	8.3780
640	num_ret	915.2091	243.0507
640	prefs_avgjg	0.7936	0.1675
640	prefs_avgjg_Rnonrel	0.0472	0.0036
640	prefs_avgjg_Rnonrel_ret	0.1160	0.0212
640	prefs_avgjg_imp	0.8708	0.0486
640	prefs_avgjg_ret	0.7269	0.0530
640	prefs_num_prefs_ful	27461.0000	5795.1866
640	prefs_num_prefs_ful_ret	8328.8273	3416.4120
640	prefs_num_prefs_poss	34604.0000	0.0000
640	prefs_pair	0.7936	0.1675
640	prefs_pair_imp	0.8708	0.0486
640	prefs_pair_ret	0.7269	0.0530
640	prefs_simp	0.7936	0.1675
640	prefs_simp_imp	0.8708	0.0486
640	prefs_simp_ret	0.7269	0.0530
640	recall_10	0.1391	0.0324
640	recall_100	0.5068	0.1062
640	recall_1000	0.8793	0.1948
640	recall_15	0.1907	0.0427
640	recall_20	0.2360	0.0526
640	recall_200	0.6966	0.1756
640	recall_30	0.2877	0.0577
640	recall_5	0.0803	0.0238
640	recall_500	0.8378	0.2008
640	recip_rank	0.8489	0.2620
640	relative_P_10	0.5982	0.1395
640	relative_P_100	0.5068	0.1062
640	relative_P_1000	0.8793	0.1948
640	relative_P_15	0.5467	0.1225
640	relative_P_20	0.5073	0.1130
640	relative_P_200	0.6966	0.1756
640	relative_P_30	0.4124	0.0827
640	relative_P_5	0.6909	0.2047
640	relative_P_500	0.8378	0.2008
640	set_F	0.0845	0.0250
640	set_P	0.0456	0.0179
640	set_map	0.0382	0.0082
640	set_recall	0.8793	0.1948
640	set_relative_P	0.8793	0.1948
640	success_1	0.7364	0.4406
640	success_10	1.0000	0.0000
640	success_5	0.9545	0.2083
640	utility	-839.5909	229.9927
641	11pt_avg	0.4156	0.1495
641	G	0.2276	0.0658
641	P_10	0.6391	0.1903
641	P_100	0.2905	0.0867
641	P_1000	0.0447	0.0093
641	P_15	0.5933	0.1879
641	P_20	0.5500	0.1849
641	P_200	0.1929	0.0480
641	P_30	0.4827	0.1584
641	P_5	0.7109	0.1880
641	P_500	0.0871	0.0190
641	Rndcg	0.5664	0.1415
641	Rprec	0.3978	0.1308
641	Rprec_mult_0.20	0.6391	0.1903
641	Rprec_mult_0.40	0.5500	0.1849
641	Rprec_mult_0.60	0.4827	0.1584
641	Rprec_mult_0.80	0.4295	0.1403
641	Rprec_mult_1.00	0.3978	0.1308
641	Rprec_mult_1.20	0.3682	0.1172
641	Rprec_mult_1.40	0.3465	0.1056
641	Rprec_mult_1.60	0.3285	0.0982
641	Rprec_mult_1.80	0.3091	0.0939
641	Rprec_mult_2.00	0.2928	0.0874
641	binG	0.2523	0.0784
641	bpref	0.3565	0.1431
641	infAP	0.3972	0.1623
641	iprec_at_recall_0.00	0.8866	0.1679
641	iprec_at_recall_0.10	0.7362	0.2052
641	iprec_at_recall_0.20	0.6055	0.2350
641	iprec_at_recall_0.30	0.5115	0.2457
641	iprec_at_recall_0.40	0.4379	0.2154
641	iprec_at_recall_0.50	0.3725	0.1807
641	iprec_at_recall_0.60	0.3065	0.1782
641	iprec_at_recall_0.70	0.2667	0.1591
641	iprec_at_recall_0.80	0.2294	0.1432
641	iprec_at_recall_0.90	0.1693	0.1120
641	iprec_at_recall_1.00	0.0502	0.0474
641	map	0.3972	0.1623
641	map_cut_10	0.1033	0.0447
641	map_cut_100	0.3314	0.1618
641	map_cut_1000	0.3972	0.1623
641	map_cut_15	0.1394	0.0657
641	map_cut_20	0.1678	0.0830
641	map_cut_200	0.3806	0.1681
641	map_cut_30	0.2087	0.1045
641	map_cut_5	0.0593	0.0249
641	map_cut_500	0.3957	0.1628
641	ndcg	0.7211	0.1435
641	ndcg_cut_10	0.5916	0.1729
641	ndcg_cut_100	0.5812	0.1619
641	ndcg_cut_1000	0.7211	0.1435
641	ndcg_cut_15	0.5546	0.1702
641	ndcg_cut_20	0.5152	0.1611
641	ndcg_cut_200	0.6701	0.1591
641	ndcg_cut_30	0.5009	0.1533
641	ndcg_cut_5	0.6424	0.1858
641	ndcg_cut_500	0.7125	0.1476
641	ndcg_rel	0.6018	0.1345
641	num_nonrel_judged_ret	345.8545	91.1893
641	num_rel	49.0000	0.0000
641	num_rel_ret	44.7364	9.2576
641	num_ret	914.9273	244.1120
641	prefs_avgjg	0.7894	0.1673
641	prefs_avgjg_Rnonrel	0.0878	0.0147
641	prefs_avgjg_Rnonrel_ret	0.1179	0.0265
641	prefs_avgjg_imp	0.8295	0.0903
641	prefs_avgjg_ret	0.8011	0.0960
641	prefs_num_prefs_ful	19732.5909	4182.2200
641	prefs_num_prefs_ful_ret	13655.6182	5117.9976
641	prefs_num_prefs_poss	24996.0000	0.0000
641	prefs_pair	0.7894	0.1673
641	prefs_pair_imp	0.8295	0.0903
641	prefs_pair_ret	0.8011	0.0960
641	prefs_simp	0.7894	0.1673
641	prefs_simp_imp	0.8295	0.0903
641	prefs_simp_ret	0.8011	0.0960
641	recall_10	0.1304	0.0389
641	recall_100	0.5929	0.1769
641	recall_1000	0.9130	0.1889
641	recall_15	0.1816	0.0575
641	recall_20	0.2245	0.0755
641	recall_200	0.7872	0.1959
641	recall_30	0.2955	0.0970
641	recall_5	0.0725	0.0192
641	recall_500	0.8887	0.1941
641	recip_rank	0.7920	0.2582
641	relative_P_10	0.6391	0.1903
641	relative_P_100	0.5929	0.1769
641	relative_P_1000	0.9130	0.1889
641	relative_P_15	0.5933	0.1879
641	relative_P_20	0.5500	0.1849
641	relative_P_200	0.7872	0.1959
641	relative_P_30	0.4827	0.1584
641	relative_P_5	0.7109	0.1880
641	relative_P_500	0.8887	0.1941
641	set_F	0.1004	0.0376
641	set_P	0.0550	0.0265
641	set_map	0.0481	0.0166
641	set_recall	0.9130	0.1889
641	set_relative_P	0.9130	0.1889
641	success_1	0.6000	0.4899
641	success_10	1.0000	0.0000
641	success_5	1.0000	0.0000
641	utility	-825.4545	230.3527
642	11pt_avg	0.1720	0.0558
642	G	0.1424	0.0270
642	P_10	0.1927	0.1068
642	P_100	0.1607	0.0381
642	P_1000	0.0344	0.0069
642	P_15	0.2145	0.0878
642	P_20	0.2195	0.0723
642	P_200	0.1144	0.0241
642	P_30	0.2251	0.0560
642	P_5	0.1800	0.1594
642	P_500	0.0636	0.0130
642	Rndcg	0.3024	0.0607
642	Rprec	0.2145	0.0530
642	Rprec_mult_0.20	0.1784	0.1173
642	Rprec_mult_0.40	0.2216	0.0833
642	Rprec_mult_0.60	0.2242	0.0665
642	Rprec_mult_0.80	0.2239	0.0540
642	Rprec_mult_1.00	0.2145	0.0530
642	Rprec_mult_1.20	0.2070	0.0536
642	Rprec_mult_1.40	0.1980	0.0513
642	Rprec_mult_1.60	0.1921	0.0475
642	Rprec_mult_1.80	0.1830	0.0456
642	Rprec_mult_2.00	0.1761	0.0432
642	binG	0.1585	0.0310
642	bpref	0.1392	0.0395
642	infAP	0.1521	0.0484
642	iprec_at_recall_0.00	0.4814	0.2811
642	iprec_at_recall_0.10	0.2917	0.0965
642	iprec_at_recall_0.20	0.2401	0.0864
642	iprec_at_recall_0.30	0.2099	0.0697
642	iprec_at_recall_0.40	0.1787	0.0613
642	iprec_at_recall_0.50	0.1438	0.0667
642	iprec_at_recall_0.60	0.1173	0.0586
642	iprec_at_recall_0.70	0.0952	0.0475
642	iprec_at_recall_0.80	0.0756	0.0425
642	iprec_at_recall_0.90	0.0540	0.0368
642	iprec_at_recall_1.00	0.0045	0.0136
642	map	0.1521	0.0484
642	map_cut_10	0.0202	0.0198
642	map_cut_100	0.1016	0.0394
642	map_cut_1000	0.1521	0.0484
642	map_cut_15	0.0285	0.0230
642	map_cut_20	0.0361	0.0244
642	map_cut_200	0.1273	0.0451
642	map_cut_30	0.0509	0.0263
642	map_cut_5	0.0133	0.0160
642	map_cut_500	0.1486	0.0482
642	ndcg	0.5194	0.0933
642	ndcg_cut_10	0.1445	0.1063
642	ndcg_cut_100	0.3165	0.0742
642	ndcg_cut_1000	0.5194	0.0933
642	ndcg_cut_15	0.1649	0.0897
642	ndcg_cut_20	0.1755	0.0750
642	ndcg_cut_200	0.4023	0.0803
642	ndcg_cut_30	0.1872	0.0593
642	ndcg_cut_5	0.1313	0.1450
642	ndcg_cut_500	0.4971	0.0922
642	ndcg_rel	0.3532	0.0581
642	num_nonrel_judged_ret	344.2909	80.2473
642	num_rel	39.0000	0.0000
642	num_rel_ret	34.3909	6.8770
642	num_ret	914.0182	247.3251
642	prefs_avgjg	0.6767	0.1243
642	prefs_avgjg_Rnonrel	0.0504	0.0043
642	prefs_avgjg_Rnonrel_ret	0.0676	0.0232
642	prefs_avgjg_imp	0.7228	0.0510
642	prefs_avgjg_ret	0.6592	0.0689
642	prefs_num_prefs_ful	13748.7091	2524.4358
642	prefs_num_prefs_ful_ret	8404.4727	2846.2436
642	prefs_num_prefs_poss	20316.0000	0.0000
642	prefs_pair	0.6767	0.1243
642	prefs_pair_imp	0.7228	0.0510
642	prefs_pair_ret	0.6592	0.0689
642	prefs_simp	0.6767	0.1243
642	prefs_simp_imp	0.7228	0.0510
642	prefs_simp_ret	0.6592	0.0689
642	recall_10	0.0494	0.0274
642	recall_100	0.4121	0.0976
642	recall_1000	0.8818	0.1763
642	recall_15	0.0825	0.0338
642	recall_20	0.1126	0.0371
642	recall_200	0.5865	0.1236
642	recall_30	0.1732	0.0431
642	recall_5	0.0231	0.0204
642	recall_500	0.8154	0.1668
642	recip_rank	0.4147	0.3204
642	relative_P_10	0.1927	0.1068
642	relative_P_100	0.4121	0.0976
642	relative_P_1000	0.8818	0.1763
642	relative_P_15	0.2145	0.0878
642	relative_P_20	0.2195	0.0723
642	relative_P_200	0.5865	0.1236
642	relative_P_30	0.2251	0.0560
642	relative_P_5	0.1800	0.1594
642	relative_P_500	0.8154	0.1668
642	set_F	0.0779	0.0236
642	set_P	0.0445	0.0345
642	set_map	0.0346	0.0041
642	set_recall	0.8818	0.1763
642	set_relative_P	0.8842	0.1671
642	success_1	0.2000	0.4000
642	success_10	0.9545	0.2083
642	success_5	0.6727	0.4692
642	utility	-845.2364	234.4120
643	11pt_avg	0.3272	0.1196
643	G	0.1970	0.0479
643	P_10	0.4164	0.1598
643	P_100	0.1873	0.0563
643	P_1000	0.0258	0.0059
643	P_15	0.3697	0.1362
643	P_20	0.3423	0.1180
643	P_200	0.1154	0.0298
643	P_30	0.3191	0.1033
643	P_5	0.4855	0.2449
643	P_500	0.0504	0.0119
643	Rndcg	0.3940	0.1140
643	Rprec	0.3191	0.1050
643	Rprec_mult_0.20	0.4606	0.2166
643	Rprec_mult_0.40	0.3886	0.1387
643	Rprec_mult_0.60	0.3576	0.1197
643	Rprec_mult_0.80	0.3371	0.1109
643	Rprec_mult_1.00	0.3191	0.1050
643	Rprec_mult_1.20	0.3161	0.1007
643	Rprec_mult_1.40	0.2978	0.0951
643	Rprec_mult_1.60	0.2866	0.0913
643	Rprec_mult_1.80	0.2708	0.0870
643	Rprec_mult_2.00	0.2591	0.0827
643	binG	0.2367	0.0670
643	bpref	0.2643	0.0992
643	infAP	0.2988	0.1212
643	iprec_at_recall_0.00	0.8166	0.2688
643	iprec_at_recall_0.10	0.6243	0.2655
643	iprec_at_recall_0.20	0.4352	0.1794
643	iprec_at_recall_0.30	0.3750	0.1451
643	iprec_at_recall_0.40	0.3239	0.1420
643	iprec_at_recall_0.50	0.2789	0.1487
643	iprec_at_recall_0.60	0.2415	0.1432
643	iprec_at_recall_0.70	0.1905	0.1176
643	iprec_at_recall_0.80	0.1431	0.1135
643	iprec_at_recall_0.90	0.1020	0.0895
643	iprec_at_recall_1.00	0.0687	0.0747
643	map	0.2988	0.1212
643	map_cut_10	0.0990	0.0599
643	map_cut_100	0.2680	0.1244
643	map_cut_1000	0.2988	0.1212
643	map_cut_15	0.1208	0.0674
643	map_cut_20	0.1390	0.0751
643	map_cut_200	0.2915	0.1242
643	map_cut_30	0.1743	0.0872
643	map_cut_5	0.0681	0.0466
643	map_cut_500	0.2979	0.1218
643	ndcg	0.5762	0.1310
643	ndcg_cut_10	0.3072	0.1294
643	ndcg_cut_100	0.4923	0.1455
643	ndcg_cut_1000	0.5762	0.1310
643	ndcg_cut_15	0.3138	0.1206
643	ndcg_cut_20	0.3134	0.1153
643	ndcg_cut_200	0.5475	0.1399
643	ndcg_cut_30	0.3254	0.1142
643	ndcg_cut_5	0.2994	0.1596
643	ndcg_cut_500	0.5703	0.1340
643	ndcg_rel	0.4358	0.1026
643	num_nonrel_judged_ret	351.8182	90.3903
643	num_rel	29.0000	0.0000
643	num_rel_ret	25.8091	5.9444
643	num_ret	913.7182	248.3793
643	prefs_avgjg	0.8029	0.1847
643	prefs_avgjg_Rnonrel	0.0372	0.0063
643	prefs_avgjg_Rnonrel_ret	0.0591	0.0193
643	prefs_avgjg_imp	0.8357	0.1561
643	prefs_avgjg_ret	0.8124	0.1395
643	prefs_num_prefs_ful	14431.2455	3319.3485
643	prefs_num_prefs_ful_ret	7945.8909	3033.0091
643	prefs_num_prefs_poss	17973.0000	0.0000
643	prefs_pair	0.8029	0.1847
643	prefs_pair_imp	0.8357	0.1561
643	prefs_pair_ret	0.8124	0.1395
643	prefs_simp	0.8029	0.1847
643	prefs_simp_imp	0.8357	0.1561
643	prefs_simp_ret	0.8124	0.1395
643	recall_10	0.1436	0.0551
643	recall_100	0.6458	0.1941
643	recall_1000	0.8900	0.2050
643	recall_15	0.1912	0.0705
643	recall_20	0.2360	0.0814
643	recall_200	0.7956	0.2056
643	recall_30	0.3301	0.1069
643	recall_5	0.0837	0.0422
643	recall_500	0.8693	0.2052
643	recip_rank	0.7727	0.3218
643	relative_P_10	0.4164	0.1598
643	relative_P_100	0.6458	0.1941
643	relative_P_1000	0.8900	0.2050
643	relative_P_15	0.3697	0.1362
643	relative_P_20	0.3423	0.1180
643	relative_P_200	0.7956	0.2056
643	relative_P_30	0.3301	0.1069
643	relative_P_5	0.4855	0.2449
643	relative_P_500	0.8693	0.2052
643	set_F	   nan	   nan
643	set_P	0.0319	0.0190
643	set_map	0.0288	0.0149
643	set_recall	0.8900	0.2050
643	set_relative_P	0.8900	0.2050
643	success_1	0.6455	0.4784
643	success_10	0.9727	0.1629
643	success_5	0.9455	0.2271
643	utility	-862.1000	242.8617
644	11pt_avg	0.3237	0.1460
644	G	0.1666	0.0425
644	P_10	0.4618	0.2382
644	P_100	0.2648	0.0956
644	P_1000	0.0456	0.0078
644	P_15	0.4509	0.2351
644	P_20	0.4486	0.2392
644	P_200	0.1696	0.0464
644	P_30	0.4267	0.2298
644	P_5	0.5127	0.2757
644	P_500	0.0842	0.0154
644	Rndcg	0.4354	0.1472
644	Rprec	0.3607	0.1649
644	Rprec_mult_0.20	0.4568	0.2332
644	Rprec_mult_0.40	0.4435	0.2394
644	Rprec_mult_0.60	0.4147	0.2186
644	Rprec_mult_0.80	0.3881	0.1924
644	Rprec_mult_1.00	0.3607	0.1649
644	Rprec_mult_1.20	0.3300	0.1378
644	Rprec_mult_1.40	0.3042	0.1213
644	Rprec_mult_1.60	0.2811	0.1073
644	Rprec_mult_1.80	0.2636	0.0945
644	Rprec_mult_2.00	0.2479	0.0850
644	binG	0.1985	0.0739
644	bpref	0.3049	0.1614
644	infAP	0.2960	0.1530
644	iprec_at_recall_0.00	0.8074	0.2675
644	iprec_at_recall_0.10	0.5407	0.2613
644	iprec_at_recall_0.20	0.4756	0.2561
644	iprec_at_recall_0.30	0.4519	0.2546
644	iprec_at_recall_0.40	0.4085	0.2385
644	iprec_at_recall_0.50	0.3601	0.2191
644	iprec_at_recall_0.60	0.2345	0.1697
644	iprec_at_recall_0.70	0.1554	0.1178
644	iprec_at_recall_0.80	0.1010	0.0846
644	iprec_at_recall_0.90	0.0260	0.0468
644	iprec_at_recall_1.00	0.0000	0.0000
644	map	0.2960	0.1530
644	map_cut_10	0.0604	0.0450
644	map_cut_100	0.2446	0.1520
644	map_cut_1000	0.2960	0.1530
644	map_cut_15	0.0833	0.0622
644	map_cut_20	0.1068	0.0813
644	map_cut_200	0.2738	0.1555
644	map_cut_30	0.1462	0.1136
644	map_cut_5	0.0372	0.0259
644	map_cut_500	0.2919	0.1532
644	ndcg	0.5927	0.1286
644	ndcg_cut_10	0.3362	0.1833
644	ndcg_cut_100	0.4462	0.1603
644	ndcg_cut_1000	0.5927	0.1286
644	ndcg_cut_15	0.3339	0.1710
644	ndcg_cut_20	0.3550	0.1797
644	ndcg_cut_200	0.5111	0.1508
644	ndcg_cut_30	0.3792	0.1857
644	ndcg_cut_5	0.3571	0.2209
644	ndcg_cut_500	0.5711	0.1314
644	ndcg_rel	0.4782	0.1227
644	num_nonrel_judged_ret	402.1182	132.3926
644	num_rel	56.0000	0.0000
644	num_rel_ret	45.6091	7.7625
644	num_ret	914.4455	245.5197
644	prefs_avgjg	0.7289	0.1271
644	prefs_avgjg_Rnonrel	0.0529	0.0096
644	prefs_avgjg_Rnonrel_ret	0.1133	0.0803
644	prefs_avgjg_imp	0.8264	0.0746
644	prefs_avgjg_ret	0.7516	0.1057
644	prefs_num_prefs_ful	37284.1818	6500.1207
644	prefs_num_prefs_ful_ret	15233.5636	6872.2686
644	prefs_num_prefs_poss	51152.0000	0.0000
644	prefs_pair	0.7289	0.1271
644	prefs_pair_imp	0.8264	0.0746
644	prefs_pair_ret	0.7516	0.1057
644	prefs_simp	0.7289	0.1271
644	prefs_simp_imp	0.8264	0.0746
644	prefs_simp_ret	0.7516	0.1057
644	recall_10	0.0825	0.0425
644	recall_100	0.4729	0.1708
644	recall_1000	0.8144	0.1386
644	recall_15	0.1208	0.0630
644	recall_20	0.1602	0.0854
644	recall_200	0.6058	0.1658
644	recall_30	0.2286	0.1231
644	recall_5	0.0458	0.0246
644	recall_500	0.7521	0.1373
644	recip_rank	0.7424	0.3359
644	relative_P_10	0.4618	0.2382
644	relative_P_100	0.4729	0.1708
644	relative_P_1000	0.8144	0.1386
644	relative_P_15	0.4509	0.2351
644	relative_P_20	0.4486	0.2392
644	relative_P_200	0.6058	0.1658
644	relative_P_30	0.4267	0.2298
644	relative_P_5	0.5127	0.2757
644	relative_P_500	0.7521	0.1373
644	set_F	0.1078	0.0681
644	set_P	0.0626	0.0657
644	set_map	0.0477	0.0359
644	set_recall	0.8144	0.1386
644	set_relative_P	0.8144	0.1386
644	success_1	0.6091	0.4880
644	success_10	0.9909	0.0949
644	success_5	0.9000	0.3000
644	utility	-823.2273	234.9626
645	11pt_avg	0.5741	0.1322
645	G	0.3758	0.0986
645	P_10	0.8045	0.2033
645	P_100	0.2249	0.0464
645	P_1000	0.0268	0.0043
645	P_15	0.7333	0.1825
645	P_20	0.6527	0.1553
645	P_200	0.1204	0.0212
645	P_30	0.5467	0.1290
645	P_5	0.8582	0.2197
645	P_500	0.0521	0.0084
645	Rndcg	0.7398	0.1569
645	Rprec	0.5571	0.1317
645	Rprec_mult_0.20	0.8439	0.2228
645	Rprec_mult_0.40	0.7826	0.1982
645	Rprec_mult_0.60	0.6778	0.1631
645	Rprec_mult_0.80	0.6148	0.1423
645	Rprec_mult_1.00	0.5571	0.1317
645	Rprec_mult_1.20	0.5052	0.1187
645	Rprec_mult_1.40	0.4623	0.1095
645	Rprec_mult_1.60	0.4197	0.1007
645	Rprec_mult_1.80	0.3825	0.0901
645	Rprec_mult_2.00	0.3558	0.0815
645	binG	0.4149	0.1101
645	bpref	0.5527	0.1267
645	infAP	0.5742	0.1448
645	iprec_at_recall_0.00	0.9668	0.1351
645	iprec_at_recall_0.10	0.9119	0.2144
645	iprec_at_recall_0.20	0.8755	0.2182
645	iprec_at_recall_0.30	0.8312	0.2090
645	iprec_at_recall_0.40	0.7582	0.2068
645	iprec_at_recall_0.50	0.6589	0.1754
645	iprec_at_recall_0.60	0.5544	0.1613
645	iprec_at_recall_0.70	0.4346	0.1455
645	iprec_at_recall_0.80	0.1934	0.1459
645	iprec_at_recall_0.90	0.1125	0.1025
645	iprec_at_recall_1.00	0.0182	0.0518
645	map	0.5742	0.1448
645	map_cut_10	0.2566	0.0801
645	map_cut_100	0.5584	0.1449
645	map_cut_1000	0.5742	0.1448
645	map_cut_15	0.3410	0.1040
645	map_cut_20	0.3923	0.1124
645	map_cut_200	0.5673	0.1442
645	map_cut_30	0.4674	0.1282
645	map_cut_5	0.1408	0.0452
645	map_cut_500	0.5732	0.1450
645	ndcg	0.8236	0.1487
645	ndcg_cut_10	0.7390	0.1811
645	ndcg_cut_100	0.7834	0.1544
645	ndcg_cut_1000	0.8236	0.1487
645	ndcg_cut_15	0.7240	0.1750
645	ndcg_cut_20	0.7097	0.1639
645	ndcg_cut_200	0.8006	0.1475
645	ndcg_cut_30	0.6843	0.1541
645	ndcg_cut_5	0.8023	0.2103
645	ndcg_cut_500	0.8182	0.1486
645	ndcg_rel	0.7746	0.1563
645	num_nonrel_judged_ret	436.7455	133.2633
645	num_rel	29.0000	0.0000
645	num_rel_ret	26.7545	4.2559
645	num_ret	914.2909	246.3465
645	prefs_avgjg	0.8833	0.1400
645	prefs_avgjg_Rnonrel	0.0369	0.0046
645	prefs_avgjg_Rnonrel_ret	0.0878	0.0900
645	prefs_avgjg_imp	0.9308	0.0529
645	prefs_avgjg_ret	0.8880	0.0987
645	prefs_num_prefs_ful	23900.7273	3789.4346
645	prefs_num_prefs_ful_ret	11227.2636	3797.1403
645	prefs_num_prefs_poss	27058.0000	0.0000
645	prefs_pair	0.8833	0.1400
645	prefs_pair_imp	0.9308	0.0529
645	prefs_pair_ret	0.8880	0.0987
645	prefs_simp	0.8833	0.1400
645	prefs_simp_imp	0.9308	0.0529
645	prefs_simp_ret	0.8880	0.0987
645	recall_10	0.2774	0.0701
645	recall_100	0.7755	0.1600
645	recall_1000	0.9226	0.1468
645	recall_15	0.3793	0.0944
645	recall_20	0.4502	0.1071
645	recall_200	0.8304	0.1462
645	recall_30	0.5655	0.1335
645	recall_5	0.1479	0.0379
645	recall_500	0.8981	0.1448
645	recip_rank	0.9425	0.1868
645	relative_P_10	0.8045	0.2033
645	relative_P_100	0.7755	0.1600
645	relative_P_1000	0.9226	0.1468
645	relative_P_15	0.7333	0.1825
645	relative_P_20	0.6527	0.1553
645	relative_P_200	0.8304	0.1462
645	relative_P_30	0.5655	0.1335
645	relative_P_5	0.8582	0.2197
645	relative_P_500	0.8981	0.1448
645	set_F	0.0711	0.0858
645	set_P	0.0418	0.0787
645	set_map	0.0363	0.0590
645	set_recall	0.9226	0.1468
645	set_relative_P	0.9226	0.1468
645	success_1	0.9091	0.2875
645	success_10	0.9909	0.0949
645	success_5	0.9909	0.0949
645	utility	-860.7818	239.7194
646	11pt_avg	0.3245	0.1125
646	G	0.3166	0.1039
646	P_10	0.2673	0.1199
646	P_100	0.0827	0.0177
646	P_1000	0.0093	0.0016
646	P_15	0.2418	0.0847
646	P_20	0.2223	0.0666
646	P_200	0.0436	0.0092
646	P_30	0.1894	0.0579
646	P_5	0.3400	0.2064
646	P_500	0.0184	0.0035
646	Rndcg	0.4392	0.1912
646	Rprec	0.2673	0.1199
646	Rprec_mult_0.20	0.3909	0.3953
646	Rprec_mult_0.40	0.3682	0.2516
646	Rprec_mult_0.60	0.3182	0.1777
646	Rprec_mult_0.80	0.2920	0.1413
646	Rprec_mult_1.00	0.2673	0.1199
646	Rprec_mult_1.20	0.2576	0.0964
646	Rprec_mult_1.40	0.2481	0.0849
646	Rprec_mult_1.60	0.2341	0.0819
646	Rprec_mult_1.80	0.2328	0.0728
646	Rprec_mult_2.00	0.2223	0.0666
646	binG	0.2969	0.0760
646	bpref	0.2139	0.1134
646	infAP	0.2765	0.1000
646	iprec_at_recall_0.00	0.6349	0.3144
646	iprec_at_recall_0.10	0.6349	0.3144
646	iprec_at_recall_0.20	0.5340	0.2958
646	iprec_at_recall_0.30	0.4561	0.2466
646	iprec_at_recall_0.40	0.3137	0.1503
646	iprec_at_recall_0.50	0.2612	0.1274
646	iprec_at_recall_0.60	0.2279	0.1130
646	iprec_at_recall_0.70	0.2025	0.0962
646	iprec_at_recall_0.80	0.1621	0.0873
646	iprec_at_recall_0.90	0.1057	0.0616
646	iprec_at_recall_1.00	0.0364	0.0320
646	map	0.2765	0.1000
646	map_cut_10	0.1544	0.1101
646	map_cut_100	0.2719	0.0998
646	map_cut_1000	0.2765	0.1000
646	map_cut_15	0.1821	0.1098
646	map_cut_20	0.2034	0.1087
646	map_cut_200	0.2748	0.0998
646	map_cut_30	0.2334	0.1067
646	map_cut_5	0.1183	0.1018
646	map_cut_500	0.2764	0.1000
646	ndcg	0.5937	0.1387
646	ndcg_cut_10	0.3571	0.1851
646	ndcg_cut_100	0.5740	0.1409
646	ndcg_cut_1000	0.5937	0.1387
646	ndcg_cut_15	0.4110	0.1743
646	ndcg_cut_20	0.4473	0.1654
646	ndcg_cut_200	0.5831	0.1420
646	ndcg_cut_30	0.4985	0.1571
646	ndcg_cut_5	0.3684	0.2498
646	ndcg_cut_500	0.5918	0.1392
646	ndcg_rel	0.5113	0.1835
646	num_nonrel_judged_ret	301.8000	99.0216
646	num_rel	10.0000	0.0000
646	num_rel_ret	9.3091	1.5594
646	num_ret	931.8182	215.6098
646	prefs_avgjg	0.8930	0.1477
646	prefs_avgjg_Rnonrel	0.0098	0.0014
646	prefs_avgjg_Rnonrel_ret	0.0328	0.0286
646	prefs_avgjg_imp	0.9434	0.0472
646	prefs_avgjg_ret	0.8635	0.1068
646	prefs_num_prefs_ful	7755.1000	1282.3352
646	prefs_num_prefs_ful_ret	2616.4455	1028.2659
646	prefs_num_prefs_poss	8684.0000	0.0000
646	prefs_pair	0.8930	0.1477
646	prefs_pair_imp	0.9434	0.0472
646	prefs_pair_ret	0.8635	0.1068
646	prefs_simp	0.8930	0.1477
646	prefs_simp_imp	0.9434	0.0472
646	prefs_simp_ret	0.8635	0.1068
646	recall_10	0.2673	0.1199
646	recall_100	0.8273	0.1768
646	recall_1000	0.9309	0.1559
646	recall_15	0.3627	0.1271
646	recall_20	0.4445	0.1332
646	recall_200	0.8727	0.1843
646	recall_30	0.5682	0.1737
646	recall_5	0.1700	0.1032
646	recall_500	0.9191	0.1735
646	recip_rank	0.5752	0.3519
646	relative_P_10	0.2673	0.1199
646	relative_P_100	0.8273	0.1768
646	relative_P_1000	0.9309	0.1559
646	relative_P_15	0.3627	0.1271
646	relative_P_20	0.4445	0.1332
646	relative_P_200	0.8727	0.1843
646	relative_P_30	0.5682	0.1737
646	relative_P_5	0.3400	0.2064
646	relative_P_500	0.9191	0.1735
646	set_F	0.0227	0.0139
646	set_P	0.0116	0.0073
646	set_map	0.0109	0.0066
646	set_recall	0.9309	0.1559
646	set_relative_P	0.9309	0.1559
646	success_1	0.3818	0.4858
646	success_10	0.9636	0.1872
646	success_5	0.8727	0.3333
646	utility	-913.2000	214.9933
647	11pt_avg	0.3173	0.1307
647	G	0.2041	0.0676
647	P_10	0.5964	0.1612
647	P_100	0.1451	0.0577
647	P_1000	0.0222	0.0081
647	P_15	0.5249	0.1755
647	P_20	0.4618	0.1578
647	P_200	0.0829	0.0328
647	P_30	0.3652	0.1237
647	P_5	0.7255	0.1846
647	P_500	0.0402	0.0156
647	Rndcg	0.5079	0.1249
647	Rprec	0.3430	0.1196
647	Rprec_mult_0.20	0.6636	0.1853
647	Rprec_mult_0.40	0.5299	0.1702
647	Rprec_mult_0.60	0.4618	0.1578
647	Rprec_mult_0.80	0.3919	0.1336
647	Rprec_mult_1.00	0.3430	0.1196
647	Rprec_mult_1.20	0.3007	0.1060
647	Rprec_mult_1.40	0.2667	0.0977
647	Rprec_mult_1.60	0.2429	0.0920
647	Rprec_mult_1.80	0.2215	0.0866
647	Rprec_mult_2.00	0.2044	0.0804
647	binG	0.2369	0.0891
647	bpref	0.3036	0.1184
647	infAP	0.2918	0.1377
647	iprec_at_recall_0.00	0.9705	0.1095
647	iprec_at_recall_0.10	0.7734	0.2229
647	iprec_at_recall_0.20	0.5772	0.2786
647	iprec_at_recall_0.30	0.4850	0.2805
647	iprec_at_recall_0.40	0.2351	0.2377
647	iprec_at_recall_0.50	0.1665	0.2131
647	iprec_at_recall_0.60	0.1328	0.1890
647	iprec_at_recall_0.70	0.0872	0.1339
647	iprec_at_recall_0.80	0.0407	0.0633
647	iprec_at_recall_0.90	0.0192	0.0327
647	iprec_at_recall_1.00	0.0030	0.0133
647	map	0.2918	0.1377
647	map_cut_10	0.1535	0.0559
647	map_cut_100	0.2738	0.1310
647	map_cut_1000	0.2918	0.1377
647	map_cut_15	0.1915	0.0794
647	map_cut_20	0.2151	0.0933
647	map_cut_200	0.2821	0.1342
647	map_cut_30	0.2397	0.1067
647	map_cut_5	0.1015	0.0334
647	map_cut_500	0.2897	0.1372
647	ndcg	0.5750	0.1608
647	ndcg_cut_10	0.5153	0.1127
647	ndcg_cut_100	0.4862	0.1419
647	ndcg_cut_1000	0.5750	0.1608
647	ndcg_cut_15	0.5057	0.1246
647	ndcg_cut_20	0.4861	0.1241
647	ndcg_cut_200	0.5145	0.1502
647	ndcg_cut_30	0.4453	0.1188
647	ndcg_cut_5	0.6146	0.1449
647	ndcg_cut_500	0.5557	0.1605
647	ndcg_rel	0.5519	0.1325
647	num_nonrel_judged_ret	441.8182	143.5964
647	num_rel	33.0000	0.0000
647	num_rel_ret	22.1636	8.0685
647	num_ret	913.9273	247.6540
647	prefs_avgjg	0.6201	0.2229
647	prefs_avgjg_Rnonrel	0.0242	0.0040
647	prefs_avgjg_Rnonrel_ret	0.0545	0.0502
647	prefs_avgjg_imp	0.7901	0.0961
647	prefs_avgjg_ret	0.8087	0.0892
647	prefs_num_prefs_ful	24239.3545	8713.7826
647	prefs_num_prefs_ful_ret	8839.7818	4621.6979
647	prefs_num_prefs_poss	39090.0000	0.0000
647	prefs_pair	0.6201	0.2229
647	prefs_pair_imp	0.7901	0.0961
647	prefs_pair_ret	0.8087	0.0892
647	prefs_simp	0.6201	0.2229
647	prefs_simp_imp	0.7901	0.0961
647	prefs_simp_ret	0.8087	0.0892
647	recall_10	0.1807	0.0488
647	recall_100	0.4397	0.1750
647	recall_1000	0.6716	0.2445
647	recall_15	0.2385	0.0798
647	recall_20	0.2799	0.0956
647	recall_200	0.5022	0.1990
647	recall_30	0.3319	0.1125
647	recall_5	0.1099	0.0280
647	recall_500	0.6094	0.2371
647	recip_rank	0.9598	0.1455
647	relative_P_10	0.5964	0.1612
647	relative_P_100	0.4397	0.1750
647	relative_P_1000	0.6716	0.2445
647	relative_P_15	0.5249	0.1755
647	relative_P_20	0.4618	0.1578
647	relative_P_200	0.5022	0.1990
647	relative_P_30	0.3652	0.1237
647	relative_P_5	0.7255	0.1846
647	relative_P_500	0.6094	0.2371
647	set_F	0.0502	0.0290
647	set_P	0.0306	0.0473
647	set_map	0.0184	0.0115
647	set_recall	0.6716	0.2445
647	set_relative_P	0.6751	0.2388
647	success_1	0.9273	0.2597
647	success_10	1.0000	0.0000
647	success_5	1.0000	0.0000
647	utility	-869.6000	236.9900
648	11pt_avg	0.2939	0.2340
648	G	0.1676	0.1122
648	P_10	0.5573	0.3862
648	P_100	0.2105	0.1447
648	P_1000	0.0344	0.0167
648	P_15	0.5309	0.3651
648	P_20	0.4955	0.3504
648	P_200	0.1264	0.0789
648	P_30	0.4239	0.3119
648	P_5	0.5873	0.4137
648	P_500	0.0610	0.0340
648	Rndcg	0.4366	0.2812
648	Rprec	0.2984	0.2163
648	Rprec_mult_0.20	0.5455	0.3758
648	Rprec_mult_0.40	0.4711	0.3366
648	Rprec_mult_0.60	0.3953	0.2906
648	Rprec_mult_0.80	0.3372	0.2497
648	Rprec_mult_1.00	0.2984	0.2163
648	Rprec_mult_1.20	0.2660	0.1918
648	Rprec_mult_1.40	0.2439	0.1733
648	Rprec_mult_1.60	0.2228	0.1545
648	Rprec_mult_1.80	0.2071	0.1422
648	Rprec_mult_2.00	0.1915	0.1303
648	binG	0.2086	0.1595
648	bpref	0.2904	0.2258
648	infAP	0.2795	0.2404
648	iprec_at_recall_0.00	0.6898	0.4140
648	iprec_at_recall_0.10	0.6149	0.3965
648	iprec_at_recall_0.20	0.5055	0.3818
648	iprec_at_recall_0.30	0.4099	0.3832
648	iprec_at_recall_0.40	0.3408	0.3669
648	iprec_at_recall_0.50	0.2693	0.3126
648	iprec_at_recall_0.60	0.1884	0.2385
648	iprec_at_recall_0.70	0.1164	0.1789
648	iprec_at_recall_0.80	0.0655	0.1176
648	iprec_at_recall_0.90	0.0292	0.0660
648	iprec_at_recall_1.00	0.0038	0.0174
648	map	0.2795	0.2404
648	map_cut_10	0.0870	0.0685
648	map_cut_100	0.2515	0.2239
648	map_cut_1000	0.2795	0.2404
648	map_cut_15	0.1207	0.0963
648	map_cut_20	0.1481	0.1241
648	map_cut_200	0.2666	0.2343
648	map_cut_30	0.1848	0.1632
648	map_cut_5	0.0473	0.0374
648	map_cut_500	0.2764	0.2397
648	ndcg	0.5235	0.2900
648	ndcg_cut_10	0.4880	0.3550
648	ndcg_cut_100	0.4195	0.2844
648	ndcg_cut_1000	0.5235	0.2900
648	ndcg_cut_15	0.4748	0.3359
648	ndcg_cut_20	0.4529	0.3241
648	ndcg_cut_200	0.4582	0.2927
648	ndcg_cut_30	0.4083	0.2938
648	ndcg_cut_5	0.4929	0.3775
648	ndcg_cut_500	0.4982	0.2973
648	ndcg_rel	0.4882	0.2770
648	num_nonrel_judged_ret	340.6636	113.0076
648	num_rel	57.0000	0.0000
648	num_rel_ret	34.3727	16.7059
648	num_ret	931.8182	215.6098
648	prefs_avgjg	0.5797	0.2887
648	prefs_avgjg_Rnonrel	0.0249	0.0074
648	prefs_avgjg_Rnonrel_ret	0.1028	0.0686
648	prefs_avgjg_imp	0.8138	0.1878
648	prefs_avgjg_ret	0.7021	0.1834
648	prefs_num_prefs_ful	68210.8091	33967.7657
648	prefs_num_prefs_ful_ret	9765.6636	6897.5381
648	prefs_num_prefs_poss	117662.0000	0.0000
648	prefs_pair	0.5797	0.2887
648	prefs_pair_imp	0.8138	0.1878
648	prefs_pair_ret	0.7021	0.1834
648	prefs_simp	0.5797	0.2887
648	prefs_simp_imp	0.8138	0.1878
648	prefs_simp_ret	0.7021	0.1834
648	recall_10	0.0978	0.0678
648	recall_100	0.3692	0.2538
648	recall_1000	0.6030	0.2931
648	recall_15	0.1397	0.0961
648	recall_20	0.1738	0.1229
648	recall_200	0.4434	0.2768
648	recall_30	0.2231	0.1641
648	recall_5	0.0515	0.0363
648	recall_500	0.5352	0.2979
648	recip_rank	0.6453	0.4328
648	relative_P_10	0.5573	0.3862
648	relative_P_100	0.3692	0.2538
648	relative_P_1000	0.6030	0.2931
648	relative_P_15	0.5309	0.3651
648	relative_P_20	0.4955	0.3504
648	relative_P_200	0.4434	0.2768
648	relative_P_30	0.4239	0.3119
648	relative_P_5	0.5873	0.4137
648	relative_P_500	0.5352	0.2979
648	set_F	0.0719	0.0327
648	set_P	0.0388	0.0185
648	set_map	0.0270	0.0180
648	set_recall	0.6030	0.2931
648	set_relative_P	0.6030	0.2931
648	success_1	0.5818	0.4933
648	success_10	0.7636	0.4248
648	success_5	0.7273	0.4454
648	utility	-863.0727	206.5794
649	11pt_avg	0.5878	0.0933
649	G	0.4328	0.1005
649	P_10	0.8882	0.1628
649	P_100	0.2764	0.0327
649	P_1000	0.0348	0.0027
649	P_15	0.8370	0.1329
649	P_20	0.7700	0.1081
649	P_200	0.1542	0.0170
649	P_30	0.6345	0.0859
649	P_5	0.9182	0.1815
649	P_500	0.0674	0.0061
649	Rndcg	0.7486	0.0831
649	Rprec	0.5678	0.0715
649	Rprec_mult_0.20	0.9034	0.1683
649	Rprec_mult_0.40	0.8370	0.1329
649	Rprec_mult_0.60	0.7198	0.0996
649	Rprec_mult_0.80	0.6345	0.0859
649	Rprec_mult_1.00	0.5678	0.0715
649	Rprec_mult_1.20	0.5032	0.0571
649	Rprec_mult_1.40	0.4559	0.0521
649	Rprec_mult_1.60	0.4105	0.0488
649	Rprec_mult_1.80	0.3764	0.0453
649	Rprec_mult_2.00	0.3494	0.0419
649	binG	0.4328	0.1005
649	bpref	0.5537	0.0791
649	infAP	0.5877	0.1073
649	iprec_at_recall_0.00	0.9675	0.0957
649	iprec_at_recall_0.10	0.9591	0.1100
649	iprec_at_recall_0.20	0.9245	0.1263
649	iprec_at_recall_0.30	0.8922	0.1307
649	iprec_at_recall_0.40	0.8094	0.1449
649	iprec_at_recall_0.50	0.6618	0.1421
649	iprec_at_recall_0.60	0.5203	0.1632
649	iprec_at_recall_0.70	0.3625	0.1618
649	iprec_at_recall_0.80	0.2275	0.1498
649	iprec_at_recall_0.90	0.1129	0.1018
649	iprec_at_recall_1.00	0.0279	0.0463
649	map	0.5877	0.1073
649	map_cut_10	0.2288	0.0612
649	map_cut_100	0.5589	0.1036
649	map_cut_1000	0.5877	0.1073
649	map_cut_15	0.3165	0.0787
649	map_cut_20	0.3792	0.0893
649	map_cut_200	0.5774	0.1080
649	map_cut_30	0.4494	0.1021
649	map_cut_5	0.1197	0.0333
649	map_cut_500	0.5864	0.1080
649	ndcg	0.8452	0.0797
649	ndcg_cut_10	0.8943	0.1711
649	ndcg_cut_100	0.7588	0.0823
649	ndcg_cut_1000	0.8452	0.0797
649	ndcg_cut_15	0.8587	0.1427
649	ndcg_cut_20	0.8103	0.1236
649	ndcg_cut_200	0.8014	0.0885
649	ndcg_cut_30	0.7070	0.1018
649	ndcg_cut_5	0.9124	0.1980
649	ndcg_cut_500	0.8348	0.0848
649	ndcg_rel	0.8214	0.1088
649	num_nonrel_judged_ret	317.1273	91.8932
649	num_rel	37.0000	0.0000
649	num_rel_ret	34.7545	2.7342
649	num_ret	915.4727	242.2521
649	prefs_avgjg	0.8759	0.0651
649	prefs_avgjg_Rnonrel	0.0579	0.0044
649	prefs_avgjg_Rnonrel_ret	0.1210	0.0669
649	prefs_avgjg_imp	0.9098	0.0364
649	prefs_avgjg_ret	0.8621	0.0605
649	prefs_num_prefs_ful	20352.3455	1512.0872
649	prefs_num_prefs_ful_ret	9720.7636	3177.9471
649	prefs_num_prefs_poss	23236.0000	0.0000
649	prefs_pair	0.8759	0.0651
649	prefs_pair_imp	0.9098	0.0364
649	prefs_pair_ret	0.8621	0.0605
649	prefs_simp	0.8759	0.0651
649	prefs_simp_imp	0.9098	0.0364
649	prefs_simp_ret	0.8621	0.0605
649	recall_10	0.2401	0.0440
649	recall_100	0.7469	0.0883
649	recall_1000	0.9393	0.0739
649	recall_15	0.3393	0.0539
649	recall_20	0.4162	0.0585
649	recall_200	0.8337	0.0921
649	recall_30	0.5145	0.0696
649	recall_5	0.1241	0.0245
649	recall_500	0.9113	0.0823
649	recip_rank	0.9280	0.1912
649	relative_P_10	0.8882	0.1628
649	relative_P_100	0.7469	0.0883
649	relative_P_1000	0.9393	0.0739
649	relative_P_15	0.8370	0.1329
649	relative_P_20	0.7700	0.1081
649	relative_P_200	0.8337	0.0921
649	relative_P_30	0.6345	0.0859
649	relative_P_5	0.9182	0.1815
649	relative_P_500	0.9113	0.0823
649	set_F	0.0877	0.0655
649	set_P	0.0479	0.0444
649	set_map	0.0437	0.0377
649	set_recall	0.9393	0.0739
649	set_relative_P	0.9393	0.0739
649	success_1	0.8727	0.3333
649	success_10	1.0000	0.0000
649	success_5	1.0000	0.0000
649	utility	-845.9636	238.6420
650	11pt_avg	0.1838	0.1218
650	G	0.1582	0.0432
650	P_10	0.2627	0.2097
650	P_100	0.1441	0.0524
650	P_1000	0.0286	0.0062
650	P_15	0.2521	0.1758
650	P_20	0.2418	0.1557
650	P_200	0.1005	0.0274
650	P_30	0.2191	0.1303
650	P_5	0.2509	0.2756
650	P_500	0.0522	0.0119
650	Rndcg	0.2871	0.1237
650	Rprec	0.2078	0.1229
650	Rprec_mult_0.20	0.2598	0.2528
650	Rprec_mult_0.40	0.2546	0.1801
650	Rprec_mult_0.60	0.2420	0.1552
650	Rprec_mult_0.80	0.2256	0.1340
650	Rprec_mult_1.00	0.2078	0.1229
650	Rprec_mult_1.20	0.1929	0.1083
650	Rprec_mult_1.40	0.1824	0.0960
650	Rprec_mult_1.60	0.1759	0.0866
650	Rprec_mult_1.80	0.1714	0.0786
650	Rprec_mult_2.00	0.1660	0.0728
650	binG	0.1716	0.0750
650	bpref	0.1520	0.1169
650	infAP	0.1650	0.1235
650	iprec_at_recall_0.00	0.4950	0.2867
650	iprec_at_recall_0.10	0.3310	0.2426
650	iprec_at_recall_0.20	0.2733	0.2349
650	iprec_at_recall_0.30	0.2289	0.1865
650	iprec_at_recall_0.40	0.2003	0.1703
650	iprec_at_recall_0.50	0.1695	0.1331
650	iprec_at_recall_0.60	0.1281	0.1113
650	iprec_at_recall_0.70	0.0936	0.0683
650	iprec_at_recall_0.80	0.0604	0.0490
650	iprec_at_recall_0.90	0.0314	0.0395
650	iprec_at_recall_1.00	0.0104	0.0241
650	map	0.1650	0.1235
650	map_cut_10	0.0424	0.0636
650	map_cut_100	0.1268	0.1233
650	map_cut_1000	0.1650	0.1235
650	map_cut_15	0.0549	0.0775
650	map_cut_20	0.0655	0.0906
650	map_cut_200	0.1479	0.1242
650	map_cut_30	0.0816	0.1043
650	map_cut_5	0.0251	0.0392
650	map_cut_500	0.1619	0.1242
650	ndcg	0.4836	0.1214
650	ndcg_cut_10	0.2202	0.1491
650	ndcg_cut_100	0.3271	0.1253
650	ndcg_cut_1000	0.4836	0.1214
650	ndcg_cut_15	0.2269	0.1367
650	ndcg_cut_20	0.2269	0.1296
650	ndcg_cut_200	0.3979	0.1237
650	ndcg_cut_30	0.2201	0.1186
650	ndcg_cut_5	0.1874	0.1738
650	ndcg_cut_500	0.4609	0.1229
650	ndcg_rel	0.3570	0.0997
650	num_nonrel_judged_ret	407.3636	115.1845
650	num_rel	34.0000	0.0000
650	num_rel_ret	28.6182	6.2202
650	num_ret	915.0545	243.6734
650	prefs_avgjg	0.7252	0.1544
650	prefs_avgjg_Rnonrel	0.0263	0.0042
650	prefs_avgjg_Rnonrel_ret	0.0469	0.0103
650	prefs_avgjg_imp	0.8036	0.0601
650	prefs_avgjg_ret	0.7053	0.1058
650	prefs_num_prefs_ful	21001.9000	4471.3029
650	prefs_num_prefs_ful_ret	8992.6909	3893.9902
650	prefs_num_prefs_poss	28959.0000	0.0000
650	prefs_pair	0.7252	0.1544
650	prefs_pair_imp	0.8036	0.0601
650	prefs_pair_ret	0.7053	0.1058
650	prefs_simp	0.7252	0.1544
650	prefs_simp_imp	0.8036	0.0601
650	prefs_simp_ret	0.7053	0.1058
650	recall_10	0.0773	0.0617
650	recall_100	0.4238	0.1540
650	recall_1000	0.8417	0.1830
650	recall_15	0.1112	0.0776
650	recall_20	0.1422	0.0916
650	recall_200	0.5914	0.1614
650	recall_30	0.1933	0.1150
650	recall_5	0.0369	0.0405
650	recall_500	0.7674	0.1756
650	recip_rank	0.4280	0.3186
650	relative_P_10	0.2627	0.2097
650	relative_P_100	0.4238	0.1540
650	relative_P_1000	0.8417	0.1830
650	relative_P_15	0.2521	0.1758
650	relative_P_20	0.2418	0.1557
650	relative_P_200	0.5914	0.1614
650	relative_P_30	0.2191	0.1303
650	relative_P_5	0.2509	0.2756
650	relative_P_500	0.7674	0.1756
650	set_F	0.0652	0.0223
650	set_P	0.0346	0.0138
650	set_map	0.0281	0.0077
650	set_recall	0.8417	0.1830
650	set_relative_P	0.8417	0.1830
650	success_1	0.2000	0.4000
650	success_10	0.9455	0.2271
650	success_5	0.6909	0.4621
650	utility	-857.8182	234.6314
651	11pt_avg	0.1157	0.1017
651	G	0.0982	0.0502
651	P_10	0.1827	0.1634
651	P_100	0.1004	0.0717
651	P_1000	0.0238	0.0095
651	P_15	0.1715	0.1527
651	P_20	0.1541	0.1314
651	P_200	0.0682	0.0455
651	P_30	0.1418	0.1138
651	P_5	0.2091	0.1876
651	P_500	0.0374	0.0198
651	Rndcg	0.1854	0.1129
651	Rprec	0.1388	0.1059
651	Rprec_mult_0.20	0.1898	0.1749
651	Rprec_mult_0.40	0.1665	0.1492
651	Rprec_mult_0.60	0.1510	0.1270
651	Rprec_mult_0.80	0.1431	0.1132
651	Rprec_mult_1.00	0.1388	0.1059
651	Rprec_mult_1.20	0.1289	0.1003
651	Rprec_mult_1.40	0.1246	0.0948
651	Rprec_mult_1.60	0.1227	0.0920
651	Rprec_mult_1.80	0.1156	0.0856
651	Rprec_mult_2.00	0.1124	0.0829
651	binG	0.1137	0.0601
651	bpref	0.0983	0.0886
651	infAP	0.0946	0.0954
651	iprec_at_recall_0.00	0.4638	0.3609
651	iprec_at_recall_0.10	0.2086	0.1869
651	iprec_at_recall_0.20	0.1497	0.1556
651	iprec_at_recall_0.30	0.1179	0.1386
651	iprec_at_recall_0.40	0.0959	0.1153
651	iprec_at_recall_0.50	0.0816	0.1015
651	iprec_at_recall_0.60	0.0629	0.0841
651	iprec_at_recall_0.70	0.0452	0.0756
651	iprec_at_recall_0.80	0.0297	0.0553
651	iprec_at_recall_0.90	0.0151	0.0319
651	iprec_at_recall_1.00	0.0022	0.0105
651	map	0.0946	0.0954
651	map_cut_10	0.0246	0.0297
651	map_cut_100	0.0717	0.0803
651	map_cut_1000	0.0946	0.0954
651	map_cut_15	0.0313	0.0386
651	map_cut_20	0.0350	0.0426
651	map_cut_200	0.0831	0.0912
651	map_cut_30	0.0427	0.0519
651	map_cut_5	0.0165	0.0197
651	map_cut_500	0.0906	0.0957
651	ndcg	0.3223	0.1613
651	ndcg_cut_10	0.1139	0.1015
651	ndcg_cut_100	0.1892	0.1423
651	ndcg_cut_1000	0.3223	0.1613
651	ndcg_cut_15	0.1196	0.1036
651	ndcg_cut_20	0.1195	0.1008
651	ndcg_cut_200	0.2280	0.1622
651	ndcg_cut_30	0.1223	0.1004
651	ndcg_cut_5	0.1121	0.1098
651	ndcg_cut_500	0.2760	0.1702
651	ndcg_rel	0.2437	0.1079
651	num_nonrel_judged_ret	393.0000	103.4402
651	num_rel	38.0000	0.0000
651	num_rel_ret	23.7636	9.4781
651	num_ret	931.8182	215.6098
651	prefs_avgjg	0.5074	0.2304
651	prefs_avgjg_Rnonrel	0.0276	0.0045
651	prefs_avgjg_Rnonrel_ret	0.0375	0.0189
651	prefs_avgjg_imp	0.6209	0.1723
651	prefs_avgjg_ret	0.5849	0.1534
651	prefs_num_prefs_ful	15979.9455	7256.2944
651	prefs_num_prefs_ful_ret	6305.7182	4084.8181
651	prefs_num_prefs_poss	31491.0000	0.0000
651	prefs_pair	0.5074	0.2304
651	prefs_pair_imp	0.6209	0.1723
651	prefs_pair_ret	0.5849	0.1534
651	prefs_simp	0.5074	0.2304
651	prefs_simp_imp	0.6209	0.1723
651	prefs_simp_ret	0.5849	0.1534
651	recall_10	0.0481	0.0430
651	recall_100	0.2641	0.1886
651	recall_1000	0.6254	0.2494
651	recall_15	0.0677	0.0603
651	recall_20	0.0811	0.0692
651	recall_200	0.3591	0.2394
651	recall_30	0.1120	0.0899
651	recall_5	0.0275	0.0247
651	recall_500	0.4916	0.2606
651	recip_rank	0.4214	0.3707
651	relative_P_10	0.1827	0.1634
651	relative_P_100	0.2641	0.1886
651	relative_P_1000	0.6254	0.2494
651	relative_P_15	0.1715	0.1527
651	relative_P_20	0.1541	0.1314
651	relative_P_200	0.3591	0.2394
651	relative_P_30	0.1418	0.1138
651	relative_P_5	0.2091	0.1876
651	relative_P_500	0.4916	0.2606
651	set_F	0.0496	0.0168
651	set_P	0.0260	0.0090
651	set_map	0.0178	0.0109
651	set_recall	0.6254	0.2494
651	set_relative_P	0.6254	0.2494
651	success_1	0.2636	0.4406
651	success_10	0.7545	0.4304
651	success_5	0.6909	0.4621
651	utility	-884.2909	206.4693
652	11pt_avg	0.2804	0.1859
652	G	0.1480	0.0991
652	P_10	0.5482	0.3272
652	P_100	0.2684	0.1669
652	P_1000	0.0376	0.0203
652	P_15	0.4988	0.3028
652	P_20	0.4818	0.2850
652	P_200	0.1509	0.0911
652	P_30	0.4494	0.2648
652	P_5	0.6182	0.3374
652	P_500	0.0684	0.0379
652	Rndcg	0.4331	0.2311
652	Rprec	0.3319	0.2010
652	Rprec_mult_0.20	0.4988	0.3028
652	Rprec_mult_0.40	0.4494	0.2648
652	Rprec_mult_0.60	0.4145	0.2431
652	Rprec_mult_0.80	0.3768	0.2274
652	Rprec_mult_1.00	0.3319	0.2010
652	Rprec_mult_1.20	0.2923	0.1799
652	Rprec_mult_1.40	0.2610	0.1633
652	Rprec_mult_1.60	0.2353	0.1482
652	Rprec_mult_1.80	0.2143	0.1344
652	Rprec_mult_2.00	0.1968	0.1223
652	binG	0.1579	0.1025
652	bpref	0.2931	0.1980
652	infAP	0.2559	0.1949
652	iprec_at_recall_0.00	0.8202	0.3210
652	iprec_at_recall_0.10	0.5550	0.3563
652	iprec_at_recall_0.20	0.4893	0.3241
652	iprec_at_recall_0.30	0.4024	0.2960
652	iprec_at_recall_0.40	0.3227	0.3000
652	iprec_at_recall_0.50	0.2828	0.2812
652	iprec_at_recall_0.60	0.0678	0.1688
652	iprec_at_recall_0.70	0.0542	0.1584
652	iprec_at_recall_0.80	0.0445	0.1497
652	iprec_at_recall_0.90	0.0351	0.1363
652	iprec_at_recall_1.00	0.0106	0.0477
652	map	0.2559	0.1949
652	map_cut_10	0.0637	0.0445
652	map_cut_100	0.2338	0.1807
652	map_cut_1000	0.2559	0.1949
652	map_cut_15	0.0838	0.0611
652	map_cut_20	0.1030	0.0757
652	map_cut_200	0.2468	0.1919
652	map_cut_30	0.1357	0.0983
652	map_cut_5	0.0374	0.0236
652	map_cut_500	0.2530	0.1937
652	ndcg	0.4839	0.2528
652	ndcg_cut_10	0.5793	0.3191
652	ndcg_cut_100	0.4172	0.2318
652	ndcg_cut_1000	0.4839	0.2528
652	ndcg_cut_15	0.5381	0.3024
652	ndcg_cut_20	0.5188	0.2880
652	ndcg_cut_200	0.4403	0.2405
652	ndcg_cut_30	0.4825	0.2661
652	ndcg_cut_5	0.6364	0.3332
652	ndcg_cut_500	0.4648	0.2444
652	ndcg_rel	0.4894	0.2508
652	num_nonrel_judged_ret	275.6182	90.1120
652	num_rel	74.0000	0.0000
652	num_rel_ret	37.6455	20.2635
652	num_ret	913.6727	248.5822
652	prefs_avgjg	0.4595	0.2530
652	prefs_avgjg_Rnonrel	0.0891	0.0264
652	prefs_avgjg_Rnonrel_ret	0.1293	0.0872
652	prefs_avgjg_imp	0.5981	0.2533
652	prefs_avgjg_ret	0.7210	0.2027
652	prefs_num_prefs_ful	22028.7091	12127.5566
652	prefs_num_prefs_ful_ret	8896.4818	5505.0943
652	prefs_num_prefs_poss	47941.0000	0.0000
652	prefs_pair	0.4595	0.2530
652	prefs_pair_imp	0.5981	0.2533
652	prefs_pair_ret	0.7210	0.2027
652	prefs_simp	0.4595	0.2530
652	prefs_simp_imp	0.5981	0.2533
652	prefs_simp_ret	0.7210	0.2027
652	recall_10	0.0741	0.0442
652	recall_100	0.3626	0.2255
652	recall_1000	0.5087	0.2738
652	recall_15	0.1011	0.0614
652	recall_20	0.1302	0.0770
652	recall_200	0.4079	0.2461
652	recall_30	0.1822	0.1073
652	recall_5	0.0418	0.0228
652	recall_500	0.4623	0.2564
652	recip_rank	0.7905	0.3408
652	relative_P_10	0.5482	0.3272
652	relative_P_100	0.3626	0.2255
652	relative_P_1000	0.5087	0.2738
652	relative_P_15	0.4988	0.3028
652	relative_P_20	0.4818	0.2850
652	relative_P_200	0.4079	0.2461
652	relative_P_30	0.4494	0.2648
652	relative_P_5	0.6182	0.3374
652	relative_P_500	0.4623	0.2564
652	set_F	0.0763	0.0403
652	set_P	0.0595	0.1301
652	set_map	0.0264	0.0195
652	set_recall	0.5087	0.2738
652	set_relative_P	0.5264	0.2736
652	success_1	0.7000	0.4583
652	success_10	0.8909	0.3118
652	success_5	0.8727	0.3333
652	utility	-838.3818	233.0032
653	11pt_avg	0.5673	0.1400
653	G	0.2039	0.0495
653	P_10	0.6518	0.1746
653	P_100	0.5316	0.1157
653	P_1000	0.0695	0.0155
653	P_15	0.6370	0.1465
653	P_20	0.6309	0.1288
653	P_200	0.3315	0.0765
653	P_30	0.6097	0.1280
653	P_5	0.6782	0.2458
653	P_500	0.1375	0.0310
653	Rndcg	0.6295	0.1321
653	Rprec	0.5527	0.1220
653	Rprec_mult_0.20	0.6370	0.1465
653	Rprec_mult_0.40	0.6097	0.1280
653	Rprec_mult_0.60	0.5859	0.1223
653	Rprec_mult_0.80	0.5627	0.1239
653	Rprec_mult_1.00	0.5527	0.1220
653	Rprec_mult_1.20	0.5464	0.1181
653	Rprec_mult_1.40	0.5229	0.1141
653	Rprec_mult_1.60	0.4899	0.1108
653	Rprec_mult_1.80	0.4626	0.1060
653	Rprec_mult_2.00	0.4285	0.0992
653	binG	0.2473	0.0591
653	bpref	0.5701	0.1351
653	infAP	0.5478	0.1469
653	iprec_at_recall_0.00	0.9275	0.1413
653	iprec_at_recall_0.10	0.7354	0.1480
653	iprec_at_recall_0.20	0.6498	0.1719
653	iprec_at_recall_0.30	0.6202	0.1650
653	iprec_at_recall_0.40	0.5942	0.1574
653	iprec_at_recall_0.50	0.5717	0.1582
653	iprec_at_recall_0.60	0.5401	0.1988
653	iprec_at_recall_0.70	0.5238	0.1937
653	iprec_at_recall_0.80	0.4877	0.1878
653	iprec_at_recall_0.90	0.4154	0.1866
653	iprec_at_recall_1.00	0.1749	0.1355
653	map	0.5478	0.1469
653	map_cut_10	0.0690	0.0288
653	map_cut_100	0.4501	0.1226
653	map_cut_1000	0.5478	0.1469
653	map_cut_15	0.0965	0.0353
653	map_cut_20	0.1237	0.0410
653	map_cut_200	0.5392	0.1466
653	map_cut_30	0.1729	0.0534
653	map_cut_5	0.0391	0.0183
653	map_cut_500	0.5468	0.1471
653	ndcg	0.7863	0.1615
653	ndcg_cut_10	0.5728	0.1920
653	ndcg_cut_100	0.6721	0.1404
653	ndcg_cut_1000	0.7863	0.1615
653	ndcg_cut_15	0.5667	0.1649
653	ndcg_cut_20	0.5635	0.1457
653	ndcg_cut_200	0.7668	0.1609
653	ndcg_cut_30	0.5525	0.1334
653	ndcg_cut_5	0.5870	0.2419
653	ndcg_cut_500	0.7820	0.1617
653	ndcg_rel	0.6217	0.1300
653	num_nonrel_judged_ret	114.0000	26.9018
653	num_rel	75.0000	0.0000
653	num_rel_ret	69.4636	15.5398
653	num_ret	914.0000	247.3907
653	prefs_avgjg	0.7029	0.1576
653	prefs_avgjg_Rnonrel	0.3930	0.0778
653	prefs_avgjg_Rnonrel_ret	0.4164	0.0632
653	prefs_avgjg_imp	0.7342	0.0792
653	prefs_avgjg_ret	0.7216	0.0803
653	prefs_num_prefs_ful	7755.7727	1738.8749
653	prefs_num_prefs_ful_ret	6875.3909	2182.4171
653	prefs_num_prefs_poss	11034.0000	0.0000
653	prefs_pair	0.7029	0.1576
653	prefs_pair_imp	0.7342	0.0792
653	prefs_pair_ret	0.7216	0.0803
653	prefs_simp	0.7029	0.1576
653	prefs_simp_imp	0.7342	0.0792
653	prefs_simp_ret	0.7216	0.0803
653	recall_10	0.0869	0.0233
653	recall_100	0.7089	0.1543
653	recall_1000	0.9262	0.2072
653	recall_15	0.1274	0.0293
653	recall_20	0.1682	0.0343
653	recall_200	0.8841	0.2039
653	recall_30	0.2439	0.0512
653	recall_5	0.0452	0.0164
653	recall_500	0.9166	0.2065
653	recip_rank	0.8399	0.2824
653	relative_P_10	0.6518	0.1746
653	relative_P_100	0.7089	0.1543
653	relative_P_1000	0.9262	0.2072
653	relative_P_15	0.6370	0.1465
653	relative_P_20	0.6309	0.1288
653	relative_P_200	0.8841	0.2039
653	relative_P_30	0.6097	0.1280
653	relative_P_5	0.6782	0.2458
653	relative_P_500	0.9166	0.2065
653	set_F	0.1462	0.0403
653	set_P	0.0904	0.0866
653	set_map	0.0744	0.0155
653	set_recall	0.9262	0.2072
653	set_relative_P	0.9355	0.1839
653	success_1	0.7455	0.4356
653	success_10	1.0000	0.0000
653	success_5	0.9545	0.2083
653	utility	-775.0727	218.4605
654	11pt_avg	0.2938	0.1785
654	G	0.1993	0.1035
654	P_10	0.5500	0.3210
654	P_100	0.2288	0.1143
654	P_1000	0.0403	0.0123
654	P_15	0.4806	0.2896
654	P_20	0.4450	0.2695
654	P_200	0.1479	0.0621
654	P_30	0.3976	0.2386
654	P_5	0.6109	0.3616
654	P_500	0.0719	0.0247
654	Rndcg	0.4766	0.1938
654	Rprec	0.3077	0.1690
654	Rprec_mult_0.20	0.5144	0.3122
654	Rprec_mult_0.40	0.4312	0.2625
654	Rprec_mult_0.60	0.3745	0.2218
654	Rprec_mult_0.80	0.3332	0.1897
654	Rprec_mult_1.00	0.3077	0.1690
654	Rprec_mult_1.20	0.2780	0.1503
654	Rprec_mult_1.40	0.2593	0.1359
654	Rprec_mult_1.60	0.2414	0.1227
654	Rprec_mult_1.80	0.2248	0.1107
654	Rprec_mult_2.00	0.2129	0.1030
654	binG	0.1993	0.1035
654	bpref	0.2663	0.1785
654	infAP	0.2705	0.1903
654	iprec_at_recall_0.00	0.8379	0.3210
654	iprec_at_recall_0.10	0.6245	0.3384
654	iprec_at_recall_0.20	0.4587	0.3039
654	iprec_at_recall_0.30	0.3846	0.2868
654	iprec_at_recall_0.40	0.3011	0.2587
654	iprec_at_recall_0.50	0.2326	0.2157
654	iprec_at_recall_0.60	0.1755	0.1912
654	iprec_at_recall_0.70	0.1095	0.1638
654	iprec_at_recall_0.80	0.0601	0.1307
654	iprec_at_recall_0.90	0.0401	0.1031
654	iprec_at_recall_1.00	0.0074	0.0313
654	map	0.2705	0.1903
654	map_cut_10	0.0846	0.0586
654	map_cut_100	0.2301	0.1815
654	map_cut_1000	0.2705	0.1903
654	map_cut_15	0.1063	0.0781
654	map_cut_20	0.1255	0.0953
654	map_cut_200	0.2539	0.1909
654	map_cut_30	0.1563	0.1244
654	map_cut_5	0.0505	0.0327
654	map_cut_500	0.2663	0.1909
654	ndcg	0.5837	0.2014
654	ndcg_cut_10	0.5921	0.3257
654	ndcg_cut_100	0.4301	0.2111
654	ndcg_cut_1000	0.5837	0.2014
654	ndcg_cut_15	0.5357	0.2994
654	ndcg_cut_20	0.5028	0.2817
654	ndcg_cut_200	0.4966	0.2164
654	ndcg_cut_30	0.4566	0.2541
654	ndcg_cut_5	0.6462	0.3573
654	ndcg_cut_500	0.5514	0.2084
654	ndcg_rel	0.5407	0.2053
654	num_nonrel_judged_ret	302.1636	89.0839
654	num_rel	57.0000	0.0000
654	num_rel_ret	40.2636	12.3168
654	num_ret	913.7091	248.4490
654	prefs_avgjg	0.6364	0.2043
654	prefs_avgjg_Rnonrel	0.0485	0.0128
654	prefs_avgjg_Rnonrel_ret	0.0980	0.0461
654	prefs_avgjg_imp	0.7636	0.1477
654	prefs_avgjg_ret	0.7037	0.1741
654	prefs_num_prefs_ful	29890.7818	9593.2556
654	prefs_num_prefs_ful_ret	9439.3364	4669.7699
654	prefs_num_prefs_poss	46968.0000	0.0000
654	prefs_pair	0.6364	0.2043
654	prefs_pair_imp	0.7636	0.1477
654	prefs_pair_ret	0.7037	0.1741
654	prefs_simp	0.6364	0.2043
654	prefs_simp_imp	0.7636	0.1477
654	prefs_simp_ret	0.7037	0.1741
654	recall_10	0.0965	0.0563
654	recall_100	0.4014	0.2006
654	recall_1000	0.7064	0.2161
654	recall_15	0.1265	0.0762
654	recall_20	0.1561	0.0946
654	recall_200	0.5190	0.2178
654	recall_30	0.2092	0.1256
654	recall_5	0.0536	0.0317
654	recall_500	0.6308	0.2168
654	recip_rank	0.8177	0.3530
654	relative_P_10	0.5500	0.3210
654	relative_P_100	0.4014	0.2006
654	relative_P_1000	0.7064	0.2161
654	relative_P_15	0.4806	0.2896
654	relative_P_20	0.4450	0.2695
654	relative_P_200	0.5190	0.2178
654	relative_P_30	0.3976	0.2386
654	relative_P_5	0.6109	0.3616
654	relative_P_500	0.6308	0.2168
654	set_F	   nan	   nan
654	set_P	0.0454	0.0150
654	set_map	0.0329	0.0139
654	set_recall	0.7064	0.2161
654	set_relative_P	0.7064	0.2161
654	success_1	0.7818	0.4130
654	success_10	0.9091	0.2875
654	success_5	0.8455	0.3615
654	utility	-833.1818	231.4967
655	11pt_avg	0.3411	0.2724
655	G	0.3493	0.2592
655	P_10	0.2418	0.1988
655	P_100	0.0352	0.0231
655	P_1000	0.0048	0.0021
655	P_15	0.1721	0.1355
655	P_20	0.1368	0.1059
655	P_200	0.0201	0.0113
655	P_30	0.0973	0.0715
655	P_5	0.4145	0.3451
655	P_500	0.0090	0.0043
655	Rndcg	0.4638	0.3178
655	Rprec	0.3195	0.2612
655	Rprec_mult_0.20	0.5545	0.4175
655	Rprec_mult_0.40	0.4939	0.3860
655	Rprec_mult_0.60	0.4145	0.3451
655	Rprec_mult_0.80	0.3576	0.2903
655	Rprec_mult_1.00	0.3195	0.2612
655	Rprec_mult_1.20	0.2646	0.2166
655	Rprec_mult_1.40	0.2418	0.1988
655	Rprec_mult_1.60	0.2098	0.1692
655	Rprec_mult_1.80	0.1965	0.1558
655	Rprec_mult_2.00	0.1825	0.1447
655	binG	0.3452	0.2532
655	bpref	0.3089	0.2676
655	infAP	0.3237	0.2788
655	iprec_at_recall_0.00	0.6954	0.4309
655	iprec_at_recall_0.10	0.6954	0.4309
655	iprec_at_recall_0.20	0.5434	0.4394
655	iprec_at_recall_0.30	0.5434	0.4394
655	iprec_at_recall_0.40	0.4014	0.4258
655	iprec_at_recall_0.50	0.3089	0.3976
655	iprec_at_recall_0.60	0.2094	0.3430
655	iprec_at_recall_0.70	0.2094	0.3430
655	iprec_at_recall_0.80	0.1145	0.2189
655	iprec_at_recall_0.90	0.0156	0.0343
655	iprec_at_recall_1.00	0.0156	0.0343
655	map	0.3237	0.2788
655	map_cut_10	0.2982	0.2672
655	map_cut_100	0.3205	0.2787
655	map_cut_1000	0.3237	0.2788
655	map_cut_15	0.3051	0.2715
655	map_cut_20	0.3103	0.2751
655	map_cut_200	0.3225	0.2790
655	map_cut_30	0.3141	0.2753
655	map_cut_5	0.2715	0.2428
655	map_cut_500	0.3234	0.2789
655	ndcg	0.5236	0.3061
655	ndcg_cut_10	0.4278	0.3193
655	ndcg_cut_100	0.4844	0.3244
655	ndcg_cut_1000	0.5236	0.3061
655	ndcg_cut_15	0.4380	0.3188
655	ndcg_cut_20	0.4477	0.3226
655	ndcg_cut_200	0.5020	0.3176
655	ndcg_cut_30	0.4575	0.3219
655	ndcg_cut_5	0.4513	0.3431
655	ndcg_cut_500	0.5172	0.3090
655	ndcg_rel	0.5364	0.3144
655	num_nonrel_judged_ret	359.3455	129.0828
655	num_rel	7.0000	0.0000
655	num_rel_ret	4.7727	2.1263
655	num_ret	931.7727	215.7536
655	prefs_avgjg	0.6353	0.2987
655	prefs_avgjg_Rnonrel	0.0066	0.0022
655	prefs_avgjg_Rnonrel_ret	0.0143	0.0107
655	prefs_avgjg_imp	0.7687	0.2039
655	prefs_avgjg_ret	0.7939	0.1837
655	prefs_num_prefs_ful	4223.2909	1985.9725
655	prefs_num_prefs_ful_ret	1534.6545	1055.4848
655	prefs_num_prefs_poss	6648.0000	0.0000
655	prefs_pair	0.6353	0.2987
655	prefs_pair_imp	0.7687	0.2039
655	prefs_pair_ret	0.7939	0.1837
655	prefs_simp	0.6353	0.2987
655	prefs_simp_imp	0.7687	0.2039
655	prefs_simp_ret	0.7939	0.1837
655	recall_10	0.3455	0.2840
655	recall_100	0.5026	0.3307
655	recall_1000	0.6818	0.3037
655	recall_15	0.3688	0.2905
655	recall_20	0.3909	0.3025
655	recall_200	0.5753	0.3232
655	recall_30	0.4169	0.3065
655	recall_5	0.2961	0.2465
655	recall_500	0.6428	0.3068
655	recip_rank	0.6873	0.4348
655	relative_P_10	0.3455	0.2840
655	relative_P_100	0.5026	0.3307
655	relative_P_1000	0.6818	0.3037
655	relative_P_15	0.3688	0.2905
655	relative_P_20	0.3909	0.3025
655	relative_P_200	0.5753	0.3232
655	relative_P_30	0.4169	0.3065
655	relative_P_5	0.4145	0.3451
655	relative_P_500	0.6428	0.3068
655	set_F	0.0114	0.0079
655	set_P	0.0058	0.0041
655	set_map	0.0045	0.0038
655	set_recall	0.6818	0.3037
655	set_relative_P	0.6818	0.3037
655	success_1	0.6455	0.4784
655	success_10	0.7455	0.4356
655	success_5	0.7273	0.4454
655	utility	-922.2273	215.0527
656	11pt_avg	0.4404	0.1757
656	G	0.1953	0.0625
656	P_10	0.8655	0.1791
656	P_100	0.4751	0.1636
656	P_1000	0.0836	0.0228
656	P_15	0.8364	0.1859
656	P_20	0.7968	0.1920
656	P_200	0.3111	0.1010
656	P_30	0.7430	0.2053
656	P_5	0.9182	0.1602
656	P_500	0.1507	0.0450
656	Rndcg	0.6149	0.1562
656	Rprec	0.4511	0.1556
656	Rprec_mult_0.20	0.7822	0.1933
656	Rprec_mult_0.40	0.6543	0.2020
656	Rprec_mult_0.60	0.5619	0.1844
656	Rprec_mult_0.80	0.5019	0.1722
656	Rprec_mult_1.00	0.4511	0.1556
656	Rprec_mult_1.20	0.4050	0.1377
656	Rprec_mult_1.40	0.3688	0.1236
656	Rprec_mult_1.60	0.3373	0.1111
656	Rprec_mult_1.80	0.3111	0.1010
656	Rprec_mult_2.00	0.2879	0.0926
656	binG	0.2427	0.0873
656	bpref	0.4390	0.1705
656	infAP	0.4310	0.1889
656	iprec_at_recall_0.00	0.9768	0.1126
656	iprec_at_recall_0.10	0.8507	0.2122
656	iprec_at_recall_0.20	0.7188	0.2632
656	iprec_at_recall_0.30	0.6160	0.2760
656	iprec_at_recall_0.40	0.4926	0.2934
656	iprec_at_recall_0.50	0.4051	0.2795
656	iprec_at_recall_0.60	0.3304	0.2663
656	iprec_at_recall_0.70	0.2524	0.2349
656	iprec_at_recall_0.80	0.1414	0.1738
656	iprec_at_recall_0.90	0.0600	0.1151
656	iprec_at_recall_1.00	0.0000	0.0000
656	map	0.4310	0.1889
656	map_cut_10	0.0748	0.0186
656	map_cut_100	0.3356	0.1527
656	map_cut_1000	0.4310	0.1889
656	map_cut_15	0.1065	0.0286
656	map_cut_20	0.1334	0.0390
656	map_cut_200	0.3933	0.1793
656	map_cut_30	0.1818	0.0620
656	map_cut_5	0.0405	0.0088
656	map_cut_500	0.4223	0.1882
656	ndcg	0.7120	0.1694
656	ndcg_cut_10	0.7914	0.1547
656	ndcg_cut_100	0.5579	0.1557
656	ndcg_cut_1000	0.7120	0.1694
656	ndcg_cut_15	0.7720	0.1584
656	ndcg_cut_20	0.7468	0.1637
656	ndcg_cut_200	0.6165	0.1663
656	ndcg_cut_30	0.7060	0.1727
656	ndcg_cut_5	0.7988	0.1452
656	ndcg_cut_500	0.6792	0.1714
656	ndcg_rel	0.6695	0.1446
656	num_nonrel_judged_ret	215.2727	58.3087
656	num_rel	111.0000	0.0000
656	num_rel_ret	83.6182	22.7600
656	num_ret	931.8091	215.6070
656	prefs_avgjg	0.6601	0.1870
656	prefs_avgjg_Rnonrel	0.1927	0.0365
656	prefs_avgjg_Rnonrel_ret	0.3158	0.0894
656	prefs_avgjg_imp	0.7643	0.1094
656	prefs_avgjg_ret	0.7137	0.0992
656	prefs_num_prefs_ful	37936.9000	10746.8512
656	prefs_num_prefs_ful_ret	15035.4000	6635.2037
656	prefs_num_prefs_poss	57470.0000	0.0000
656	prefs_pair	0.6601	0.1870
656	prefs_pair_imp	0.7643	0.1094
656	prefs_pair_ret	0.7137	0.0992
656	prefs_simp	0.6601	0.1870
656	prefs_simp_imp	0.7643	0.1094
656	prefs_simp_ret	0.7137	0.0992
656	recall_10	0.0780	0.0161
656	recall_100	0.4280	0.1474
656	recall_1000	0.7533	0.2050
656	recall_15	0.1130	0.0251
656	recall_20	0.1436	0.0346
656	recall_200	0.5606	0.1819
656	recall_30	0.2008	0.0555
656	recall_5	0.0413	0.0072
656	recall_500	0.6790	0.2025
656	recip_rank	0.9637	0.1461
656	relative_P_10	0.8655	0.1791
656	relative_P_100	0.4751	0.1636
656	relative_P_1000	0.7533	0.2050
656	relative_P_15	0.8364	0.1859
656	relative_P_20	0.7968	0.1920
656	relative_P_200	0.5606	0.1819
656	relative_P_30	0.7430	0.2053
656	relative_P_5	0.9182	0.1602
656	relative_P_500	0.6790	0.2025
656	set_F	0.1649	0.0415
656	set_P	0.0951	0.0309
656	set_map	0.0722	0.0257
656	set_recall	0.7533	0.2050
656	set_relative_P	0.7533	0.2050
656	success_1	0.9364	0.2441
656	success_10	0.9909	0.0949
656	success_5	0.9909	0.0949
656	utility	-764.5727	193.0343
657	11pt_avg	0.4278	0.1070
657	G	0.4753	0.1216
657	P_10	0.5673	0.1396
657	P_100	0.0971	0.0221
657	P_1000	0.0136	0.0025
657	P_15	0.4127	0.1027
657	P_20	0.3368	0.0836
657	P_200	0.0565	0.0130
657	P_30	0.2373	0.0577
657	P_5	0.8600	0.2081
657	P_500	0.0257	0.0052
657	Rndcg	0.7009	0.1264
657	Rprec	0.3949	0.0983
657	Rprec_mult_0.20	0.9023	0.1997
657	Rprec_mult_0.40	0.7389	0.1963
657	Rprec_mult_0.60	0.5673	0.1396
657	Rprec_mult_0.80	0.4622	0.1110
657	Rprec_mult_1.00	0.3949	0.0983
657	Rprec_mult_1.20	0.3368	0.0836
657	Rprec_mult_1.40	0.2972	0.0726
657	Rprec_mult_1.60	0.2682	0.0645
657	Rprec_mult_1.80	0.2442	0.0599
657	Rprec_mult_2.00	0.2247	0.0547
657	binG	0.4080	0.1011
657	bpref	0.3788	0.0981
657	infAP	0.4121	0.1136
657	iprec_at_recall_0.00	0.9841	0.1064
657	iprec_at_recall_0.10	0.9677	0.1312
657	iprec_at_recall_0.20	0.8943	0.2268
657	iprec_at_recall_0.30	0.7890	0.3180
657	iprec_at_recall_0.40	0.4955	0.3118
657	iprec_at_recall_0.50	0.2960	0.2053
657	iprec_at_recall_0.60	0.1224	0.0987
657	iprec_at_recall_0.70	0.0612	0.0554
657	iprec_at_recall_0.80	0.0534	0.0535
657	iprec_at_recall_0.90	0.0265	0.0416
657	iprec_at_recall_1.00	0.0157	0.0334
657	map	0.4121	0.1136
657	map_cut_10	0.3351	0.0966
657	map_cut_100	0.3987	0.1096
657	map_cut_1000	0.4121	0.1136
657	map_cut_15	0.3523	0.1018
657	map_cut_20	0.3664	0.1047
657	map_cut_200	0.4071	0.1128
657	map_cut_30	0.3736	0.1053
657	map_cut_5	0.2644	0.0720
657	map_cut_500	0.4111	0.1136
657	ndcg	0.7649	0.1189
657	ndcg_cut_10	0.6977	0.1401
657	ndcg_cut_100	0.7058	0.1169
657	ndcg_cut_1000	0.7649	0.1189
657	ndcg_cut_15	0.6306	0.1233
657	ndcg_cut_20	0.6356	0.1195
657	ndcg_cut_200	0.7319	0.1216
657	ndcg_cut_30	0.6470	0.1188
657	ndcg_cut_5	0.8900	0.1791
657	ndcg_cut_500	0.7542	0.1213
657	ndcg_rel	0.7934	0.1214
657	num_nonrel_judged_ret	359.0818	101.0078
657	num_rel	16.0000	0.0000
657	num_rel_ret	13.6455	2.4812
657	num_ret	924.2182	220.3867
657	prefs_avgjg	0.7722	0.1356
657	prefs_avgjg_Rnonrel	0.0230	0.0024
657	prefs_avgjg_Rnonrel_ret	0.0418	0.0095
657	prefs_avgjg_imp	0.8453	0.0583
657	prefs_avgjg_ret	0.8094	0.0759
657	prefs_num_prefs_ful	8882.6091	1559.8594
657	prefs_num_prefs_ful_ret	4221.1636	1669.7516
657	prefs_num_prefs_poss	11503.0000	0.0000
657	prefs_pair	0.7722	0.1356
657	prefs_pair_imp	0.8453	0.0583
657	prefs_pair_ret	0.8094	0.0759
657	prefs_simp	0.7722	0.1356
657	prefs_simp_imp	0.8453	0.0583
657	prefs_simp_ret	0.8094	0.0759
657	recall_10	0.3545	0.0872
657	recall_100	0.6068	0.1383
657	recall_1000	0.8528	0.1551
657	recall_15	0.3869	0.0963
657	recall_20	0.4210	0.1045
657	recall_200	0.7068	0.1629
657	recall_30	0.4449	0.1082
657	recall_5	0.2687	0.0650
657	recall_500	0.8023	0.1622
657	recip_rank	0.9804	0.1221
657	relative_P_10	0.5673	0.1396
657	relative_P_100	0.6068	0.1383
657	relative_P_1000	0.8528	0.1551
657	relative_P_15	0.4127	0.1027
657	relative_P_20	0.4210	0.1045
657	relative_P_200	0.7068	0.1629
657	relative_P_30	0.4449	0.1082
657	relative_P_5	0.8600	0.2081
657	relative_P_500	0.8023	0.1622
657	set_F	0.0320	0.0142
657	set_P	0.0164	0.0077
657	set_map	0.0138	0.0052
657	set_recall	0.8528	0.1551
657	set_relative_P	0.8528	0.1551
657	success_1	0.9727	0.1629
657	success_10	0.9909	0.0949
657	success_5	0.9909	0.0949
657	utility	-896.9273	217.5172
658	11pt_avg	0.2093	0.0909
658	G	0.1374	0.0536
658	P_10	0.4455	0.1746
658	P_100	0.1810	0.0649
658	P_1000	0.0377	0.0135
658	P_15	0.4042	0.1591
658	P_20	0.3759	0.1302
658	P_200	0.1140	0.0436
658	P_30	0.3324	0.1057
658	P_5	0.4836	0.2181
658	P_500	0.0613	0.0230
658	Rndcg	0.3831	0.1383
658	Rprec	0.2517	0.0859
658	Rprec_mult_0.20	0.4159	0.1665
658	Rprec_mult_0.40	0.3589	0.1228
658	Rprec_mult_0.60	0.3135	0.1039
658	Rprec_mult_0.80	0.2810	0.0944
658	Rprec_mult_1.00	0.2517	0.0859
658	Rprec_mult_1.20	0.2279	0.0812
658	Rprec_mult_1.40	0.2094	0.0744
658	Rprec_mult_1.60	0.1927	0.0685
658	Rprec_mult_1.80	0.1775	0.0637
658	Rprec_mult_2.00	0.1660	0.0615
658	binG	0.1459	0.0542
658	bpref	0.1984	0.0750
658	infAP	0.1738	0.0948
658	iprec_at_recall_0.00	0.8559	0.2487
658	iprec_at_recall_0.10	0.4724	0.1915
658	iprec_at_recall_0.20	0.3260	0.1901
658	iprec_at_recall_0.30	0.2293	0.1565
658	iprec_at_recall_0.40	0.1467	0.1358
658	iprec_at_recall_0.50	0.1018	0.1044
658	iprec_at_recall_0.60	0.0705	0.0802
658	iprec_at_recall_0.70	0.0512	0.0608
658	iprec_at_recall_0.80	0.0323	0.0496
658	iprec_at_recall_0.90	0.0167	0.0316
658	iprec_at_recall_1.00	0.0000	0.0000
658	map	0.1738	0.0948
658	map_cut_10	0.0545	0.0303
658	map_cut_100	0.1393	0.0768
658	map_cut_1000	0.1738	0.0948
658	map_cut_15	0.0686	0.0406
658	map_cut_20	0.0796	0.0455
658	map_cut_200	0.1537	0.0872
658	map_cut_30	0.0963	0.0510
658	map_cut_5	0.0348	0.0200
658	map_cut_500	0.1670	0.0934
658	ndcg	0.4960	0.1684
658	ndcg_cut_10	0.4042	0.1646
658	ndcg_cut_100	0.3512	0.1374
658	ndcg_cut_1000	0.4960	0.1684
658	ndcg_cut_15	0.3680	0.1576
658	ndcg_cut_20	0.3411	0.1404
658	ndcg_cut_200	0.3927	0.1522
658	ndcg_cut_30	0.3420	0.1358
658	ndcg_cut_5	0.4594	0.2134
658	ndcg_cut_500	0.4520	0.1639
658	ndcg_rel	0.4353	0.1373
658	num_nonrel_judged_ret	337.6727	106.9913
658	num_rel	57.0000	0.0000
658	num_rel_ret	37.6818	13.5458
658	num_ret	914.7909	244.5502
658	prefs_avgjg	0.5149	0.1772
658	prefs_avgjg_Rnonrel	0.0691	0.0107
658	prefs_avgjg_Rnonrel_ret	0.0912	0.0493
658	prefs_avgjg_imp	0.6184	0.1185
658	prefs_avgjg_ret	0.6489	0.1065
658	prefs_num_prefs_ful	17754.6545	6111.1168
658	prefs_num_prefs_ful_ret	9161.2091	5004.6653
658	prefs_num_prefs_poss	34484.0000	0.0000
658	prefs_pair	0.5149	0.1772
658	prefs_pair_imp	0.6184	0.1185
658	prefs_pair_ret	0.6489	0.1065
658	prefs_simp	0.5149	0.1772
658	prefs_simp_imp	0.6184	0.1185
658	prefs_simp_ret	0.6489	0.1065
658	recall_10	0.0781	0.0306
658	recall_100	0.3175	0.1139
658	recall_1000	0.6611	0.2377
658	recall_15	0.1064	0.0419
658	recall_20	0.1319	0.0457
658	recall_200	0.4000	0.1531
658	recall_30	0.1750	0.0556
658	recall_5	0.0424	0.0191
658	recall_500	0.5373	0.2020
658	recip_rank	0.8199	0.3034
658	relative_P_10	0.4455	0.1746
658	relative_P_100	0.3175	0.1139
658	relative_P_1000	0.6611	0.2377
658	relative_P_15	0.4042	0.1591
658	relative_P_20	0.3759	0.1302
658	relative_P_200	0.4000	0.1531
658	relative_P_30	0.3324	0.1057
658	relative_P_5	0.4836	0.2181
658	relative_P_500	0.5373	0.2020
658	set_F	0.0831	0.0502
658	set_P	0.0477	0.0483
658	set_map	0.0319	0.0246
658	set_recall	0.6611	0.2377
658	set_relative_P	0.6611	0.2377
658	success_1	0.7273	0.4454
658	success_10	0.9909	0.0949
658	success_5	0.9273	0.2597
658	utility	-839.4273	229.6221
659	11pt_avg	0.3106	0.1272
659	G	0.3106	0.1177
659	P_10	0.3964	0.1673
659	P_100	0.0971	0.0274
659	P_1000	0.0143	0.0030
659	P_15	0.3206	0.1379
659	P_20	0.2723	0.1030
659	P_200	0.0615	0.0156
659	P_30	0.2155	0.0716
659	P_5	0.5127	0.2420
659	P_500	0.0276	0.0063
659	Rndcg	0.5339	0.2103
659	Rprec	0.3068	0.1312
659	Rprec_mult_0.20	0.5364	0.2756
659	Rprec_mult_0.40	0.4636	0.2058
659	Rprec_mult_0.60	0.3964	0.1673
659	Rprec_mult_0.80	0.3461	0.1473
659	Rprec_mult_1.00	0.3068	0.1312
659	Rprec_mult_1.20	0.2723	0.1030
659	Rprec_mult_1.40	0.2494	0.0939
659	Rprec_mult_1.60	0.2301	0.0827
659	Rprec_mult_1.80	0.2185	0.0734
659	Rprec_mult_2.00	0.2074	0.0680
659	binG	0.2849	0.0947
659	bpref	0.2658	0.1157
659	infAP	0.2858	0.1275
659	iprec_at_recall_0.00	0.8228	0.2915
659	iprec_at_recall_0.10	0.7050	0.3034
659	iprec_at_recall_0.20	0.5257	0.2836
659	iprec_at_recall_0.30	0.4584	0.2613
659	iprec_at_recall_0.40	0.2897	0.1877
659	iprec_at_recall_0.50	0.2333	0.1619
659	iprec_at_recall_0.60	0.1422	0.1022
659	iprec_at_recall_0.70	0.0909	0.0641
659	iprec_at_recall_0.80	0.0679	0.0509
659	iprec_at_recall_0.90	0.0495	0.0397
659	iprec_at_recall_1.00	0.0316	0.0309
659	map	0.2858	0.1275
659	map_cut_10	0.1803	0.1015
659	map_cut_100	0.2670	0.1274
659	map_cut_1000	0.2858	0.1275
659	map_cut_15	0.2041	0.1151
659	map_cut_20	0.2166	0.1170
659	map_cut_200	0.2808	0.1281
659	map_cut_30	0.2331	0.1212
659	map_cut_5	0.1313	0.0834
659	map_cut_500	0.2853	0.1278
659	ndcg	0.6384	0.1671
659	ndcg_cut_10	0.5002	0.2187
659	ndcg_cut_100	0.5645	0.1737
659	ndcg_cut_1000	0.6384	0.1671
659	ndcg_cut_15	0.4517	0.1921
659	ndcg_cut_20	0.4606	0.1809
659	ndcg_cut_200	0.6095	0.1748
659	ndcg_cut_30	0.4909	0.1762
659	ndcg_cut_5	0.5392	0.2735
659	ndcg_cut_500	0.6324	0.1716
659	ndcg_rel	0.5817	0.1867
659	num_nonrel_judged_ret	347.1364	91.1891
659	num_rel	16.0000	0.0000
659	num_rel_ret	14.2545	2.9586
659	num_ret	915.4091	242.3881
659	prefs_avgjg	0.8135	0.1671
659	prefs_avgjg_Rnonrel	0.0183	0.0026
659	prefs_avgjg_Rnonrel_ret	0.0369	0.0150
659	prefs_avgjg_imp	0.8699	0.0846
659	prefs_avgjg_ret	0.8082	0.0910
659	prefs_num_prefs_ful	9702.7818	1993.3356
659	prefs_num_prefs_ful_ret	4258.1000	1612.3423
659	prefs_num_prefs_poss	11927.0000	0.0000
659	prefs_pair	0.8135	0.1671
659	prefs_pair_imp	0.8699	0.0846
659	prefs_pair_ret	0.8082	0.0910
659	prefs_simp	0.8135	0.1671
659	prefs_simp_imp	0.8699	0.0846
659	prefs_simp_ret	0.8082	0.0910
659	recall_10	0.2477	0.1046
659	recall_100	0.6068	0.1715
659	recall_1000	0.8909	0.1849
659	recall_15	0.3006	0.1293
659	recall_20	0.3403	0.1288
659	recall_200	0.7693	0.1956
659	recall_30	0.4040	0.1342
659	recall_5	0.1602	0.0756
659	recall_500	0.8636	0.1955
659	recip_rank	0.7891	0.3302
659	relative_P_10	0.3964	0.1673
659	relative_P_100	0.6068	0.1715
659	relative_P_1000	0.8909	0.1849
659	relative_P_15	0.3206	0.1379
659	relative_P_20	0.3403	0.1288
659	relative_P_200	0.7693	0.1956
659	relative_P_30	0.4040	0.1342
659	relative_P_5	0.5127	0.2420
659	relative_P_500	0.8636	0.1955
659	set_F	0.0338	0.0146
659	set_P	0.0174	0.0083
659	set_map	0.0149	0.0040
659	set_recall	0.8909	0.1849
659	set_relative_P	0.8909	0.1849
659	success_1	0.7000	0.4583
659	success_10	0.9727	0.1629
659	success_5	0.9364	0.2441
659	utility	-886.9000	237.8369
660	11pt_avg	0.5387	0.1395
660	G	0.2904	0.0582
660	P_10	0.7173	0.2169
660	P_100	0.2111	0.0321
660	P_1000	0.0263	0.0025
660	P_15	0.6903	0.1765
660	P_20	0.6423	0.1590
660	P_200	0.1156	0.0107
660	P_30	0.5258	0.1227
660	P_5	0.7473	0.2719
660	P_500	0.0516	0.0049
660	Rndcg	0.6288	0.1442
660	Rprec	0.5464	0.1278
660	Rprec_mult_0.20	0.7439	0.2627
660	Rprec_mult_0.40	0.7129	0.2006
660	Rprec_mult_0.60	0.6695	0.1684
660	Rprec_mult_0.80	0.6119	0.1498
660	Rprec_mult_1.00	0.5464	0.1278
660	Rprec_mult_1.20	0.4845	0.1035
660	Rprec_mult_1.40	0.4316	0.0886
660	Rprec_mult_1.60	0.3972	0.0785
660	Rprec_mult_1.80	0.3629	0.0674
660	Rprec_mult_2.00	0.3372	0.0627
660	binG	0.3752	0.0989
660	bpref	0.5140	0.1356
660	infAP	0.5257	0.1472
660	iprec_at_recall_0.00	0.9238	0.2084
660	iprec_at_recall_0.10	0.8595	0.2167
660	iprec_at_recall_0.20	0.8104	0.2046
660	iprec_at_recall_0.30	0.7642	0.2011
660	iprec_at_recall_0.40	0.7074	0.1938
660	iprec_at_recall_0.50	0.6428	0.1935
660	iprec_at_recall_0.60	0.5464	0.1823
660	iprec_at_recall_0.70	0.3636	0.1545
660	iprec_at_recall_0.80	0.1874	0.1245
660	iprec_at_recall_0.90	0.0778	0.0756
660	iprec_at_recall_1.00	0.0418	0.0417
660	map	0.5257	0.1472
660	map_cut_10	0.2220	0.0900
660	map_cut_100	0.5053	0.1535
660	map_cut_1000	0.5257	0.1472
660	map_cut_15	0.3071	0.1092
660	map_cut_20	0.3702	0.1279
660	map_cut_200	0.5168	0.1479
660	map_cut_30	0.4355	0.1480
660	map_cut_5	0.1229	0.0549
660	map_cut_500	0.5248	0.1474
660	ndcg	0.7467	0.1074
660	ndcg_cut_10	0.5555	0.1830
660	ndcg_cut_100	0.6866	0.1336
660	ndcg_cut_1000	0.7467	0.1074
660	ndcg_cut_15	0.6194	0.1799
660	ndcg_cut_20	0.6294	0.1689
660	ndcg_cut_200	0.7132	0.1128
660	ndcg_cut_30	0.6061	0.1522
660	ndcg_cut_5	0.5410	0.2250
660	ndcg_cut_500	0.7420	0.1085
660	ndcg_rel	0.6484	0.1342
660	num_nonrel_judged_ret	272.9182	74.9314
660	num_rel	28.0000	0.0000
660	num_rel_ret	26.3455	2.4733
660	num_ret	916.7545	238.0583
660	prefs_avgjg	0.8442	0.0732
660	prefs_avgjg_Rnonrel	0.0688	0.0084
660	prefs_avgjg_Rnonrel_ret	0.1091	0.0349
660	prefs_avgjg_imp	0.8749	0.0463
660	prefs_avgjg_ret	0.8373	0.0676
660	prefs_num_prefs_ful	10379.1727	900.2631
660	prefs_num_prefs_ful_ret	6319.8273	2146.5437
660	prefs_num_prefs_poss	12295.0000	0.0000
660	prefs_pair	0.8442	0.0732
660	prefs_pair_imp	0.8749	0.0463
660	prefs_pair_ret	0.8373	0.0676
660	prefs_simp	0.8442	0.0732
660	prefs_simp_imp	0.8749	0.0463
660	prefs_simp_ret	0.8373	0.0676
660	recall_10	0.2562	0.0775
660	recall_100	0.7539	0.1147
660	recall_1000	0.9409	0.0883
660	recall_15	0.3698	0.0946
660	recall_20	0.4588	0.1136
660	recall_200	0.8256	0.0766
660	recall_30	0.5633	0.1315
660	recall_5	0.1335	0.0486
660	recall_500	0.9214	0.0871
660	recip_rank	0.8912	0.2631
660	relative_P_10	0.7173	0.2169
660	relative_P_100	0.7539	0.1147
660	relative_P_1000	0.9409	0.0883
660	relative_P_15	0.6903	0.1765
660	relative_P_20	0.6423	0.1590
660	relative_P_200	0.8256	0.0766
660	relative_P_30	0.5633	0.1315
660	relative_P_5	0.7473	0.2719
660	relative_P_500	0.9214	0.0871
660	set_F	0.0647	0.0367
660	set_P	0.0341	0.0216
660	set_map	0.0310	0.0161
660	set_recall	0.9409	0.0883
660	set_relative_P	0.9409	0.0883
660	success_1	0.8455	0.3615
660	success_10	0.9909	0.0949
660	success_5	0.9455	0.2271
660	utility	-864.0636	234.5535
661	11pt_avg	0.5129	0.1770
661	G	0.2883	0.0961
661	P_10	0.7173	0.2174
661	P_100	0.2329	0.0814
661	P_1000	0.0274	0.0091
661	P_15	0.6764	0.2046
661	P_20	0.6364	0.1972
661	P_200	0.1249	0.0429
661	P_30	0.5612	0.1839
661	P_5	0.8055	0.2551
661	P_500	0.0535	0.0180
661	Rndcg	0.6506	0.1963
661	Rprec	0.5267	0.1790
661	Rprec_mult_0.20	0.7545	0.2407
661	Rprec_mult_0.40	0.6844	0.2073
661	Rprec_mult_0.60	0.6316	0.1980
661	Rprec_mult_0.80	0.5734	0.1829
661	Rprec_mult_1.00	0.5267	0.1790
661	Rprec_mult_1.20	0.4792	0.1708
661	Rprec_mult_1.40	0.4307	0.1550
661	Rprec_mult_1.60	0.3865	0.1384
661	Rprec_mult_1.80	0.3510	0.1249
661	Rprec_mult_2.00	0.3253	0.1149
661	binG	0.3318	0.1096
661	bpref	0.5095	0.1783
661	infAP	0.5078	0.1817
661	iprec_at_recall_0.00	0.9246	0.2595
661	iprec_at_recall_0.10	0.8627	0.2558
661	iprec_at_recall_0.20	0.7785	0.2375
661	iprec_at_recall_0.30	0.6936	0.2396
661	iprec_at_recall_0.40	0.6349	0.2584
661	iprec_at_recall_0.50	0.5593	0.2592
661	iprec_at_recall_0.60	0.4713	0.2520
661	iprec_at_recall_0.70	0.3983	0.2533
661	iprec_at_recall_0.80	0.2131	0.1961
661	iprec_at_recall_0.90	0.0789	0.1135
661	iprec_at_recall_1.00	0.0272	0.0444
661	map	0.5078	0.1817
661	map_cut_10	0.1914	0.0627
661	map_cut_100	0.4922	0.1780
661	map_cut_1000	0.5078	0.1817
661	map_cut_15	0.2589	0.0839
661	map_cut_20	0.3143	0.1015
661	map_cut_200	0.5021	0.1806
661	map_cut_30	0.3962	0.1337
661	map_cut_5	0.1146	0.0390
661	map_cut_500	0.5070	0.1816
661	ndcg	0.7260	0.2219
661	ndcg_cut_10	0.6285	0.1974
661	ndcg_cut_100	0.6874	0.2128
661	ndcg_cut_1000	0.7260	0.2219
661	ndcg_cut_15	0.6593	0.2020
661	ndcg_cut_20	0.6640	0.2010
661	ndcg_cut_200	0.7048	0.2178
661	ndcg_cut_30	0.6373	0.1929
661	ndcg_cut_5	0.6576	0.2158
661	ndcg_cut_500	0.7204	0.2212
661	ndcg_rel	0.6721	0.2001
661	num_nonrel_judged_ret	305.2636	93.0212
661	num_rel	34.0000	0.0000
661	num_rel_ret	27.4455	9.0890
661	num_ret	913.8727	247.6401
661	prefs_avgjg	0.7748	0.2562
661	prefs_avgjg_Rnonrel	0.0445	0.0088
661	prefs_avgjg_Rnonrel_ret	0.1060	0.0681
661	prefs_avgjg_imp	0.8522	0.2293
661	prefs_avgjg_ret	0.8242	0.2335
661	prefs_num_prefs_ful	21840.8727	7222.5748
661	prefs_num_prefs_ful_ret	8259.3273	3563.2566
661	prefs_num_prefs_poss	28190.0000	0.0000
661	prefs_pair	0.7748	0.2562
661	prefs_pair_imp	0.8522	0.2293
661	prefs_pair_ret	0.8242	0.2335
661	prefs_simp	0.7748	0.2562
661	prefs_simp_imp	0.8522	0.2293
661	prefs_simp_ret	0.8242	0.2335
661	recall_10	0.2110	0.0639
661	recall_100	0.6850	0.2395
661	recall_1000	0.8072	0.2673
661	recall_15	0.2984	0.0902
661	recall_20	0.3744	0.1160
661	recall_200	0.7348	0.2526
661	recall_30	0.4952	0.1623
661	recall_5	0.1184	0.0375
661	recall_500	0.7861	0.2644
661	recip_rank	0.9216	0.2644
661	relative_P_10	0.7173	0.2174
661	relative_P_100	0.6850	0.2395
661	relative_P_1000	0.8072	0.2673
661	relative_P_15	0.6764	0.2046
661	relative_P_20	0.6364	0.1972
661	relative_P_200	0.7348	0.2526
661	relative_P_30	0.5612	0.1839
661	relative_P_5	0.8055	0.2551
661	relative_P_500	0.7861	0.2644
661	set_F	   nan	   nan
661	set_P	0.0377	0.0691
661	set_map	0.0284	0.0261
661	set_recall	0.8072	0.2673
661	set_relative_P	0.8101	0.2635
661	success_1	0.9182	0.2741
661	success_10	0.9273	0.2597
661	success_5	0.9273	0.2597
661	utility	-858.9818	231.8490
662	11pt_avg	0.4868	0.2136
662	G	0.2623	0.0984
662	P_10	0.7409	0.2192
662	P_100	0.2160	0.0947
662	P_1000	0.0243	0.0096
662	P_15	0.6630	0.2146
662	P_20	0.6177	0.2261
662	P_200	0.1125	0.0489
662	P_30	0.5297	0.2194
662	P_5	0.8127	0.2228
662	P_500	0.0473	0.0196
662	Rndcg	0.5663	0.1512
662	Rprec	0.4979	0.2129
662	Rprec_mult_0.20	0.7766	0.2132
662	Rprec_mult_0.40	0.6805	0.2138
662	Rprec_mult_0.60	0.6100	0.2273
662	Rprec_mult_0.80	0.5422	0.2202
662	Rprec_mult_1.00	0.4979	0.2129
662	Rprec_mult_1.20	0.4490	0.1979
662	Rprec_mult_1.40	0.4057	0.1827
662	Rprec_mult_1.60	0.3663	0.1651
662	Rprec_mult_1.80	0.3325	0.1485
662	Rprec_mult_2.00	0.3064	0.1364
662	binG	0.3322	0.1514
662	bpref	0.4884	0.2215
662	infAP	0.4784	0.2266
662	iprec_at_recall_0.00	0.9588	0.1392
662	iprec_at_recall_0.10	0.8514	0.2521
662	iprec_at_recall_0.20	0.7534	0.2921
662	iprec_at_recall_0.30	0.5702	0.3749
662	iprec_at_recall_0.40	0.5328	0.3660
662	iprec_at_recall_0.50	0.5065	0.3580
662	iprec_at_recall_0.60	0.4591	0.3384
662	iprec_at_recall_0.70	0.4090	0.3036
662	iprec_at_recall_0.80	0.2674	0.2464
662	iprec_at_recall_0.90	0.0403	0.0723
662	iprec_at_recall_1.00	0.0062	0.0252
662	map	0.4784	0.2266
662	map_cut_10	0.1945	0.0749
662	map_cut_100	0.4702	0.2254
662	map_cut_1000	0.4784	0.2266
662	map_cut_15	0.2546	0.1035
662	map_cut_20	0.3089	0.1370
662	map_cut_200	0.4751	0.2270
662	map_cut_30	0.3826	0.1813
662	map_cut_5	0.1111	0.0405
662	map_cut_500	0.4778	0.2268
662	ndcg	0.6492	0.1967
662	ndcg_cut_10	0.6314	0.1591
662	ndcg_cut_100	0.6206	0.1994
662	ndcg_cut_1000	0.6492	0.1967
662	ndcg_cut_15	0.6224	0.1584
662	ndcg_cut_20	0.6105	0.1663
662	ndcg_cut_200	0.6316	0.2009
662	ndcg_cut_30	0.5680	0.1710
662	ndcg_cut_5	0.5678	0.1567
662	ndcg_cut_500	0.6435	0.1990
662	ndcg_rel	0.5975	0.1612
662	num_nonrel_judged_ret	229.2545	81.3463
662	num_rel	34.0000	0.0000
662	num_rel_ret	24.3182	9.6313
662	num_ret	913.8727	247.8520
662	prefs_avgjg	0.6949	0.2755
662	prefs_avgjg_Rnonrel	0.0402	0.0092
662	prefs_avgjg_Rnonrel_ret	0.1271	0.0878
662	prefs_avgjg_imp	0.8421	0.1914
662	prefs_avgjg_ret	0.8781	0.1349
662	prefs_num_prefs_ful	19698.9545	7810.4464
662	prefs_num_prefs_ful_ret	5443.5545	3160.7798
662	prefs_num_prefs_poss	28347.0000	0.0000
662	prefs_pair	0.6949	0.2755
662	prefs_pair_imp	0.8421	0.1914
662	prefs_pair_ret	0.8781	0.1349
662	prefs_simp	0.6949	0.2755
662	prefs_simp_imp	0.8421	0.1914
662	prefs_simp_ret	0.8781	0.1349
662	recall_10	0.2179	0.0645
662	recall_100	0.6353	0.2785
662	recall_1000	0.7152	0.2833
662	recall_15	0.2925	0.0947
662	recall_20	0.3634	0.1330
662	recall_200	0.6618	0.2879
662	recall_30	0.4674	0.1936
662	recall_5	0.1195	0.0328
662	recall_500	0.6963	0.2877
662	recip_rank	0.9227	0.2092
662	relative_P_10	0.7409	0.2192
662	relative_P_100	0.6353	0.2785
662	relative_P_1000	0.7152	0.2833
662	relative_P_15	0.6630	0.2146
662	relative_P_20	0.6177	0.2261
662	relative_P_200	0.6618	0.2879
662	relative_P_30	0.5297	0.2194
662	relative_P_5	0.8127	0.2228
662	relative_P_500	0.6963	0.2877
662	set_F	   nan	   nan
662	set_P	0.0384	0.0618
662	set_map	0.0259	0.0203
662	set_recall	0.7152	0.2833
662	set_relative_P	0.7204	0.2759
662	success_1	0.8727	0.3333
662	success_10	0.9909	0.0949
662	success_5	0.9818	0.1336
662	utility	-865.2364	244.3172
663	11pt_avg	0.6526	0.1465
663	G	0.4078	0.1096
663	P_10	0.8264	0.1506
663	P_100	0.1864	0.0353
663	P_1000	0.0202	0.0025
663	P_15	0.7067	0.1278
663	P_20	0.6277	0.1177
663	P_200	0.0969	0.0150
663	P_30	0.5188	0.1030
663	P_5	0.9382	0.1258
663	P_500	0.0396	0.0054
663	Rndcg	0.7562	0.1211
663	Rprec	0.6107	0.1123
663	Rprec_mult_0.20	0.9382	0.1258
663	Rprec_mult_0.40	0.8445	0.1492
663	Rprec_mult_0.60	0.7273	0.1275
663	Rprec_mult_0.80	0.6616	0.1147
663	Rprec_mult_1.00	0.6107	0.1123
663	Rprec_mult_1.20	0.5525	0.1077
663	Rprec_mult_1.40	0.5091	0.1027
663	Rprec_mult_1.60	0.4652	0.1000
663	Rprec_mult_1.80	0.4286	0.0916
663	Rprec_mult_2.00	0.3948	0.0822
663	binG	0.5051	0.1258
663	bpref	0.6277	0.1448
663	infAP	0.6556	0.1625
663	iprec_at_recall_0.00	0.9927	0.0759
663	iprec_at_recall_0.10	0.9661	0.1092
663	iprec_at_recall_0.20	0.9493	0.1253
663	iprec_at_recall_0.30	0.8916	0.1612
663	iprec_at_recall_0.40	0.8172	0.1866
663	iprec_at_recall_0.50	0.7293	0.2046
663	iprec_at_recall_0.60	0.5755	0.2444
663	iprec_at_recall_0.70	0.5000	0.2474
663	iprec_at_recall_0.80	0.4174	0.2559
663	iprec_at_recall_0.90	0.3053	0.2333
663	iprec_at_recall_1.00	0.0343	0.0688
663	map	0.6556	0.1625
663	map_cut_10	0.3590	0.0830
663	map_cut_100	0.6496	0.1659
663	map_cut_1000	0.6556	0.1625
663	map_cut_15	0.4438	0.1057
663	map_cut_20	0.5063	0.1215
663	map_cut_200	0.6538	0.1634
663	map_cut_30	0.5911	0.1504
663	map_cut_5	0.2081	0.0382
663	map_cut_500	0.6551	0.1627
663	ndcg	0.8453	0.1159
663	ndcg_cut_10	0.7843	0.1465
663	ndcg_cut_100	0.8234	0.1370
663	ndcg_cut_1000	0.8453	0.1159
663	ndcg_cut_15	0.7085	0.1280
663	ndcg_cut_20	0.7117	0.1289
663	ndcg_cut_200	0.8358	0.1267
663	ndcg_cut_30	0.7677	0.1365
663	ndcg_cut_5	0.8294	0.1400
663	ndcg_cut_500	0.8414	0.1205
663	ndcg_rel	0.7950	0.1193
663	num_nonrel_judged_ret	332.8727	94.5209
663	num_rel	22.0000	0.0000
663	num_rel_ret	20.2182	2.4731
663	num_ret	931.7909	215.6014
663	prefs_avgjg	0.8949	0.1155
663	prefs_avgjg_Rnonrel	0.0353	0.0043
663	prefs_avgjg_Rnonrel_ret	0.0782	0.0252
663	prefs_avgjg_imp	0.9426	0.0522
663	prefs_avgjg_ret	0.9247	0.0701
663	prefs_num_prefs_ful	15234.3273	1966.8370
663	prefs_num_prefs_ful_ret	6541.6091	2382.2077
663	prefs_num_prefs_poss	17023.0000	0.0000
663	prefs_pair	0.8949	0.1155
663	prefs_pair_imp	0.9426	0.0522
663	prefs_pair_ret	0.9247	0.0701
663	prefs_simp	0.8949	0.1155
663	prefs_simp_imp	0.9426	0.0522
663	prefs_simp_ret	0.9247	0.0701
663	recall_10	0.3756	0.0684
663	recall_100	0.8471	0.1604
663	recall_1000	0.9190	0.1124
663	recall_15	0.4818	0.0872
663	recall_20	0.5707	0.1070
663	recall_200	0.8806	0.1365
663	recall_30	0.7074	0.1405
663	recall_5	0.2132	0.0286
663	recall_500	0.9008	0.1226
663	recip_rank	0.9927	0.0759
663	relative_P_10	0.8264	0.1506
663	relative_P_100	0.8471	0.1604
663	relative_P_1000	0.9190	0.1124
663	relative_P_15	0.7067	0.1278
663	relative_P_20	0.6277	0.1177
663	relative_P_200	0.8806	0.1365
663	relative_P_30	0.7074	0.1405
663	relative_P_5	0.9382	0.1258
663	relative_P_500	0.9008	0.1226
663	set_F	0.0474	0.0228
663	set_P	0.0246	0.0127
663	set_map	0.0220	0.0092
663	set_recall	0.9190	0.1124
663	set_relative_P	0.9190	0.1124
663	success_1	0.9909	0.0949
663	success_10	1.0000	0.0000
663	success_5	1.0000	0.0000
663	utility	-891.3545	212.9106
664	11pt_avg	0.6677	0.2094
664	G	0.6377	0.2557
664	P_10	0.6164	0.1905
664	P_100	0.0821	0.0156
664	P_1000	0.0087	0.0013
664	P_15	0.4703	0.1318
664	P_20	0.3655	0.0948
664	P_200	0.0418	0.0075
664	P_30	0.2512	0.0564
664	P_5	0.7727	0.3045
664	P_500	0.0172	0.0027
664	Rndcg	0.7723	0.2402
664	Rprec	0.6647	0.2145
664	Rprec_mult_0.20	0.7727	0.3208
664	Rprec_mult_0.40	0.7659	0.3149
664	Rprec_mult_0.60	0.7545	0.2884
664	Rprec_mult_0.80	0.6977	0.2368
664	Rprec_mult_1.00	0.6647	0.2145
664	Rprec_mult_1.20	0.5794	0.1724
664	Rprec_mult_1.40	0.5231	0.1477
664	Rprec_mult_1.60	0.4703	0.1318
664	Rprec_mult_1.80	0.4225	0.1142
664	Rprec_mult_2.00	0.4010	0.1063
664	binG	0.6244	0.2222
664	bpref	0.6633	0.2327
664	infAP	0.6822	0.2342
664	iprec_at_recall_0.00	0.8750	0.2454
664	iprec_at_recall_0.10	0.8750	0.2454
664	iprec_at_recall_0.20	0.8417	0.2562
664	iprec_at_recall_0.30	0.8318	0.2573
664	iprec_at_recall_0.40	0.8240	0.2564
664	iprec_at_recall_0.50	0.8204	0.2571
664	iprec_at_recall_0.60	0.7814	0.2608
664	iprec_at_recall_0.70	0.7088	0.2666
664	iprec_at_recall_0.80	0.4642	0.2831
664	iprec_at_recall_0.90	0.1614	0.1869
664	iprec_at_recall_1.00	0.1614	0.1869
664	map	0.6823	0.2342
664	map_cut_10	0.5950	0.2465
664	map_cut_100	0.6806	0.2346
664	map_cut_1000	0.6823	0.2342
664	map_cut_15	0.6518	0.2470
664	map_cut_20	0.6630	0.2457
664	map_cut_200	0.6815	0.2341
664	map_cut_30	0.6696	0.2397
664	map_cut_5	0.3938	0.1980
664	map_cut_500	0.6821	0.2343
664	ndcg	0.8446	0.1977
664	ndcg_cut_10	0.7485	0.2469
664	ndcg_cut_100	0.8361	0.2047
664	ndcg_cut_1000	0.8446	0.1977
664	ndcg_cut_15	0.7970	0.2408
664	ndcg_cut_20	0.8078	0.2335
664	ndcg_cut_200	0.8390	0.2027
664	ndcg_cut_30	0.8179	0.2180
664	ndcg_cut_5	0.7643	0.3094
664	ndcg_cut_500	0.8431	0.1998
664	ndcg_rel	0.8067	0.2440
664	num_nonrel_judged_ret	358.5909	85.1579
664	num_rel	9.0000	0.0000
664	num_rel_ret	8.6727	1.3150
664	num_ret	930.3636	215.4147
664	prefs_avgjg	0.9371	0.1443
664	prefs_avgjg_Rnonrel	0.0194	0.0038
664	prefs_avgjg_Rnonrel_ret	0.0302	0.0069
664	prefs_avgjg_imp	0.9495	0.1329
664	prefs_avgjg_ret	0.9306	0.1467
664	prefs_num_prefs_ful	4879.3636	751.3791
664	prefs_num_prefs_ful_ret	3062.8455	886.3030
664	prefs_num_prefs_poss	5207.0000	0.0000
664	prefs_pair	0.9371	0.1443
664	prefs_pair_imp	0.9495	0.1329
664	prefs_pair_ret	0.9306	0.1467
664	prefs_simp	0.9371	0.1443
664	prefs_simp_imp	0.9495	0.1329
664	prefs_simp_ret	0.9306	0.1467
664	recall_10	0.6849	0.2116
664	recall_100	0.9121	0.1728
664	recall_1000	0.9636	0.1461
664	recall_15	0.7839	0.2196
664	recall_20	0.8121	0.2107
664	recall_200	0.9283	0.1666
664	recall_30	0.8374	0.1881
664	recall_5	0.4293	0.1692
664	recall_500	0.9545	0.1493
664	recip_rank	0.8329	0.2903
664	relative_P_10	0.6849	0.2116
664	relative_P_100	0.9121	0.1728
664	relative_P_1000	0.9636	0.1461
664	relative_P_15	0.7839	0.2196
664	relative_P_20	0.8121	0.2107
664	relative_P_200	0.9283	0.1666
664	relative_P_30	0.8374	0.1881
664	relative_P_5	0.7727	0.3045
664	relative_P_500	0.9545	0.1493
664	set_F	   nan	   nan
664	set_P	0.0102	0.0050
664	set_map	0.0097	0.0036
664	set_recall	0.9636	0.1461
664	set_relative_P	0.9636	0.1461
664	success_1	0.7273	0.4454
664	success_10	0.9455	0.2271
664	success_5	0.9455	0.2271
664	utility	-913.0182	213.4175
665	11pt_avg	0.1950	0.0757
665	G	0.1773	0.0506
665	P_10	0.2718	0.1046
665	P_100	0.0866	0.0271
665	P_1000	0.0165	0.0046
665	P_15	0.2315	0.0879
665	P_20	0.2036	0.0735
665	P_200	0.0518	0.0172
665	P_30	0.1770	0.0594
665	P_5	0.3691	0.1948
665	P_500	0.0285	0.0086
665	Rndcg	0.3207	0.1412
665	Rprec	0.2105	0.0771
665	Rprec_mult_0.20	0.3955	0.2115
665	Rprec_mult_0.40	0.2886	0.1258
665	Rprec_mult_0.60	0.2561	0.0965
665	Rprec_mult_0.80	0.2244	0.0869
665	Rprec_mult_1.00	0.2105	0.0771
665	Rprec_mult_1.20	0.1976	0.0707
665	Rprec_mult_1.40	0.1882	0.0646
665	Rprec_mult_1.60	0.1742	0.0569
665	Rprec_mult_1.80	0.1618	0.0514
665	Rprec_mult_2.00	0.1541	0.0490
665	binG	0.2022	0.0611
665	bpref	0.1589	0.0630
665	infAP	0.1658	0.0681
665	iprec_at_recall_0.00	0.7317	0.3149
665	iprec_at_recall_0.10	0.5244	0.2544
665	iprec_at_recall_0.20	0.2735	0.1397
665	iprec_at_recall_0.30	0.2044	0.1104
665	iprec_at_recall_0.40	0.1424	0.0815
665	iprec_at_recall_0.50	0.0937	0.0651
665	iprec_at_recall_0.60	0.0583	0.0440
665	iprec_at_recall_0.70	0.0429	0.0337
665	iprec_at_recall_0.80	0.0332	0.0242
665	iprec_at_recall_0.90	0.0240	0.0186
665	iprec_at_recall_1.00	0.0163	0.0169
665	map	0.1658	0.0681
665	map_cut_10	0.0854	0.0457
665	map_cut_100	0.1472	0.0648
665	map_cut_1000	0.1658	0.0681
665	map_cut_15	0.0979	0.0509
665	map_cut_20	0.1061	0.0540
665	map_cut_200	0.1543	0.0664
665	map_cut_30	0.1209	0.0575
665	map_cut_5	0.0693	0.0418
665	map_cut_500	0.1627	0.0673
665	ndcg	0.4723	0.1362
665	ndcg_cut_10	0.2635	0.1105
665	ndcg_cut_100	0.3410	0.1097
665	ndcg_cut_1000	0.4723	0.1362
665	ndcg_cut_15	0.2419	0.0954
665	ndcg_cut_20	0.2307	0.0878
665	ndcg_cut_200	0.3731	0.1182
665	ndcg_cut_30	0.2650	0.0931
665	ndcg_cut_5	0.3005	0.1526
665	ndcg_cut_500	0.4368	0.1286
665	ndcg_rel	0.3650	0.1073
665	num_nonrel_judged_ret	328.4364	94.6839
665	num_rel	19.0000	0.0000
665	num_rel_ret	16.4727	4.6470
665	num_ret	913.7818	248.1304
665	prefs_avgjg	0.6975	0.1929
665	prefs_avgjg_Rnonrel	0.0193	0.0021
665	prefs_avgjg_Rnonrel_ret	0.0368	0.0480
665	prefs_avgjg_imp	0.7459	0.1402
665	prefs_avgjg_ret	0.6557	0.1075
665	prefs_num_prefs_ful	8056.1818	2227.9608
665	prefs_num_prefs_ful_ret	3810.0000	1568.1094
665	prefs_num_prefs_poss	11551.0000	0.0000
665	prefs_pair	0.6975	0.1929
665	prefs_pair_imp	0.7459	0.1402
665	prefs_pair_ret	0.6557	0.1075
665	prefs_simp	0.6975	0.1929
665	prefs_simp_imp	0.7459	0.1402
665	prefs_simp_ret	0.6557	0.1075
665	recall_10	0.1431	0.0550
665	recall_100	0.4560	0.1429
665	recall_1000	0.8670	0.2446
665	recall_15	0.1828	0.0694
665	recall_20	0.2144	0.0773
665	recall_200	0.5455	0.1812
665	recall_30	0.2794	0.0938
665	recall_5	0.0971	0.0513
665	recall_500	0.7502	0.2251
665	recip_rank	0.7007	0.3380
665	relative_P_10	0.2718	0.1046
665	relative_P_100	0.4560	0.1429
665	relative_P_1000	0.8670	0.2446
665	relative_P_15	0.2315	0.0879
665	relative_P_20	0.2144	0.0773
665	relative_P_200	0.5455	0.1812
665	relative_P_30	0.2794	0.0938
665	relative_P_5	0.3691	0.1948
665	relative_P_500	0.7502	0.2251
665	set_F	   nan	   nan
665	set_P	0.0258	0.0586
665	set_map	0.0181	0.0148
665	set_recall	0.8670	0.2446
665	set_relative_P	0.8705	0.2372
665	success_1	0.5273	0.4993
665	success_10	0.9545	0.2083
665	success_5	0.8818	0.3228
665	utility	-880.8364	239.8634
666	11pt_avg	0.0231	0.0428
666	G	0.1153	0.0613
666	P_10	0.0073	0.0293
666	P_100	0.0103	0.0065
666	P_1000	0.0021	0.0009
666	P_15	0.0091	0.0277
666	P_20	0.0095	0.0229
666	P_200	0.0066	0.0034
666	P_30	0.0167	0.0205
666	P_5	0.0091	0.0496
666	P_500	0.0036	0.0015
666	Rndcg	0.0834	0.0546
666	Rprec	0.0061	0.0445
666	Rprec_mult_0.20	0.0000	0.0000
666	Rprec_mult_0.40	0.0045	0.0475
666	Rprec_mult_0.60	0.0045	0.0475
666	Rprec_mult_0.80	0.0061	0.0445
666	Rprec_mult_1.00	0.0061	0.0445
666	Rprec_mult_1.20	0.0068	0.0407
666	Rprec_mult_1.40	0.0091	0.0496
666	Rprec_mult_1.60	0.0091	0.0496
666	Rprec_mult_1.80	0.0076	0.0414
666	Rprec_mult_2.00	0.0076	0.0414
666	binG	0.1153	0.0613
666	bpref	0.0030	0.0235
666	infAP	0.0213	0.0391
666	iprec_at_recall_0.00	0.0443	0.0651
666	iprec_at_recall_0.10	0.0443	0.0651
666	iprec_at_recall_0.20	0.0443	0.0651
666	iprec_at_recall_0.30	0.0443	0.0651
666	iprec_at_recall_0.40	0.0148	0.0400
666	iprec_at_recall_0.50	0.0148	0.0400
666	iprec_at_recall_0.60	0.0148	0.0400
666	iprec_at_recall_0.70	0.0148	0.0400
666	iprec_at_recall_0.80	0.0059	0.0274
666	iprec_at_recall_0.90	0.0059	0.0274
666	iprec_at_recall_1.00	0.0059	0.0274
666	map	0.0213	0.0391
666	map_cut_10	0.0062	0.0300
666	map_cut_100	0.0187	0.0394
666	map_cut_1000	0.0213	0.0391
666	map_cut_15	0.0082	0.0366
666	map_cut_20	0.0092	0.0366
666	map_cut_200	0.0200	0.0393
666	map_cut_30	0.0138	0.0395
666	map_cut_5	0.0051	0.0295
666	map_cut_500	0.0210	0.0392
666	ndcg	0.1619	0.0849
666	ndcg_cut_10	0.0139	0.0584
666	ndcg_cut_100	0.1034	0.0826
666	ndcg_cut_1000	0.1619	0.0849
666	ndcg_cut_15	0.0216	0.0710
666	ndcg_cut_20	0.0275	0.0734
666	ndcg_cut_200	0.1231	0.0815
666	ndcg_cut_30	0.0584	0.0858
666	ndcg_cut_5	0.0100	0.0543
666	ndcg_cut_500	0.1485	0.0809
666	ndcg_rel	0.1327	0.0636
666	num_nonrel_judged_ret	339.0545	91.6900
666	num_rel	3.0000	0.0000
666	num_rel_ret	2.0545	0.8825
666	num_ret	916.2545	239.6780
666	prefs_avgjg	0.5392	0.2263
666	prefs_avgjg_Rnonrel	0.0016	0.0001
666	prefs_avgjg_Rnonrel_ret	0.0016	0.0011
666	prefs_avgjg_imp	0.6029	0.2133
666	prefs_avgjg_ret	0.5944	0.2317
666	prefs_num_prefs_ful	986.7909	414.1851
666	prefs_num_prefs_ful_ret	486.4636	240.5523
666	prefs_num_prefs_poss	1830.0000	0.0000
666	prefs_pair	0.5392	0.2263
666	prefs_pair_imp	0.6029	0.2133
666	prefs_pair_ret	0.5944	0.2317
666	prefs_simp	0.5392	0.2263
666	prefs_simp_imp	0.6029	0.2133
666	prefs_simp_ret	0.5944	0.2317
666	recall_10	0.0242	0.0975
666	recall_100	0.3424	0.2177
666	recall_1000	0.6849	0.2942
666	recall_15	0.0455	0.1384
666	recall_20	0.0636	0.1524
666	recall_200	0.4424	0.2297
666	recall_30	0.1667	0.2047
666	recall_5	0.0152	0.0827
666	recall_500	0.5940	0.2436
666	recip_rank	0.0436	0.0621
666	relative_P_10	0.0242	0.0975
666	relative_P_100	0.3424	0.2177
666	relative_P_1000	0.6849	0.2942
666	relative_P_15	0.0455	0.1384
666	relative_P_20	0.0636	0.1524
666	relative_P_200	0.4424	0.2297
666	relative_P_30	0.1667	0.2047
666	relative_P_5	0.0152	0.0827
666	relative_P_500	0.5940	0.2436
666	set_F	   nan	   nan
666	set_P	0.0021	0.0009
666	set_map	0.0017	0.0010
666	set_recall	0.6849	0.2942
666	set_relative_P	0.6849	0.2942
666	success_1	0.0000	0.0000
666	success_10	0.0636	0.2441
666	success_5	0.0364	0.1872
666	utility	-912.1455	238.4161
667	11pt_avg	0.2665	0.1397
667	G	0.1847	0.0864
667	P_10	0.4800	0.2276
667	P_100	0.1698	0.0821
667	P_1000	0.0269	0.0113
667	P_15	0.4430	0.2094
667	P_20	0.4100	0.1968
667	P_200	0.1049	0.0501
667	P_30	0.3467	0.1625
667	P_5	0.5909	0.2564
667	P_500	0.0492	0.0223
667	Rndcg	0.4530	0.1926
667	Rprec	0.2938	0.1430
667	Rprec_mult_0.20	0.4889	0.2332
667	Rprec_mult_0.40	0.4267	0.2043
667	Rprec_mult_0.60	0.3749	0.1791
667	Rprec_mult_0.80	0.3322	0.1586
667	Rprec_mult_1.00	0.2938	0.1430
667	Rprec_mult_1.20	0.2600	0.1258
667	Rprec_mult_1.40	0.2395	0.1167
667	Rprec_mult_1.60	0.2198	0.1062
667	Rprec_mult_1.80	0.2058	0.0991
667	Rprec_mult_2.00	0.1925	0.0935
667	binG	0.1847	0.0864
667	bpref	0.2487	0.1260
667	infAP	0.2417	0.1376
667	iprec_at_recall_0.00	0.8583	0.3136
667	iprec_at_recall_0.10	0.5621	0.2882
667	iprec_at_recall_0.20	0.4478	0.2608
667	iprec_at_recall_0.30	0.3541	0.2297
667	iprec_at_recall_0.40	0.2420	0.1947
667	iprec_at_recall_0.50	0.1802	0.1656
667	iprec_at_recall_0.60	0.1310	0.1314
667	iprec_at_recall_0.70	0.0927	0.0967
667	iprec_at_recall_0.80	0.0546	0.0658
667	iprec_at_recall_0.90	0.0057	0.0281
667	iprec_at_recall_1.00	0.0027	0.0129
667	map	0.2417	0.1376
667	map_cut_10	0.0923	0.0502
667	map_cut_100	0.2149	0.1247
667	map_cut_1000	0.2417	0.1376
667	map_cut_15	0.1185	0.0659
667	map_cut_20	0.1390	0.0783
667	map_cut_200	0.2315	0.1343
667	map_cut_30	0.1640	0.0913
667	map_cut_5	0.0619	0.0309
667	map_cut_500	0.2396	0.1373
667	ndcg	0.5444	0.2273
667	ndcg_cut_10	0.5367	0.2347
667	ndcg_cut_100	0.4341	0.1935
667	ndcg_cut_1000	0.5444	0.2273
667	ndcg_cut_15	0.4992	0.2177
667	ndcg_cut_20	0.4677	0.2056
667	ndcg_cut_200	0.4839	0.2148
667	ndcg_cut_30	0.4105	0.1790
667	ndcg_cut_5	0.6272	0.2623
667	ndcg_cut_500	0.5230	0.2263
667	ndcg_rel	0.5117	0.2064
667	num_nonrel_judged_ret	336.9909	99.0771
667	num_rel	41.0000	0.0000
667	num_rel_ret	26.9000	11.2605
667	num_ret	931.8182	215.6098
667	prefs_avgjg	0.5913	0.2525
667	prefs_avgjg_Rnonrel	0.0351	0.0060
667	prefs_avgjg_Rnonrel_ret	0.0597	0.0274
667	prefs_avgjg_imp	0.7069	0.2239
667	prefs_avgjg_ret	0.7254	0.1556
667	prefs_num_prefs_ful	19830.0636	8468.3308
667	prefs_num_prefs_ful_ret	7554.6364	4409.7244
667	prefs_num_prefs_poss	33538.0000	0.0000
667	prefs_pair	0.5913	0.2525
667	prefs_pair_imp	0.7069	0.2239
667	prefs_pair_ret	0.7254	0.1556
667	prefs_simp	0.5913	0.2525
667	prefs_simp_imp	0.7069	0.2239
667	prefs_simp_ret	0.7254	0.1556
667	recall_10	0.1171	0.0555
667	recall_100	0.4142	0.2003
667	recall_1000	0.6561	0.2746
667	recall_15	0.1621	0.0766
667	recall_20	0.2000	0.0960
667	recall_200	0.5117	0.2442
667	recall_30	0.2537	0.1189
667	recall_5	0.0721	0.0313
667	recall_500	0.6002	0.2720
667	recip_rank	0.8417	0.3260
667	relative_P_10	0.4800	0.2276
667	relative_P_100	0.4142	0.2003
667	relative_P_1000	0.6561	0.2746
667	relative_P_15	0.4430	0.2094
667	relative_P_20	0.4100	0.1968
667	relative_P_200	0.5117	0.2442
667	relative_P_30	0.3467	0.1625
667	relative_P_5	0.5909	0.2564
667	relative_P_500	0.6002	0.2720
667	set_F	   nan	   nan
667	set_P	0.0321	0.0196
667	set_map	0.0235	0.0136
667	set_recall	0.6561	0.2746
667	set_relative_P	0.6561	0.2746
667	success_1	0.7909	0.4067
667	success_10	0.8909	0.3118
667	success_5	0.8909	0.3118
667	utility	-878.0182	211.7552
668	11pt_avg	0.2632	0.0953
668	G	0.1771	0.0447
668	P_10	0.4000	0.1646
668	P_100	0.1865	0.0583
668	P_1000	0.0297	0.0060
668	P_15	0.3588	0.1345
668	P_20	0.3514	0.1242
668	P_200	0.1166	0.0287
668	P_30	0.2964	0.1060
668	P_5	0.4455	0.1938
668	P_500	0.0550	0.0116
668	Rndcg	0.4049	0.1137
668	Rprec	0.2745	0.0917
668	Rprec_mult_0.20	0.4102	0.1908
668	Rprec_mult_0.40	0.3588	0.1345
668	Rprec_mult_0.60	0.3343	0.1210
668	Rprec_mult_0.80	0.2987	0.1075
668	Rprec_mult_1.00	0.2745	0.0917
668	Rprec_mult_1.20	0.2624	0.0928
668	Rprec_mult_1.40	0.2490	0.0862
668	Rprec_mult_1.60	0.2354	0.0791
668	Rprec_mult_1.80	0.2236	0.0771
668	Rprec_mult_2.00	0.2163	0.0715
668	binG	0.1961	0.0518
668	bpref	0.2245	0.0863
668	infAP	0.2350	0.1008
668	iprec_at_recall_0.00	0.8622	0.2293
668	iprec_at_recall_0.10	0.4855	0.2138
668	iprec_at_recall_0.20	0.3661	0.1594
668	iprec_at_recall_0.30	0.3012	0.1446
668	iprec_at_recall_0.40	0.2533	0.1245
668	iprec_at_recall_0.50	0.2125	0.1206
668	iprec_at_recall_0.60	0.1719	0.1108
668	iprec_at_recall_0.70	0.1311	0.1012
668	iprec_at_recall_0.80	0.0832	0.0849
668	iprec_at_recall_0.90	0.0283	0.0364
668	iprec_at_recall_1.00	0.0000	0.0000
668	map	0.2350	0.1008
668	map_cut_10	0.0753	0.0412
668	map_cut_100	0.2021	0.0983
668	map_cut_1000	0.2350	0.1008
668	map_cut_15	0.0920	0.0477
668	map_cut_20	0.1108	0.0562
668	map_cut_200	0.2225	0.1016
668	map_cut_30	0.1301	0.0667
668	map_cut_5	0.0495	0.0266
668	map_cut_500	0.2323	0.1008
668	ndcg	0.5556	0.1264
668	ndcg_cut_10	0.3502	0.1299
668	ndcg_cut_100	0.4409	0.1266
668	ndcg_cut_1000	0.5556	0.1264
668	ndcg_cut_15	0.3462	0.1185
668	ndcg_cut_20	0.3508	0.1157
668	ndcg_cut_200	0.4941	0.1258
668	ndcg_cut_30	0.3305	0.1061
668	ndcg_cut_5	0.3802	0.1579
668	ndcg_cut_500	0.5350	0.1251
668	ndcg_rel	0.4539	0.1041
668	num_nonrel_judged_ret	327.5818	86.3750
668	num_rel	36.0000	0.0000
668	num_rel_ret	29.7182	6.0395
668	num_ret	916.4000	239.2112
668	prefs_avgjg	0.7123	0.1440
668	prefs_avgjg_Rnonrel	0.0437	0.0051
668	prefs_avgjg_Rnonrel_ret	0.0692	0.0130
668	prefs_avgjg_imp	0.7859	0.0722
668	prefs_avgjg_ret	0.7388	0.0969
668	prefs_num_prefs_ful	15878.9636	3209.9615
668	prefs_num_prefs_ful_ret	7817.0273	3098.9817
668	prefs_num_prefs_poss	22292.0000	0.0000
668	prefs_pair	0.7123	0.1440
668	prefs_pair_imp	0.7859	0.0722
668	prefs_pair_ret	0.7388	0.0969
668	prefs_simp	0.7123	0.1440
668	prefs_simp_imp	0.7859	0.0722
668	prefs_simp_ret	0.7388	0.0969
668	recall_10	0.1111	0.0457
668	recall_100	0.5182	0.1618
668	recall_1000	0.8255	0.1678
668	recall_15	0.1495	0.0560
668	recall_20	0.1952	0.0690
668	recall_200	0.6477	0.1593
668	recall_30	0.2470	0.0884
668	recall_5	0.0619	0.0269
668	recall_500	0.7634	0.1614
668	recip_rank	0.8262	0.2746
668	relative_P_10	0.4000	0.1646
668	relative_P_100	0.5182	0.1618
668	relative_P_1000	0.8255	0.1678
668	relative_P_15	0.3588	0.1345
668	relative_P_20	0.3514	0.1242
668	relative_P_200	0.6477	0.1593
668	relative_P_30	0.2964	0.1060
668	relative_P_5	0.4455	0.1938
668	relative_P_500	0.7634	0.1614
668	set_F	0.0675	0.0259
668	set_P	0.0359	0.0165
668	set_map	0.0285	0.0089
668	set_recall	0.8255	0.1678
668	set_relative_P	0.8255	0.1678
668	success_1	0.7000	0.4583
668	success_10	1.0000	0.0000
668	success_5	0.9818	0.1336
668	utility	-856.9636	229.7429
669	11pt_avg	0.1407	0.0761
669	G	0.1582	0.0350
669	P_10	0.1718	0.1472
669	P_100	0.0948	0.0367
669	P_1000	0.0208	0.0036
669	P_15	0.1455	0.1087
669	P_20	0.1314	0.0974
669	P_200	0.0702	0.0193
669	P_30	0.1164	0.0781
669	P_5	0.1945	0.2008
669	P_500	0.0381	0.0068
669	Rndcg	0.2326	0.1093
669	Rprec	0.1273	0.0924
669	Rprec_mult_0.20	0.1945	0.2008
669	Rprec_mult_0.40	0.1718	0.1472
669	Rprec_mult_0.60	0.1539	0.1153
669	Rprec_mult_0.80	0.1340	0.0995
669	Rprec_mult_1.00	0.1273	0.0924
669	Rprec_mult_1.20	0.1179	0.0807
669	Rprec_mult_1.40	0.1176	0.0718
669	Rprec_mult_1.60	0.1177	0.0731
669	Rprec_mult_1.80	0.1134	0.0653
669	Rprec_mult_2.00	0.1140	0.0618
669	binG	0.1691	0.0474
669	bpref	0.0887	0.0718
669	infAP	0.1200	0.0667
669	iprec_at_recall_0.00	0.4888	0.3765
669	iprec_at_recall_0.10	0.2423	0.1907
669	iprec_at_recall_0.20	0.1801	0.1417
669	iprec_at_recall_0.30	0.1437	0.0856
669	iprec_at_recall_0.40	0.1225	0.0645
669	iprec_at_recall_0.50	0.1068	0.0532
669	iprec_at_recall_0.60	0.0894	0.0451
669	iprec_at_recall_0.70	0.0724	0.0414
669	iprec_at_recall_0.80	0.0521	0.0302
669	iprec_at_recall_0.90	0.0362	0.0254
669	iprec_at_recall_1.00	0.0136	0.0175
669	map	0.1200	0.0667
669	map_cut_10	0.0389	0.0427
669	map_cut_100	0.0883	0.0667
669	map_cut_1000	0.1200	0.0667
669	map_cut_15	0.0436	0.0458
669	map_cut_20	0.0482	0.0501
669	map_cut_200	0.1055	0.0679
669	map_cut_30	0.0549	0.0540
669	map_cut_5	0.0278	0.0345
669	map_cut_500	0.1176	0.0668
669	ndcg	0.4320	0.1011
669	ndcg_cut_10	0.1470	0.1290
669	ndcg_cut_100	0.2674	0.1248
669	ndcg_cut_1000	0.4320	0.1011
669	ndcg_cut_15	0.1393	0.1119
669	ndcg_cut_20	0.1340	0.1060
669	ndcg_cut_200	0.3444	0.1174
669	ndcg_cut_30	0.1470	0.1074
669	ndcg_cut_5	0.1409	0.1440
669	ndcg_cut_500	0.4124	0.1026
669	ndcg_rel	0.3025	0.0887
669	num_nonrel_judged_ret	372.8364	76.0628
669	num_rel	23.0000	0.0000
669	num_rel_ret	20.7818	3.5888
669	num_ret	921.8000	224.8136
669	prefs_avgjg	0.6703	0.1219
669	prefs_avgjg_Rnonrel	0.0282	0.0033
669	prefs_avgjg_Rnonrel_ret	0.0342	0.0086
669	prefs_avgjg_imp	0.6967	0.0905
669	prefs_avgjg_ret	0.6542	0.1145
669	prefs_num_prefs_ful	7594.0000	1381.0409
669	prefs_num_prefs_ful_ret	5388.6182	1918.0042
669	prefs_num_prefs_poss	11330.0000	0.0000
669	prefs_pair	0.6703	0.1219
669	prefs_pair_imp	0.6967	0.0905
669	prefs_pair_ret	0.6542	0.1145
669	prefs_simp	0.6703	0.1219
669	prefs_simp_imp	0.6967	0.0905
669	prefs_simp_ret	0.6542	0.1145
669	recall_10	0.0747	0.0640
669	recall_100	0.4123	0.1597
669	recall_1000	0.9036	0.1560
669	recall_15	0.0949	0.0709
669	recall_20	0.1142	0.0847
669	recall_200	0.6103	0.1680
669	recall_30	0.1518	0.1018
669	recall_5	0.0423	0.0437
669	recall_500	0.8277	0.1470
669	recip_rank	0.4459	0.3920
669	relative_P_10	0.1718	0.1472
669	relative_P_100	0.4123	0.1597
669	relative_P_1000	0.9036	0.1560
669	relative_P_15	0.1455	0.1087
669	relative_P_20	0.1314	0.0974
669	relative_P_200	0.6103	0.1680
669	relative_P_30	0.1518	0.1018
669	relative_P_5	0.1945	0.2008
669	relative_P_500	0.8277	0.1470
669	set_F	0.0477	0.0179
669	set_P	0.0247	0.0102
669	set_map	0.0217	0.0059
669	set_recall	0.9036	0.1560
669	set_relative_P	0.9036	0.1560
669	success_1	0.3000	0.4583
669	success_10	0.7364	0.4406
669	success_5	0.6182	0.4858
669	utility	-880.2364	219.4619
670	11pt_avg	0.1869	0.1102
670	G	0.1571	0.0662
670	P_10	0.3064	0.1696
670	P_100	0.0966	0.0360
670	P_1000	0.0168	0.0059
670	P_15	0.2473	0.1269
670	P_20	0.2155	0.1078
670	P_200	0.0635	0.0250
670	P_30	0.1818	0.0787
670	P_5	0.4255	0.2671
670	P_500	0.0306	0.0114
670	Rndcg	0.3107	0.1665
670	Rprec	0.1955	0.0921
670	Rprec_mult_0.20	0.4255	0.2671
670	Rprec_mult_0.40	0.3064	0.1696
670	Rprec_mult_0.60	0.2473	0.1269
670	Rprec_mult_0.80	0.2155	0.1078
670	Rprec_mult_1.00	0.1955	0.0921
670	Rprec_mult_1.20	0.1824	0.0796
670	Rprec_mult_1.40	0.1725	0.0735
670	Rprec_mult_1.60	0.1643	0.0691
670	Rprec_mult_1.80	0.1506	0.0625
670	Rprec_mult_2.00	0.1468	0.0595
670	binG	0.1805	0.0851
670	bpref	0.1562	0.0847
670	infAP	0.1637	0.1051
670	iprec_at_recall_0.00	0.6959	0.3412
670	iprec_at_recall_0.10	0.4853	0.3261
670	iprec_at_recall_0.20	0.3279	0.2588
670	iprec_at_recall_0.30	0.1701	0.1227
670	iprec_at_recall_0.40	0.1337	0.0995
670	iprec_at_recall_0.50	0.1007	0.0795
670	iprec_at_recall_0.60	0.0578	0.0516
670	iprec_at_recall_0.70	0.0401	0.0477
670	iprec_at_recall_0.80	0.0236	0.0359
670	iprec_at_recall_0.90	0.0164	0.0316
670	iprec_at_recall_1.00	0.0046	0.0145
670	map	0.1637	0.1051
670	map_cut_10	0.0884	0.0702
670	map_cut_100	0.1441	0.0948
670	map_cut_1000	0.1637	0.1051
670	map_cut_15	0.0978	0.0743
670	map_cut_20	0.1053	0.0800
670	map_cut_200	0.1565	0.1025
670	map_cut_30	0.1160	0.0841
670	map_cut_5	0.0690	0.0582
670	map_cut_500	0.1621	0.1048
670	ndcg	0.4419	0.1748
670	ndcg_cut_10	0.2949	0.1753
670	ndcg_cut_100	0.3368	0.1454
670	ndcg_cut_1000	0.4419	0.1748
670	ndcg_cut_15	0.2639	0.1466
670	ndcg_cut_20	0.2453	0.1339
670	ndcg_cut_200	0.3875	0.1662
670	ndcg_cut_30	0.2491	0.1248
670	ndcg_cut_5	0.3332	0.2190
670	ndcg_cut_500	0.4236	0.1739
670	ndcg_rel	0.3710	0.1475
670	num_nonrel_judged_ret	285.2000	72.4768
670	num_rel	24.0000	0.0000
670	num_rel_ret	16.7818	5.8874
670	num_ret	918.0727	234.1278
670	prefs_avgjg	0.6158	0.2161
670	prefs_avgjg_Rnonrel	0.0201	0.0027
670	prefs_avgjg_Rnonrel_ret	0.0374	0.0150
670	prefs_avgjg_imp	0.7401	0.1543
670	prefs_avgjg_ret	0.6853	0.1048
670	prefs_num_prefs_ful	11216.6091	3937.0073
670	prefs_num_prefs_ful_ret	3574.5545	1708.0599
670	prefs_num_prefs_poss	18215.0000	0.0000
670	prefs_pair	0.6158	0.2161
670	prefs_pair_imp	0.7401	0.1543
670	prefs_pair_ret	0.6853	0.1048
670	prefs_simp	0.6158	0.2161
670	prefs_simp_imp	0.7401	0.1543
670	prefs_simp_ret	0.6853	0.1048
670	recall_10	0.1277	0.0707
670	recall_100	0.4026	0.1500
670	recall_1000	0.6992	0.2453
670	recall_15	0.1545	0.0793
670	recall_20	0.1795	0.0898
670	recall_200	0.5295	0.2081
670	recall_30	0.2273	0.0984
670	recall_5	0.0886	0.0556
670	recall_500	0.6371	0.2377
670	recip_rank	0.6629	0.3676
670	relative_P_10	0.3064	0.1696
670	relative_P_100	0.4026	0.1500
670	relative_P_1000	0.6992	0.2453
670	relative_P_15	0.2473	0.1269
670	relative_P_20	0.2155	0.1078
670	relative_P_200	0.5295	0.2081
670	relative_P_30	0.2273	0.0984
670	relative_P_5	0.4255	0.2671
670	relative_P_500	0.6371	0.2377
670	set_F	   nan	   nan
670	set_P	0.0190	0.0083
670	set_map	0.0141	0.0073
670	set_recall	0.6992	0.2453
670	set_relative_P	0.6992	0.2453
670	success_1	0.5182	0.4997
670	success_10	0.9455	0.2271
670	success_5	0.8727	0.3333
670	utility	-884.5091	227.3707
671	11pt_avg	0.3676	0.1179
671	G	0.1730	0.0414
671	P_10	0.4909	0.2517
671	P_100	0.3562	0.0971
671	P_1000	0.0597	0.0139
671	P_15	0.4667	0.2323
671	P_20	0.4527	0.2041
671	P_200	0.2320	0.0655
671	P_30	0.4591	0.1420
671	P_5	0.5018	0.2799
671	P_500	0.1111	0.0279
671	Rndcg	0.4501	0.1205
671	Rprec	0.4048	0.1032
671	Rprec_mult_0.20	0.4708	0.2410
671	Rprec_mult_0.40	0.4581	0.1544
671	Rprec_mult_0.60	0.4481	0.1143
671	Rprec_mult_0.80	0.4359	0.1066
671	Rprec_mult_1.00	0.4048	0.1032
671	Rprec_mult_1.20	0.3825	0.1007
671	Rprec_mult_1.40	0.3602	0.0986
671	Rprec_mult_1.60	0.3363	0.0923
671	Rprec_mult_1.80	0.3165	0.0865
671	Rprec_mult_2.00	0.2962	0.0813
671	binG	0.1927	0.0549
671	bpref	0.3493	0.0975
671	infAP	0.3362	0.1202
671	iprec_at_recall_0.00	0.7959	0.2393
671	iprec_at_recall_0.10	0.5946	0.2047
671	iprec_at_recall_0.20	0.5351	0.1745
671	iprec_at_recall_0.30	0.4773	0.1480
671	iprec_at_recall_0.40	0.4241	0.1391
671	iprec_at_recall_0.50	0.3682	0.1437
671	iprec_at_recall_0.60	0.3050	0.1525
671	iprec_at_recall_0.70	0.2263	0.1556
671	iprec_at_recall_0.80	0.1602	0.1448
671	iprec_at_recall_0.90	0.1111	0.1270
671	iprec_at_recall_1.00	0.0453	0.0922
671	map	0.3362	0.1202
671	map_cut_10	0.0504	0.0352
671	map_cut_100	0.2576	0.1012
671	map_cut_1000	0.3362	0.1202
671	map_cut_15	0.0686	0.0482
671	map_cut_20	0.0844	0.0577
671	map_cut_200	0.3080	0.1189
671	map_cut_30	0.1163	0.0666
671	map_cut_5	0.0284	0.0204
671	map_cut_500	0.3311	0.1210
671	ndcg	0.6351	0.1361
671	ndcg_cut_10	0.3604	0.1831
671	ndcg_cut_100	0.4649	0.1178
671	ndcg_cut_1000	0.6351	0.1361
671	ndcg_cut_15	0.3765	0.1897
671	ndcg_cut_20	0.3860	0.1791
671	ndcg_cut_200	0.5492	0.1368
671	ndcg_cut_30	0.4094	0.1413
671	ndcg_cut_5	0.3103	0.1857
671	ndcg_cut_500	0.6112	0.1392
671	ndcg_rel	0.4884	0.1088
671	num_nonrel_judged_ret	179.6909	45.2347
671	num_rel	70.0000	0.0000
671	num_rel_ret	59.7273	13.8826
671	num_ret	914.2364	246.5412
671	prefs_avgjg	0.6796	0.1541
671	prefs_avgjg_Rnonrel	0.1632	0.0249
671	prefs_avgjg_Rnonrel_ret	0.2256	0.0477
671	prefs_avgjg_imp	0.7322	0.0918
671	prefs_avgjg_ret	0.6696	0.0789
671	prefs_num_prefs_ful	14492.8909	3285.4090
671	prefs_num_prefs_ful_ret	7811.1455	3000.1359
671	prefs_num_prefs_poss	21325.0000	0.0000
671	prefs_pair	0.6796	0.1541
671	prefs_pair_imp	0.7322	0.0918
671	prefs_pair_ret	0.6696	0.0789
671	prefs_simp	0.6796	0.1541
671	prefs_simp_imp	0.7322	0.0918
671	prefs_simp_ret	0.6696	0.0789
671	recall_10	0.0701	0.0360
671	recall_100	0.5088	0.1388
671	recall_1000	0.8532	0.1983
671	recall_15	0.1000	0.0498
671	recall_20	0.1294	0.0583
671	recall_200	0.6629	0.1873
671	recall_30	0.1968	0.0609
671	recall_5	0.0359	0.0200
671	recall_500	0.7936	0.1990
671	recip_rank	0.6817	0.3506
671	relative_P_10	0.4909	0.2517
671	relative_P_100	0.5088	0.1388
671	relative_P_1000	0.8532	0.1983
671	relative_P_15	0.4667	0.2323
671	relative_P_20	0.4527	0.2041
671	relative_P_200	0.6629	0.1873
671	relative_P_30	0.4591	0.1420
671	relative_P_5	0.5018	0.2799
671	relative_P_500	0.7936	0.1990
671	set_F	0.1295	0.0522
671	set_P	0.0732	0.0361
671	set_map	0.0614	0.0256
671	set_recall	0.8532	0.1983
671	set_relative_P	0.8544	0.1938
671	success_1	0.5182	0.4997
671	success_10	0.9636	0.1872
671	success_5	0.8455	0.3615
671	utility	-794.7818	229.5442
673	11pt_avg	0.1902	0.0854
673	G	0.1880	0.0522
673	P_10	0.2873	0.1556
673	P_100	0.1029	0.0304
673	P_1000	0.0203	0.0032
673	P_15	0.2394	0.0978
673	P_20	0.2018	0.0766
673	P_200	0.0701	0.0177
673	P_30	0.1645	0.0644
673	P_5	0.3673	0.2390
673	P_500	0.0369	0.0071
673	Rndcg	0.3468	0.1436
673	Rprec	0.1885	0.0763
673	Rprec_mult_0.20	0.3673	0.2390
673	Rprec_mult_0.40	0.2873	0.1556
673	Rprec_mult_0.60	0.2500	0.1027
673	Rprec_mult_0.80	0.2072	0.0769
673	Rprec_mult_1.00	0.1885	0.0763
673	Rprec_mult_1.20	0.1685	0.0690
673	Rprec_mult_1.40	0.1600	0.0630
673	Rprec_mult_1.60	0.1509	0.0607
673	Rprec_mult_1.80	0.1428	0.0565
673	Rprec_mult_2.00	0.1374	0.0560
673	binG	0.1996	0.0566
673	bpref	0.1475	0.0661
673	infAP	0.1677	0.0788
673	iprec_at_recall_0.00	0.7362	0.3441
673	iprec_at_recall_0.10	0.4352	0.2593
673	iprec_at_recall_0.20	0.2732	0.1991
673	iprec_at_recall_0.30	0.1720	0.0896
673	iprec_at_recall_0.40	0.1212	0.0687
673	iprec_at_recall_0.50	0.1015	0.0623
673	iprec_at_recall_0.60	0.0877	0.0538
673	iprec_at_recall_0.70	0.0718	0.0489
673	iprec_at_recall_0.80	0.0468	0.0368
673	iprec_at_recall_0.90	0.0316	0.0331
673	iprec_at_recall_1.00	0.0155	0.0236
673	map	0.1677	0.0788
673	map_cut_10	0.0832	0.0569
673	map_cut_100	0.1398	0.0750
673	map_cut_1000	0.1677	0.0788
673	map_cut_15	0.0920	0.0571
673	map_cut_20	0.0969	0.0571
673	map_cut_200	0.1547	0.0774
673	map_cut_30	0.1058	0.0615
673	map_cut_5	0.0629	0.0479
673	map_cut_500	0.1654	0.0790
673	ndcg	0.5125	0.1253
673	ndcg_cut_10	0.2914	0.1806
673	ndcg_cut_100	0.3860	0.1274
673	ndcg_cut_1000	0.5125	0.1253
673	ndcg_cut_15	0.2828	0.1459
673	ndcg_cut_20	0.2660	0.1255
673	ndcg_cut_200	0.4400	0.1262
673	ndcg_cut_30	0.2766	0.1252
673	ndcg_cut_5	0.2712	0.2030
673	ndcg_cut_500	0.4930	0.1279
673	ndcg_rel	0.4111	0.1183
673	num_nonrel_judged_ret	284.0273	53.4277
673	num_rel	23.0000	0.0000
673	num_rel_ret	20.3273	3.2477
673	num_ret	918.9818	231.5921
673	prefs_avgjg	0.6604	0.1165
673	prefs_avgjg_Rnonrel	0.0395	0.0040
673	prefs_avgjg_Rnonrel_ret	0.0510	0.0110
673	prefs_avgjg_imp	0.6898	0.0920
673	prefs_avgjg_ret	0.6312	0.0948
673	prefs_num_prefs_ful	6246.9818	1102.0533
673	prefs_num_prefs_ful_ret	3829.6818	1308.1304
673	prefs_num_prefs_poss	9460.0000	0.0000
673	prefs_pair	0.6604	0.1165
673	prefs_pair_imp	0.6898	0.0920
673	prefs_pair_ret	0.6312	0.0948
673	prefs_simp	0.6604	0.1165
673	prefs_simp_imp	0.6898	0.0920
673	prefs_simp_ret	0.6312	0.0948
673	recall_10	0.1249	0.0676
673	recall_100	0.4474	0.1322
673	recall_1000	0.8838	0.1412
673	recall_15	0.1561	0.0638
673	recall_20	0.1755	0.0666
673	recall_200	0.6099	0.1543
673	recall_30	0.2146	0.0840
673	recall_5	0.0799	0.0519
673	recall_500	0.8016	0.1546
673	recip_rank	0.7048	0.3734
673	relative_P_10	0.2873	0.1556
673	relative_P_100	0.4474	0.1322
673	relative_P_1000	0.8838	0.1412
673	relative_P_15	0.2394	0.0978
673	relative_P_20	0.2018	0.0766
673	relative_P_200	0.6099	0.1543
673	relative_P_30	0.2146	0.0840
673	relative_P_5	0.3673	0.2390
673	relative_P_500	0.8016	0.1546
673	set_F	0.0481	0.0223
673	set_P	0.0250	0.0125
673	set_map	0.0216	0.0099
673	set_recall	0.8838	0.1412
673	set_relative_P	0.8838	0.1412
673	success_1	0.5909	0.4917
673	success_10	0.8818	0.3228
673	success_5	0.8455	0.3615
673	utility	-878.3273	227.8777
674	11pt_avg	0.3053	0.1788
674	G	0.2512	0.1169
674	P_10	0.3818	0.2129
674	P_100	0.1245	0.0475
674	P_1000	0.0176	0.0055
674	P_15	0.3248	0.1901
674	P_20	0.2850	0.1649
674	P_200	0.0796	0.0273
674	P_30	0.2376	0.1281
674	P_5	0.4400	0.2915
674	P_500	0.0346	0.0111
674	Rndcg	0.4645	0.2000
674	Rprec	0.2850	0.1649
674	Rprec_mult_0.20	0.4659	0.3189
674	Rprec_mult_0.40	0.3955	0.2351
674	Rprec_mult_0.60	0.3568	0.2051
674	Rprec_mult_0.80	0.3153	0.1880
674	Rprec_mult_1.00	0.2850	0.1649
674	Rprec_mult_1.20	0.2580	0.1447
674	Rprec_mult_1.40	0.2451	0.1342
674	Rprec_mult_1.60	0.2321	0.1216
674	Rprec_mult_1.80	0.2210	0.1097
674	Rprec_mult_2.00	0.2100	0.0985
674	binG	0.2512	0.1169
674	bpref	0.2390	0.1609
674	infAP	0.2730	0.1725
674	iprec_at_recall_0.00	0.6793	0.3382
674	iprec_at_recall_0.10	0.6107	0.3358
674	iprec_at_recall_0.20	0.4661	0.2951
674	iprec_at_recall_0.30	0.3604	0.2530
674	iprec_at_recall_0.40	0.2969	0.2225
674	iprec_at_recall_0.50	0.2659	0.2158
674	iprec_at_recall_0.60	0.2268	0.1944
674	iprec_at_recall_0.70	0.1729	0.1339
674	iprec_at_recall_0.80	0.1326	0.1025
674	iprec_at_recall_0.90	0.0952	0.0698
674	iprec_at_recall_1.00	0.0519	0.0479
674	map	0.2730	0.1725
674	map_cut_10	0.1289	0.1061
674	map_cut_100	0.2481	0.1740
674	map_cut_1000	0.2730	0.1725
674	map_cut_15	0.1559	0.1342
674	map_cut_20	0.1731	0.1484
674	map_cut_200	0.2683	0.1739
674	map_cut_30	0.1961	0.1626
674	map_cut_5	0.0860	0.0745
674	map_cut_500	0.2726	0.1728
674	ndcg	0.5999	0.2211
674	ndcg_cut_10	0.4054	0.2404
674	ndcg_cut_100	0.5018	0.2221
674	ndcg_cut_1000	0.5999	0.2211
674	ndcg_cut_15	0.3619	0.2145
674	ndcg_cut_20	0.3290	0.1901
674	ndcg_cut_200	0.5714	0.2270
674	ndcg_cut_30	0.3718	0.2050
674	ndcg_cut_5	0.4509	0.3097
674	ndcg_cut_500	0.5954	0.2235
674	ndcg_rel	0.4945	0.2208
674	num_nonrel_judged_ret	262.2273	68.3863
674	num_rel	20.0000	0.0000
674	num_rel_ret	17.6000	5.4925
674	num_ret	913.6727	248.5822
674	prefs_avgjg	0.7812	0.2477
674	prefs_avgjg_Rnonrel	0.0268	0.0068
674	prefs_avgjg_Rnonrel_ret	0.0442	0.0167
674	prefs_avgjg_imp	0.8006	0.2346
674	prefs_avgjg_ret	0.7319	0.2242
674	prefs_num_prefs_ful	7937.0727	2516.6221
674	prefs_num_prefs_ful_ret	3940.8909	1498.2941
674	prefs_num_prefs_poss	10160.0000	0.0000
674	prefs_pair	0.7812	0.2477
674	prefs_pair_imp	0.8006	0.2346
674	prefs_pair_ret	0.7319	0.2242
674	prefs_simp	0.7812	0.2477
674	prefs_simp_imp	0.8006	0.2346
674	prefs_simp_ret	0.7319	0.2242
674	recall_10	0.1909	0.1064
674	recall_100	0.6223	0.2374
674	recall_1000	0.8800	0.2746
674	recall_15	0.2436	0.1426
674	recall_20	0.2850	0.1649
674	recall_200	0.7959	0.2730
674	recall_30	0.3564	0.1921
674	recall_5	0.1100	0.0729
674	recall_500	0.8650	0.2773
674	recip_rank	0.6255	0.3730
674	relative_P_10	0.3818	0.2129
674	relative_P_100	0.6223	0.2374
674	relative_P_1000	0.8800	0.2746
674	relative_P_15	0.3248	0.1901
674	relative_P_20	0.2850	0.1649
674	relative_P_200	0.7959	0.2730
674	relative_P_30	0.3564	0.1921
674	relative_P_5	0.4400	0.2915
674	relative_P_500	0.8650	0.2773
674	set_F	   nan	   nan
674	set_P	0.0191	0.0102
674	set_map	0.0183	0.0095
674	set_recall	0.8800	0.2746
674	set_relative_P	0.8800	0.2746
674	success_1	0.4636	0.4987
674	success_10	0.9273	0.2597
674	success_5	0.8364	0.3699
674	utility	-878.4727	239.4501
675	11pt_avg	0.2117	0.0701
675	G	0.1965	0.0447
675	P_10	0.3045	0.1289
675	P_100	0.1311	0.0267
675	P_1000	0.0226	0.0041
675	P_15	0.2836	0.1023
675	P_20	0.2555	0.0867
675	P_200	0.0860	0.0153
675	P_30	0.2288	0.0667
675	P_5	0.3018	0.1804
675	P_500	0.0423	0.0079
675	Rndcg	0.4117	0.1008
675	Rprec	0.2367	0.0736
675	Rprec_mult_0.20	0.3018	0.1804
675	Rprec_mult_0.40	0.3045	0.1289
675	Rprec_mult_0.60	0.2836	0.1023
675	Rprec_mult_0.80	0.2555	0.0867
675	Rprec_mult_1.00	0.2367	0.0736
675	Rprec_mult_1.20	0.2288	0.0667
675	Rprec_mult_1.40	0.2190	0.0596
675	Rprec_mult_1.60	0.2070	0.0525
675	Rprec_mult_1.80	0.1970	0.0485
675	Rprec_mult_2.00	0.1844	0.0449
675	binG	0.1965	0.0447
675	bpref	0.1746	0.0622
675	infAP	0.1862	0.0638
675	iprec_at_recall_0.00	0.6325	0.3101
675	iprec_at_recall_0.10	0.4049	0.1613
675	iprec_at_recall_0.20	0.3284	0.1247
675	iprec_at_recall_0.30	0.2534	0.0910
675	iprec_at_recall_0.40	0.2077	0.0735
675	iprec_at_recall_0.50	0.1536	0.0643
675	iprec_at_recall_0.60	0.1271	0.0585
675	iprec_at_recall_0.70	0.0914	0.0488
675	iprec_at_recall_0.80	0.0688	0.0366
675	iprec_at_recall_0.90	0.0379	0.0319
675	iprec_at_recall_1.00	0.0227	0.0255
675	map	0.1862	0.0638
675	map_cut_10	0.0613	0.0404
675	map_cut_100	0.1544	0.0579
675	map_cut_1000	0.1862	0.0638
675	map_cut_15	0.0778	0.0413
675	map_cut_20	0.0886	0.0452
675	map_cut_200	0.1736	0.0615
675	map_cut_30	0.1072	0.0529
675	map_cut_5	0.0383	0.0310
675	map_cut_500	0.1842	0.0638
675	ndcg	0.5639	0.1169
675	ndcg_cut_10	0.3106	0.1484
675	ndcg_cut_100	0.4155	0.0957
675	ndcg_cut_1000	0.5639	0.1169
675	ndcg_cut_15	0.2952	0.1127
675	ndcg_cut_20	0.2745	0.0999
675	ndcg_cut_200	0.4865	0.1041
675	ndcg_cut_30	0.2834	0.0962
675	ndcg_cut_5	0.3144	0.2046
675	ndcg_cut_500	0.5449	0.1156
675	ndcg_rel	0.4296	0.1036
675	num_nonrel_judged_ret	299.1909	76.4327
675	num_rel	25.0000	0.0000
675	num_rel_ret	22.5727	4.1219
675	num_ret	917.6000	235.5058
675	prefs_avgjg	0.7403	0.1217
675	prefs_avgjg_Rnonrel	0.0315	0.0030
675	prefs_avgjg_Rnonrel_ret	0.0483	0.0155
675	prefs_avgjg_imp	0.7832	0.0620
675	prefs_avgjg_ret	0.7021	0.0743
675	prefs_num_prefs_ful	9160.7909	1505.4989
675	prefs_num_prefs_ful_ret	5011.9545	1751.4083
675	prefs_num_prefs_poss	12375.0000	0.0000
675	prefs_pair	0.7403	0.1217
675	prefs_pair_imp	0.7832	0.0620
675	prefs_pair_ret	0.7021	0.0743
675	prefs_simp	0.7403	0.1217
675	prefs_simp_imp	0.7832	0.0620
675	prefs_simp_ret	0.7021	0.0743
675	recall_10	0.1218	0.0516
675	recall_100	0.5244	0.1070
675	recall_1000	0.9029	0.1649
675	recall_15	0.1702	0.0614
675	recall_20	0.2044	0.0694
675	recall_200	0.6880	0.1220
675	recall_30	0.2745	0.0801
675	recall_5	0.0604	0.0361
675	recall_500	0.8451	0.1584
675	recip_rank	0.5662	0.3608
675	relative_P_10	0.3045	0.1289
675	relative_P_100	0.5244	0.1070
675	relative_P_1000	0.9029	0.1649
675	relative_P_15	0.2836	0.1023
675	relative_P_20	0.2555	0.0867
675	relative_P_200	0.6880	0.1220
675	relative_P_30	0.2745	0.0801
675	relative_P_5	0.3018	0.1804
675	relative_P_500	0.8451	0.1584
675	set_F	0.0516	0.0193
675	set_P	0.0269	0.0111
675	set_map	0.0235	0.0078
675	set_recall	0.9029	0.1649
675	set_relative_P	0.9029	0.1649
675	success_1	0.3818	0.4858
675	success_10	0.9636	0.1872
675	success_5	0.8455	0.3615
675	utility	-872.4545	228.5728
676	11pt_avg	0.2964	0.0889
676	G	0.1675	0.0390
676	P_10	0.2791	0.1113
676	P_100	0.2614	0.0614
676	P_1000	0.0440	0.0085
676	P_15	0.3097	0.0995
676	P_20	0.3336	0.0937
676	P_200	0.1845	0.0427
676	P_30	0.3345	0.0730
676	P_5	0.2909	0.1698
676	P_500	0.0845	0.0175
676	Rndcg	0.3920	0.0865
676	Rprec	0.3237	0.0594
676	Rprec_mult_0.20	0.2791	0.1113
676	Rprec_mult_0.40	0.3336	0.0937
676	Rprec_mult_0.60	0.3345	0.0730
676	Rprec_mult_0.80	0.3298	0.0601
676	Rprec_mult_1.00	0.3237	0.0594
676	Rprec_mult_1.20	0.3094	0.0600
676	Rprec_mult_1.40	0.2963	0.0635
676	Rprec_mult_1.60	0.2822	0.0650
676	Rprec_mult_1.80	0.2680	0.0622
676	Rprec_mult_2.00	0.2621	0.0616
676	binG	0.1825	0.0388
676	bpref	0.2393	0.0520
676	infAP	0.2613	0.0828
676	iprec_at_recall_0.00	0.7340	0.2868
676	iprec_at_recall_0.10	0.4204	0.1302
676	iprec_at_recall_0.20	0.3831	0.0997
676	iprec_at_recall_0.30	0.3505	0.0872
676	iprec_at_recall_0.40	0.3055	0.0977
676	iprec_at_recall_0.50	0.2758	0.1022
676	iprec_at_recall_0.60	0.2482	0.1012
676	iprec_at_recall_0.70	0.2175	0.1064
676	iprec_at_recall_0.80	0.1674	0.1109
676	iprec_at_recall_0.90	0.1147	0.0995
676	iprec_at_recall_1.00	0.0434	0.0549
676	map	0.2613	0.0828
676	map_cut_10	0.0299	0.0206
676	map_cut_100	0.1898	0.0664
676	map_cut_1000	0.2613	0.0828
676	map_cut_15	0.0429	0.0254
676	map_cut_20	0.0578	0.0312
676	map_cut_200	0.2438	0.0825
676	map_cut_30	0.0825	0.0352
676	map_cut_5	0.0202	0.0162
676	map_cut_500	0.2590	0.0839
676	ndcg	0.6009	0.1193
676	ndcg_cut_10	0.2644	0.1241
676	ndcg_cut_100	0.4315	0.1040
676	ndcg_cut_1000	0.6009	0.1193
676	ndcg_cut_15	0.2608	0.1040
676	ndcg_cut_20	0.2645	0.0942
676	ndcg_cut_200	0.5398	0.1254
676	ndcg_cut_30	0.2812	0.0813
676	ndcg_cut_5	0.3025	0.1675
676	ndcg_cut_500	0.5871	0.1240
676	ndcg_rel	0.4272	0.0861
676	num_nonrel_judged_ret	203.9091	46.9122
676	num_rel	49.0000	0.0000
676	num_rel_ret	44.0273	8.4568
676	num_ret	914.3182	246.2106
676	prefs_avgjg	0.6554	0.1254
676	prefs_avgjg_Rnonrel	0.1295	0.0110
676	prefs_avgjg_Rnonrel_ret	0.1486	0.0213
676	prefs_avgjg_imp	0.6866	0.0728
676	prefs_avgjg_ret	0.6551	0.0815
676	prefs_num_prefs_ful	8741.2364	1672.6022
676	prefs_num_prefs_ful_ret	6588.3636	2222.1232
676	prefs_num_prefs_poss	13338.0000	0.0000
676	prefs_pair	0.6554	0.1254
676	prefs_pair_imp	0.6866	0.0728
676	prefs_pair_ret	0.6551	0.0815
676	prefs_simp	0.6554	0.1254
676	prefs_simp_imp	0.6866	0.0728
676	prefs_simp_ret	0.6551	0.0815
676	recall_10	0.0569	0.0227
676	recall_100	0.5334	0.1252
676	recall_1000	0.8985	0.1726
676	recall_15	0.0948	0.0305
676	recall_20	0.1362	0.0383
676	recall_200	0.7529	0.1743
676	recall_30	0.2048	0.0447
676	recall_5	0.0297	0.0173
676	recall_500	0.8622	0.1783
676	recip_rank	0.6859	0.3405
676	relative_P_10	0.2791	0.1113
676	relative_P_100	0.5334	0.1252
676	relative_P_1000	0.8985	0.1726
676	relative_P_15	0.3097	0.0995
676	relative_P_20	0.3336	0.0937
676	relative_P_200	0.7529	0.1743
676	relative_P_30	0.3345	0.0730
676	relative_P_5	0.2909	0.1698
676	relative_P_500	0.8622	0.1783
676	set_F	0.1012	0.0459
676	set_P	0.0567	0.0359
676	set_map	0.0481	0.0235
676	set_recall	0.8985	0.1726
676	set_relative_P	0.8993	0.1695
676	success_1	0.5273	0.4993
676	success_10	1.0000	0.0000
676	success_5	0.9636	0.1872
676	utility	-826.2636	234.8366
677	11pt_avg	0.7884	0.1471
677	G	0.7436	0.1502
677	P_10	0.6564	0.1304
677	P_100	0.0860	0.0115
677	P_1000	0.0088	0.0011
677	P_15	0.5073	0.0926
677	P_20	0.3955	0.0725
677	P_200	0.0435	0.0056
677	P_30	0.2724	0.0471
677	P_5	0.9455	0.1746
677	P_500	0.0175	0.0022
677	Rndcg	0.8236	0.1766
677	Rprec	0.7132	0.1440
677	Rprec_mult_0.20	0.9682	0.1689
677	Rprec_mult_0.40	0.9500	0.1777
677	Rprec_mult_0.60	0.9091	0.1807
677	Rprec_mult_0.80	0.7830	0.1560
677	Rprec_mult_1.00	0.7132	0.1440
677	Rprec_mult_1.20	0.6182	0.1129
677	Rprec_mult_1.40	0.5658	0.0987
677	Rprec_mult_1.60	0.5073	0.0926
677	Rprec_mult_1.80	0.4594	0.0860
677	Rprec_mult_2.00	0.4369	0.0815
677	binG	0.7539	0.1444
677	bpref	0.7677	0.1567
677	infAP	0.8135	0.1533
677	iprec_at_recall_0.00	0.9771	0.1400
677	iprec_at_recall_0.10	0.9771	0.1400
677	iprec_at_recall_0.20	0.9740	0.1457
677	iprec_at_recall_0.30	0.9740	0.1457
677	iprec_at_recall_0.40	0.9595	0.1522
677	iprec_at_recall_0.50	0.9445	0.1649
677	iprec_at_recall_0.60	0.8853	0.2061
677	iprec_at_recall_0.70	0.7734	0.2326
677	iprec_at_recall_0.80	0.5067	0.2647
677	iprec_at_recall_0.90	0.3505	0.2474
677	iprec_at_recall_1.00	0.3505	0.2474
677	map	0.8135	0.1533
677	map_cut_10	0.7070	0.1543
677	map_cut_100	0.8126	0.1538
677	map_cut_1000	0.8135	0.1533
677	map_cut_15	0.7787	0.1602
677	map_cut_20	0.7954	0.1620
677	map_cut_200	0.8133	0.1534
677	map_cut_30	0.8050	0.1575
677	map_cut_5	0.5228	0.1007
677	map_cut_500	0.8135	0.1533
677	ndcg	0.8968	0.1385
677	ndcg_cut_10	0.8001	0.1512
677	ndcg_cut_100	0.8925	0.1403
677	ndcg_cut_1000	0.8968	0.1385
677	ndcg_cut_15	0.8537	0.1509
677	ndcg_cut_20	0.8673	0.1511
677	ndcg_cut_200	0.8949	0.1393
677	ndcg_cut_30	0.8779	0.1486
677	ndcg_cut_5	0.9091	0.1728
677	ndcg_cut_500	0.8960	0.1387
677	ndcg_rel	0.8732	0.1631
677	num_nonrel_judged_ret	315.9727	102.9482
677	num_rel	9.0000	0.0000
677	num_rel_ret	8.7727	1.0926
677	num_ret	914.0091	247.3219
677	prefs_avgjg	0.9638	0.1208
677	prefs_avgjg_Rnonrel	0.0199	0.0025
677	prefs_avgjg_Rnonrel_ret	0.0451	0.0568
677	prefs_avgjg_imp	0.9803	0.0513
677	prefs_avgjg_ret	0.9625	0.0870
677	prefs_num_prefs_ful	5012.7909	628.2490
677	prefs_num_prefs_ful_ret	2777.7545	978.3999
677	prefs_num_prefs_poss	5201.0000	0.0000
677	prefs_pair	0.9638	0.1208
677	prefs_pair_imp	0.9803	0.0513
677	prefs_pair_ret	0.9625	0.0870
677	prefs_simp	0.9638	0.1208
677	prefs_simp_imp	0.9803	0.0513
677	prefs_simp_ret	0.9625	0.0870
677	recall_10	0.7293	0.1449
677	recall_100	0.9556	0.1282
677	recall_1000	0.9747	0.1214
677	recall_15	0.8455	0.1543
677	recall_20	0.8788	0.1610
677	recall_200	0.9657	0.1251
677	recall_30	0.9081	0.1570
677	recall_5	0.5253	0.0970
677	recall_500	0.9707	0.1233
677	recip_rank	0.9748	0.1511
677	relative_P_10	0.7293	0.1449
677	relative_P_100	0.9556	0.1282
677	relative_P_1000	0.9747	0.1214
677	relative_P_15	0.8455	0.1543
677	relative_P_20	0.8788	0.1610
677	relative_P_200	0.9657	0.1251
677	relative_P_30	0.9081	0.1570
677	relative_P_5	0.9455	0.1746
677	relative_P_500	0.9707	0.1233
677	set_F	0.0318	0.0783
677	set_P	0.0184	0.0562
677	set_map	0.0181	0.0561
677	set_recall	0.9747	0.1214
677	set_relative_P	0.9747	0.1214
677	success_1	0.9727	0.1629
677	success_10	0.9818	0.1336
677	success_5	0.9727	0.1629
677	utility	-896.4636	246.5511
678	11pt_avg	0.2828	0.1465
678	G	0.2156	0.0954
678	P_10	0.4191	0.2168
678	P_100	0.0865	0.0385
678	P_1000	0.0129	0.0050
678	P_15	0.3236	0.1686
678	P_20	0.2655	0.1317
678	P_200	0.0488	0.0221
678	P_30	0.1958	0.0929
678	P_5	0.5891	0.2527
678	P_500	0.0232	0.0098
678	Rndcg	0.4529	0.1857
678	Rprec	0.2751	0.1357
678	Rprec_mult_0.20	0.6318	0.2627
678	Rprec_mult_0.40	0.4795	0.2393
678	Rprec_mult_0.60	0.3689	0.1925
678	Rprec_mult_0.80	0.3085	0.1582
678	Rprec_mult_1.00	0.2751	0.1357
678	Rprec_mult_1.20	0.2371	0.1173
678	Rprec_mult_1.40	0.2101	0.1014
678	Rprec_mult_1.60	0.1918	0.0908
678	Rprec_mult_1.80	0.1777	0.0782
678	Rprec_mult_2.00	0.1665	0.0734
678	binG	0.2483	0.1194
678	bpref	0.2458	0.1272
678	infAP	0.2516	0.1509
678	iprec_at_recall_0.00	0.8996	0.2329
678	iprec_at_recall_0.10	0.7632	0.3346
678	iprec_at_recall_0.20	0.5277	0.3448
678	iprec_at_recall_0.30	0.3855	0.3324
678	iprec_at_recall_0.40	0.2628	0.2727
678	iprec_at_recall_0.50	0.0936	0.1231
678	iprec_at_recall_0.60	0.0633	0.0977
678	iprec_at_recall_0.70	0.0442	0.0747
678	iprec_at_recall_0.80	0.0324	0.0649
678	iprec_at_recall_0.90	0.0218	0.0454
678	iprec_at_recall_1.00	0.0168	0.0350
678	map	0.2516	0.1509
678	map_cut_10	0.1845	0.1101
678	map_cut_100	0.2414	0.1452
678	map_cut_1000	0.2516	0.1509
678	map_cut_15	0.2016	0.1225
678	map_cut_20	0.2098	0.1252
678	map_cut_200	0.2462	0.1487
678	map_cut_30	0.2178	0.1283
678	map_cut_5	0.1381	0.0709
678	map_cut_500	0.2503	0.1505
678	ndcg	0.5288	0.1983
678	ndcg_cut_10	0.4374	0.1946
678	ndcg_cut_100	0.4646	0.1848
678	ndcg_cut_1000	0.5288	0.1983
678	ndcg_cut_15	0.4061	0.1827
678	ndcg_cut_20	0.3852	0.1687
678	ndcg_cut_200	0.4828	0.1938
678	ndcg_cut_30	0.4018	0.1726
678	ndcg_cut_5	0.5151	0.2081
678	ndcg_cut_500	0.5113	0.1996
678	ndcg_rel	0.5143	0.1828
678	num_nonrel_judged_ret	333.7636	104.3036
678	num_rel	19.0000	0.0000
678	num_rel_ret	12.9273	5.0104
678	num_ret	924.3273	220.2187
678	prefs_avgjg	0.6084	0.2373
678	prefs_avgjg_Rnonrel	0.0197	0.0036
678	prefs_avgjg_Rnonrel_ret	0.0353	0.0155
678	prefs_avgjg_imp	0.7393	0.1326
678	prefs_avgjg_ret	0.7426	0.1190
678	prefs_num_prefs_ful	9347.7091	3646.2040
678	prefs_num_prefs_ful_ret	3515.1909	1841.5997
678	prefs_num_prefs_poss	15364.0000	0.0000
678	prefs_pair	0.6084	0.2373
678	prefs_pair_imp	0.7393	0.1326
678	prefs_pair_ret	0.7426	0.1190
678	prefs_simp	0.6084	0.2373
678	prefs_simp_imp	0.7393	0.1326
678	prefs_simp_ret	0.7426	0.1190
678	recall_10	0.2206	0.1141
678	recall_100	0.4555	0.2024
678	recall_1000	0.6804	0.2637
678	recall_15	0.2555	0.1331
678	recall_20	0.2794	0.1387
678	recall_200	0.5134	0.2326
678	recall_30	0.3091	0.1467
678	recall_5	0.1550	0.0665
678	recall_500	0.6115	0.2588
678	recip_rank	0.8802	0.2555
678	relative_P_10	0.4191	0.2168
678	relative_P_100	0.4555	0.2024
678	relative_P_1000	0.6804	0.2637
678	relative_P_15	0.3236	0.1686
678	relative_P_20	0.2794	0.1387
678	relative_P_200	0.5134	0.2326
678	relative_P_30	0.3091	0.1467
678	relative_P_5	0.5891	0.2527
678	relative_P_500	0.6115	0.2588
678	set_F	0.0288	0.0125
678	set_P	0.0148	0.0067
678	set_map	0.0109	0.0067
678	set_recall	0.6804	0.2637
678	set_relative_P	0.6804	0.2637
678	success_1	0.8091	0.3930
678	success_10	0.9727	0.1629
678	success_5	0.9727	0.1629
678	utility	-898.4727	215.8029
679	11pt_avg	0.8162	0.1637
679	G	0.7138	0.1629
679	P_10	0.5455	0.1298
679	P_100	0.0590	0.0065
679	P_1000	0.0059	0.0004
679	P_15	0.3788	0.0629
679	P_20	0.2909	0.0388
679	P_200	0.0295	0.0032
679	P_30	0.1952	0.0250
679	P_5	0.7400	0.1759
679	P_500	0.0118	0.0013
679	Rndcg	0.8268	0.1419
679	Rprec	0.7106	0.1750
679	Rprec_mult_0.20	0.8182	0.2498
679	Rprec_mult_0.40	0.8091	0.2268
679	Rprec_mult_0.60	0.7864	0.2046
679	Rprec_mult_0.80	0.7400	0.1759
679	Rprec_mult_1.00	0.7106	0.1750
679	Rprec_mult_1.20	0.6318	0.1606
679	Rprec_mult_1.40	0.5879	0.1440
679	Rprec_mult_1.60	0.5455	0.1298
679	Rprec_mult_1.80	0.5042	0.1052
679	Rprec_mult_2.00	0.4674	0.0871
679	binG	0.7138	0.1629
679	bpref	0.7720	0.2037
679	infAP	0.7956	0.1773
679	iprec_at_recall_0.00	0.9713	0.1173
679	iprec_at_recall_0.10	0.9713	0.1173
679	iprec_at_recall_0.20	0.8853	0.1962
679	iprec_at_recall_0.30	0.8853	0.1962
679	iprec_at_recall_0.40	0.8640	0.1939
679	iprec_at_recall_0.50	0.8640	0.1939
679	iprec_at_recall_0.60	0.8060	0.2172
679	iprec_at_recall_0.70	0.7284	0.2001
679	iprec_at_recall_0.80	0.7284	0.2001
679	iprec_at_recall_0.90	0.6372	0.2114
679	iprec_at_recall_1.00	0.6372	0.2114
679	map	0.7956	0.1773
679	map_cut_10	0.7733	0.2134
679	map_cut_100	0.7955	0.1774
679	map_cut_1000	0.7956	0.1773
679	map_cut_15	0.7866	0.1954
679	map_cut_20	0.7934	0.1812
679	map_cut_200	0.7955	0.1774
679	map_cut_30	0.7949	0.1785
679	map_cut_5	0.5600	0.1648
679	map_cut_500	0.7956	0.1774
679	ndcg	0.9007	0.1248
679	ndcg_cut_10	0.8665	0.1857
679	ndcg_cut_100	0.8995	0.1314
679	ndcg_cut_1000	0.9007	0.1248
679	ndcg_cut_15	0.8849	0.1577
679	ndcg_cut_20	0.8947	0.1401
679	ndcg_cut_200	0.8995	0.1314
679	ndcg_cut_30	0.8971	0.1371
679	ndcg_cut_5	0.7757	0.1664
679	ndcg_cut_500	0.8998	0.1309
679	ndcg_rel	0.8657	0.1513
679	num_nonrel_judged_ret	281.5455	85.3950
679	num_rel	6.0000	0.0000
679	num_rel_ret	5.9364	0.4107
679	num_ret	931.7636	215.7824
679	prefs_avgjg	0.9877	0.0695
679	prefs_avgjg_Rnonrel	0.0061	0.0011
679	prefs_avgjg_Rnonrel_ret	0.0269	0.0100
679	prefs_avgjg_imp	0.9969	0.0111
679	prefs_avgjg_ret	0.9839	0.0547
679	prefs_num_prefs_ful	6868.5273	483.1363
679	prefs_num_prefs_ful_ret	1672.6818	534.5416
679	prefs_num_prefs_poss	6954.0000	0.0000
679	prefs_pair	0.9877	0.0695
679	prefs_pair_imp	0.9969	0.0111
679	prefs_pair_ret	0.9839	0.0547
679	prefs_simp	0.9877	0.0695
679	prefs_simp_imp	0.9969	0.0111
679	prefs_simp_ret	0.9839	0.0547
679	recall_10	0.9091	0.2163
679	recall_100	0.9833	0.1077
679	recall_1000	0.9894	0.0685
679	recall_15	0.9470	0.1572
679	recall_20	0.9697	0.1295
679	recall_200	0.9833	0.1077
679	recall_30	0.9758	0.1248
679	recall_5	0.6167	0.1466
679	recall_500	0.9848	0.1067
679	recip_rank	0.9500	0.1644
679	relative_P_10	0.9091	0.2163
679	relative_P_100	0.9833	0.1077
679	relative_P_1000	0.9894	0.0685
679	relative_P_15	0.9470	0.1572
679	relative_P_20	0.9697	0.1295
679	relative_P_200	0.9833	0.1077
679	relative_P_30	0.9758	0.1248
679	relative_P_5	0.7400	0.1759
679	relative_P_500	0.9848	0.1067
679	set_F	0.0149	0.0100
679	set_P	0.0076	0.0051
679	set_map	0.0075	0.0051
679	set_recall	0.9894	0.0685
679	set_relative_P	0.9894	0.0685
679	success_1	0.9091	0.2875
679	success_10	0.9909	0.0949
679	success_5	0.9909	0.0949
679	utility	-919.8909	215.7610
680	11pt_avg	0.1493	0.1251
680	G	0.1362	0.0713
680	P_10	0.2273	0.1477
680	P_100	0.0897	0.0685
680	P_1000	0.0167	0.0079
680	P_15	0.1867	0.1195
680	P_20	0.1768	0.1250
680	P_200	0.0583	0.0382
680	P_30	0.1545	0.1124
680	P_5	0.2018	0.1839
680	P_500	0.0305	0.0159
680	Rndcg	0.2091	0.1199
680	Rprec	0.1693	0.1235
680	Rprec_mult_0.20	0.2018	0.1839
680	Rprec_mult_0.40	0.2273	0.1477
680	Rprec_mult_0.60	0.1867	0.1195
680	Rprec_mult_0.80	0.1768	0.1250
680	Rprec_mult_1.00	0.1693	0.1235
680	Rprec_mult_1.20	0.1567	0.1142
680	Rprec_mult_1.40	0.1484	0.1099
680	Rprec_mult_1.60	0.1427	0.1101
680	Rprec_mult_1.80	0.1347	0.1059
680	Rprec_mult_2.00	0.1309	0.1052
680	binG	0.1447	0.0757
680	bpref	0.1233	0.1022
680	infAP	0.1276	0.1192
680	iprec_at_recall_0.00	0.4538	0.2967
680	iprec_at_recall_0.10	0.3083	0.2213
680	iprec_at_recall_0.20	0.1560	0.1754
680	iprec_at_recall_0.30	0.1391	0.1764
680	iprec_at_recall_0.40	0.1261	0.1543
680	iprec_at_recall_0.50	0.1177	0.1496
680	iprec_at_recall_0.60	0.1022	0.1372
680	iprec_at_recall_0.70	0.0896	0.1256
680	iprec_at_recall_0.80	0.0710	0.1060
680	iprec_at_recall_0.90	0.0568	0.0851
680	iprec_at_recall_1.00	0.0221	0.0353
680	map	0.1276	0.1192
680	map_cut_10	0.0417	0.0392
680	map_cut_100	0.1088	0.1161
680	map_cut_1000	0.1276	0.1192
680	map_cut_15	0.0487	0.0453
680	map_cut_20	0.0585	0.0576
680	map_cut_200	0.1192	0.1197
680	map_cut_30	0.0712	0.0742
680	map_cut_5	0.0236	0.0291
680	map_cut_500	0.1262	0.1197
680	ndcg	0.3783	0.1839
680	ndcg_cut_10	0.1793	0.1173
680	ndcg_cut_100	0.2649	0.1814
680	ndcg_cut_1000	0.3783	0.1839
680	ndcg_cut_15	0.1653	0.1013
680	ndcg_cut_20	0.1645	0.1059
680	ndcg_cut_200	0.3101	0.1906
680	ndcg_cut_30	0.1768	0.1161
680	ndcg_cut_5	0.1482	0.1448
680	ndcg_cut_500	0.3614	0.1885
680	ndcg_rel	0.2791	0.1154
680	num_nonrel_judged_ret	339.7727	96.3036
680	num_rel	24.0000	0.0000
680	num_rel_ret	16.6545	7.8837
680	num_ret	925.7273	218.3126
680	prefs_avgjg	0.5859	0.2920
680	prefs_avgjg_Rnonrel	0.0210	0.0036
680	prefs_avgjg_Rnonrel_ret	0.0295	0.0199
680	prefs_avgjg_imp	0.6686	0.2135
680	prefs_avgjg_ret	0.7062	0.1604
680	prefs_num_prefs_ful	9645.5636	4807.8440
680	prefs_num_prefs_ful_ret	4352.7364	2927.7583
680	prefs_num_prefs_poss	16463.0000	0.0000
680	prefs_pair	0.5859	0.2920
680	prefs_pair_imp	0.6686	0.2135
680	prefs_pair_ret	0.7062	0.1604
680	prefs_simp	0.5859	0.2920
680	prefs_simp_imp	0.6686	0.2135
680	prefs_simp_ret	0.7062	0.1604
680	recall_10	0.0947	0.0615
680	recall_100	0.3739	0.2854
680	recall_1000	0.6939	0.3285
680	recall_15	0.1167	0.0747
680	recall_20	0.1474	0.1042
680	recall_200	0.4860	0.3187
680	recall_30	0.1932	0.1405
680	recall_5	0.0420	0.0383
680	recall_500	0.6364	0.3309
680	recip_rank	0.3854	0.3159
680	relative_P_10	0.2273	0.1477
680	relative_P_100	0.3739	0.2854
680	relative_P_1000	0.6939	0.3285
680	relative_P_15	0.1867	0.1195
680	relative_P_20	0.1768	0.1250
680	relative_P_200	0.4860	0.3187
680	relative_P_30	0.1932	0.1405
680	relative_P_5	0.2018	0.1839
680	relative_P_500	0.6364	0.3309
680	set_F	0.0356	0.0165
680	set_P	0.0184	0.0087
680	set_map	0.0148	0.0097
680	set_recall	0.6939	0.3285
680	set_relative_P	0.6939	0.3285
680	success_1	0.1727	0.3780
680	success_10	0.8909	0.3118
680	success_5	0.6455	0.4784
680	utility	-892.4182	211.5982
681	11pt_avg	0.4919	0.1560
681	G	0.2269	0.0578
681	P_10	0.7055	0.2219
681	P_100	0.3342	0.0995
681	P_1000	0.0448	0.0109
681	P_15	0.6503	0.2010
681	P_20	0.6223	0.1884
681	P_200	0.1951	0.0526
681	P_30	0.5621	0.1686
681	P_5	0.7655	0.2513
681	P_500	0.0860	0.0212
681	Rndcg	0.5799	0.1419
681	Rprec	0.4760	0.1495
681	Rprec_mult_0.20	0.7055	0.2219
681	Rprec_mult_0.40	0.6223	0.1884
681	Rprec_mult_0.60	0.5621	0.1686
681	Rprec_mult_0.80	0.5214	0.1603
681	Rprec_mult_1.00	0.4760	0.1495
681	Rprec_mult_1.20	0.4415	0.1403
681	Rprec_mult_1.40	0.4073	0.1286
681	Rprec_mult_1.60	0.3785	0.1160
681	Rprec_mult_1.80	0.3565	0.1075
681	Rprec_mult_2.00	0.3342	0.0995
681	binG	0.2809	0.0824
681	bpref	0.4520	0.1552
681	infAP	0.4697	0.1634
681	iprec_at_recall_0.00	0.9505	0.1702
681	iprec_at_recall_0.10	0.8154	0.2276
681	iprec_at_recall_0.20	0.7081	0.2334
681	iprec_at_recall_0.30	0.6196	0.2274
681	iprec_at_recall_0.40	0.5509	0.2203
681	iprec_at_recall_0.50	0.4819	0.2103
681	iprec_at_recall_0.60	0.4268	0.2003
681	iprec_at_recall_0.70	0.3654	0.1912
681	iprec_at_recall_0.80	0.2823	0.1768
681	iprec_at_recall_0.90	0.1708	0.1494
681	iprec_at_recall_1.00	0.0389	0.0628
681	map	0.4697	0.1634
681	map_cut_10	0.1228	0.0494
681	map_cut_100	0.4250	0.1619
681	map_cut_1000	0.4697	0.1634
681	map_cut_15	0.1633	0.0636
681	map_cut_20	0.2012	0.0778
681	map_cut_200	0.4562	0.1642
681	map_cut_30	0.2587	0.0972
681	map_cut_5	0.0707	0.0294
681	map_cut_500	0.4673	0.1638
681	ndcg	0.7156	0.1631
681	ndcg_cut_10	0.5301	0.1740
681	ndcg_cut_100	0.6176	0.1569
681	ndcg_cut_1000	0.7156	0.1631
681	ndcg_cut_15	0.5429	0.1662
681	ndcg_cut_20	0.5500	0.1573
681	ndcg_cut_200	0.6723	0.1613
681	ndcg_cut_30	0.5437	0.1448
681	ndcg_cut_5	0.5468	0.2013
681	ndcg_cut_500	0.7035	0.1625
681	ndcg_rel	0.5941	0.1385
681	num_nonrel_judged_ret	250.9364	72.5784
681	num_rel	50.0000	0.0000
681	num_rel_ret	44.7818	10.8514
681	num_ret	916.8455	237.8033
681	prefs_avgjg	0.8203	0.2002
681	prefs_avgjg_Rnonrel	0.0827	0.0138
681	prefs_avgjg_Rnonrel_ret	0.1589	0.0462
681	prefs_avgjg_imp	0.8649	0.1420
681	prefs_avgjg_ret	0.8032	0.1344
681	prefs_num_prefs_ful	23202.0818	5661.9343
681	prefs_num_prefs_ful_ret	10007.8091	3764.9983
681	prefs_num_prefs_poss	28286.0000	0.0000
681	prefs_pair	0.8203	0.2002
681	prefs_pair_imp	0.8649	0.1420
681	prefs_pair_ret	0.8032	0.1344
681	prefs_simp	0.8203	0.2002
681	prefs_simp_imp	0.8649	0.1420
681	prefs_simp_ret	0.8032	0.1344
681	recall_10	0.1411	0.0444
681	recall_100	0.6684	0.1991
681	recall_1000	0.8956	0.2170
681	recall_15	0.1951	0.0603
681	recall_20	0.2489	0.0753
681	recall_200	0.7805	0.2105
681	recall_30	0.3373	0.1012
681	recall_5	0.0765	0.0251
681	recall_500	0.8602	0.2119
681	recip_rank	0.9246	0.2232
681	relative_P_10	0.7055	0.2219
681	relative_P_100	0.6684	0.1991
681	relative_P_1000	0.8956	0.2170
681	relative_P_15	0.6503	0.2010
681	relative_P_20	0.6223	0.1884
681	relative_P_200	0.7805	0.2105
681	relative_P_30	0.5621	0.1686
681	relative_P_5	0.7655	0.2513
681	relative_P_500	0.8602	0.2119
681	set_F	   nan	   nan
681	set_P	0.0508	0.0223
681	set_map	0.0463	0.0190
681	set_recall	0.8956	0.2170
681	set_relative_P	0.8956	0.2170
681	success_1	0.8909	0.3118
681	success_10	0.9818	0.1336
681	success_5	0.9727	0.1629
681	utility	-827.2818	219.5011
682	11pt_avg	0.2595	0.1115
682	G	0.1734	0.0476
682	P_10	0.4536	0.1817
682	P_100	0.1892	0.0591
682	P_1000	0.0333	0.0068
682	P_15	0.4164	0.1663
682	P_20	0.3791	0.1420
682	P_200	0.1240	0.0328
682	P_30	0.3191	0.1226
682	P_5	0.5164	0.2688
682	P_500	0.0604	0.0133
682	Rndcg	0.4135	0.1403
682	Rprec	0.2832	0.1084
682	Rprec_mult_0.20	0.4545	0.1904
682	Rprec_mult_0.40	0.4005	0.1508
682	Rprec_mult_0.60	0.3480	0.1326
682	Rprec_mult_0.80	0.3085	0.1183
682	Rprec_mult_1.00	0.2832	0.1084
682	Rprec_mult_1.20	0.2620	0.0981
682	Rprec_mult_1.40	0.2459	0.0929
682	Rprec_mult_1.60	0.2333	0.0886
682	Rprec_mult_1.80	0.2210	0.0804
682	Rprec_mult_2.00	0.2101	0.0737
682	binG	0.1930	0.0602
682	bpref	0.2310	0.0992
682	infAP	0.2357	0.1127
682	iprec_at_recall_0.00	0.7978	0.2747
682	iprec_at_recall_0.10	0.5348	0.2232
682	iprec_at_recall_0.20	0.3850	0.1985
682	iprec_at_recall_0.30	0.3081	0.1672
682	iprec_at_recall_0.40	0.2583	0.1486
682	iprec_at_recall_0.50	0.2027	0.1312
682	iprec_at_recall_0.60	0.1510	0.1097
682	iprec_at_recall_0.70	0.1103	0.0879
682	iprec_at_recall_0.80	0.0700	0.0644
682	iprec_at_recall_0.90	0.0322	0.0444
682	iprec_at_recall_1.00	0.0045	0.0152
682	map	0.2357	0.1127
682	map_cut_10	0.0765	0.0456
682	map_cut_100	0.1968	0.1046
682	map_cut_1000	0.2357	0.1127
682	map_cut_15	0.0982	0.0562
682	map_cut_20	0.1129	0.0638
682	map_cut_200	0.2199	0.1108
682	map_cut_30	0.1331	0.0756
682	map_cut_5	0.0500	0.0346
682	map_cut_500	0.2321	0.1127
682	ndcg	0.5583	0.1380
682	ndcg_cut_10	0.3794	0.1703
682	ndcg_cut_100	0.4197	0.1382
682	ndcg_cut_1000	0.5583	0.1380
682	ndcg_cut_15	0.3815	0.1576
682	ndcg_cut_20	0.3734	0.1457
682	ndcg_cut_200	0.4826	0.1418
682	ndcg_cut_30	0.3459	0.1343
682	ndcg_cut_5	0.3566	0.1901
682	ndcg_cut_500	0.5329	0.1401
682	ndcg_rel	0.4560	0.1187
682	num_nonrel_judged_ret	325.7182	82.3076
682	num_rel	41.0000	0.0000
682	num_rel_ret	33.2909	6.8255
682	num_ret	920.5727	227.5341
682	prefs_avgjg	0.7055	0.1484
682	prefs_avgjg_Rnonrel	0.0438	0.0059
682	prefs_avgjg_Rnonrel_ret	0.0761	0.0154
682	prefs_avgjg_imp	0.7904	0.0697
682	prefs_avgjg_ret	0.7106	0.0967
682	prefs_num_prefs_ful	19911.5727	4188.3850
682	prefs_num_prefs_ful_ret	8431.5091	3672.0182
682	prefs_num_prefs_poss	28224.0000	0.0000
682	prefs_pair	0.7055	0.1484
682	prefs_pair_imp	0.7904	0.0697
682	prefs_pair_ret	0.7106	0.0967
682	prefs_simp	0.7055	0.1484
682	prefs_simp_imp	0.7904	0.0697
682	prefs_simp_ret	0.7106	0.0967
682	recall_10	0.1107	0.0443
682	recall_100	0.4614	0.1442
682	recall_1000	0.8120	0.1665
682	recall_15	0.1523	0.0608
682	recall_20	0.1849	0.0693
682	recall_200	0.6051	0.1602
682	recall_30	0.2335	0.0897
682	recall_5	0.0630	0.0328
682	recall_500	0.7364	0.1626
682	recip_rank	0.7148	0.3487
682	relative_P_10	0.4536	0.1817
682	relative_P_100	0.4614	0.1442
682	relative_P_1000	0.8120	0.1665
682	relative_P_15	0.4164	0.1663
682	relative_P_20	0.3791	0.1420
682	relative_P_200	0.6051	0.1602
682	relative_P_30	0.3191	0.1226
682	relative_P_5	0.5164	0.2688
682	relative_P_500	0.7364	0.1626
682	set_F	0.0729	0.0181
682	set_P	0.0387	0.0114
682	set_map	0.0306	0.0072
682	set_recall	0.8120	0.1665
682	set_relative_P	0.8120	0.1665
682	success_1	0.5818	0.4933
682	success_10	0.9727	0.1629
682	success_5	0.9182	0.2741
682	utility	-853.9909	217.0239
683	11pt_avg	0.2364	0.1279
683	G	0.1259	0.0583
683	P_10	0.5018	0.2128
683	P_100	0.2545	0.1307
683	P_1000	0.0721	0.0298
683	P_15	0.4697	0.2064
683	P_20	0.4477	0.2044
683	P_200	0.1929	0.0952
683	P_30	0.3942	0.1955
683	P_5	0.5709	0.2556
683	P_500	0.1175	0.0517
683	Rndcg	0.3914	0.1634
683	Rprec	0.2527	0.1297
683	Rprec_mult_0.20	0.4437	0.2012
683	Rprec_mult_0.40	0.3500	0.1770
683	Rprec_mult_0.60	0.3000	0.1535
683	Rprec_mult_0.80	0.2704	0.1416
683	Rprec_mult_1.00	0.2527	0.1297
683	Rprec_mult_1.20	0.2353	0.1200
683	Rprec_mult_1.40	0.2228	0.1130
683	Rprec_mult_1.60	0.2097	0.1061
683	Rprec_mult_1.80	0.1981	0.0999
683	Rprec_mult_2.00	0.1901	0.0936
683	binG	0.1367	0.0642
683	bpref	0.2067	0.1188
683	infAP	0.2093	0.1366
683	iprec_at_recall_0.00	0.7908	0.2535
683	iprec_at_recall_0.10	0.4336	0.2579
683	iprec_at_recall_0.20	0.3273	0.2276
683	iprec_at_recall_0.30	0.2622	0.1930
683	iprec_at_recall_0.40	0.2105	0.1638
683	iprec_at_recall_0.50	0.1789	0.1434
683	iprec_at_recall_0.60	0.1458	0.1293
683	iprec_at_recall_0.70	0.1178	0.1105
683	iprec_at_recall_0.80	0.0847	0.0856
683	iprec_at_recall_0.90	0.0486	0.0673
683	iprec_at_recall_1.00	0.0000	0.0000
683	map	0.2093	0.1366
683	map_cut_10	0.0346	0.0222
683	map_cut_100	0.1253	0.0939
683	map_cut_1000	0.2093	0.1366
683	map_cut_15	0.0465	0.0307
683	map_cut_20	0.0571	0.0393
683	map_cut_200	0.1606	0.1176
683	map_cut_30	0.0725	0.0524
683	map_cut_5	0.0211	0.0127
683	map_cut_500	0.1953	0.1328
683	ndcg	0.5545	0.2146
683	ndcg_cut_10	0.4938	0.2066
683	ndcg_cut_100	0.3100	0.1453
683	ndcg_cut_1000	0.5545	0.2146
683	ndcg_cut_15	0.4696	0.1993
683	ndcg_cut_20	0.4521	0.1958
683	ndcg_cut_200	0.3895	0.1778
683	ndcg_cut_30	0.4114	0.1872
683	ndcg_cut_5	0.5430	0.2436
683	ndcg_cut_500	0.4939	0.2036
683	ndcg_rel	0.4564	0.1653
683	num_nonrel_judged_ret	370.9000	110.3649
683	num_rel	103.0000	0.0000
683	num_rel_ret	72.1273	29.8213
683	num_ret	913.8545	247.9181
683	prefs_avgjg	0.5625	0.2394
683	prefs_avgjg_Rnonrel	0.0948	0.0204
683	prefs_avgjg_Rnonrel_ret	0.1370	0.0572
683	prefs_avgjg_imp	0.6498	0.1734
683	prefs_avgjg_ret	0.6202	0.1101
683	prefs_num_prefs_ful	44509.3364	18943.3125
683	prefs_num_prefs_ful_ret	18770.8000	9721.4335
683	prefs_num_prefs_poss	79131.0000	0.0000
683	prefs_pair	0.5625	0.2394
683	prefs_pair_imp	0.6498	0.1734
683	prefs_pair_ret	0.6202	0.1101
683	prefs_simp	0.5625	0.2394
683	prefs_simp_imp	0.6498	0.1734
683	prefs_simp_ret	0.6202	0.1101
683	recall_10	0.0487	0.0207
683	recall_100	0.2471	0.1269
683	recall_1000	0.7003	0.2895
683	recall_15	0.0684	0.0301
683	recall_20	0.0869	0.0397
683	recall_200	0.3745	0.1849
683	recall_30	0.1148	0.0570
683	recall_5	0.0277	0.0124
683	recall_500	0.5704	0.2509
683	recip_rank	0.6998	0.3055
683	relative_P_10	0.5018	0.2128
683	relative_P_100	0.2545	0.1307
683	relative_P_1000	0.7003	0.2895
683	relative_P_15	0.4697	0.2064
683	relative_P_20	0.4477	0.2044
683	relative_P_200	0.3745	0.1849
683	relative_P_30	0.3942	0.1955
683	relative_P_5	0.5709	0.2556
683	relative_P_500	0.5704	0.2509
683	set_F	0.1386	0.0475
683	set_P	0.0795	0.0254
683	set_map	0.0606	0.0328
683	set_recall	0.7003	0.2895
683	set_relative_P	0.7016	0.2865
683	success_1	0.4818	0.4997
683	success_10	0.9727	0.1629
683	success_5	0.9545	0.2083
683	utility	-769.6000	214.7782
684	11pt_avg	0.0510	0.0534
684	G	0.0619	0.0421
684	P_10	0.1027	0.1275
684	P_100	0.0560	0.0478
684	P_1000	0.0170	0.0104
684	P_15	0.0855	0.0948
684	P_20	0.0814	0.0825
684	P_200	0.0431	0.0356
684	P_30	0.0724	0.0738
684	P_5	0.0964	0.1394
684	P_500	0.0266	0.0192
684	Rndcg	0.1141	0.0891
684	Rprec	0.0707	0.0648
684	Rprec_mult_0.20	0.1050	0.1355
684	Rprec_mult_0.40	0.0829	0.0877
684	Rprec_mult_0.60	0.0771	0.0783
684	Rprec_mult_0.80	0.0722	0.0717
684	Rprec_mult_1.00	0.0707	0.0648
684	Rprec_mult_1.20	0.0656	0.0607
684	Rprec_mult_1.40	0.0613	0.0551
684	Rprec_mult_1.60	0.0608	0.0547
684	Rprec_mult_1.80	0.0598	0.0521
684	Rprec_mult_2.00	0.0594	0.0522
684	binG	0.0673	0.0448
684	bpref	0.0447	0.0439
684	infAP	0.0389	0.0441
684	iprec_at_recall_0.00	0.2620	0.3092
684	iprec_at_recall_0.10	0.0903	0.1069
684	iprec_at_recall_0.20	0.0593	0.0681
684	iprec_at_recall_0.30	0.0452	0.0588
684	iprec_at_recall_0.40	0.0357	0.0570
684	iprec_at_recall_0.50	0.0255	0.0492
684	iprec_at_recall_0.60	0.0177	0.0402
684	iprec_at_recall_0.70	0.0126	0.0329
684	iprec_at_recall_0.80	0.0087	0.0240
684	iprec_at_recall_0.90	0.0043	0.0148
684	iprec_at_recall_1.00	0.0000	0.0000
684	map	0.0389	0.0441
684	map_cut_10	0.0103	0.0175
684	map_cut_100	0.0247	0.0307
684	map_cut_1000	0.0389	0.0441
684	map_cut_15	0.0115	0.0185
684	map_cut_20	0.0129	0.0189
684	map_cut_200	0.0308	0.0377
684	map_cut_30	0.0152	0.0206
684	map_cut_5	0.0064	0.0126
684	map_cut_500	0.0367	0.0427
684	ndcg	0.2126	0.1435
684	ndcg_cut_10	0.0704	0.0944
684	ndcg_cut_100	0.1032	0.0910
684	ndcg_cut_1000	0.2126	0.1435
684	ndcg_cut_15	0.0612	0.0761
684	ndcg_cut_20	0.0642	0.0733
684	ndcg_cut_200	0.1367	0.1164
684	ndcg_cut_30	0.0658	0.0709
684	ndcg_cut_5	0.0705	0.1160
684	ndcg_cut_500	0.1809	0.1395
684	ndcg_rel	0.1716	0.1036
684	num_nonrel_judged_ret	323.1545	102.4441
684	num_rel	41.0000	0.0000
684	num_rel_ret	17.0182	10.3607
684	num_ret	919.9091	229.1774
684	prefs_avgjg	0.3609	0.2256
684	prefs_avgjg_Rnonrel	0.0202	0.0026
684	prefs_avgjg_Rnonrel_ret	0.0307	0.0222
684	prefs_avgjg_imp	0.5538	0.2275
684	prefs_avgjg_ret	0.4980	0.2004
684	prefs_num_prefs_ful	17391.9727	10873.1517
684	prefs_num_prefs_ful_ret	3447.6818	2762.5356
684	prefs_num_prefs_poss	48196.0000	0.0000
684	prefs_pair	0.3609	0.2256
684	prefs_pair_imp	0.5538	0.2275
684	prefs_pair_ret	0.4980	0.2004
684	prefs_simp	0.3609	0.2256
684	prefs_simp_imp	0.5538	0.2275
684	prefs_simp_ret	0.4980	0.2004
684	recall_10	0.0251	0.0311
684	recall_100	0.1366	0.1166
684	recall_1000	0.4151	0.2527
684	recall_15	0.0313	0.0347
684	recall_20	0.0397	0.0403
684	recall_200	0.2102	0.1735
684	recall_30	0.0530	0.0540
684	recall_5	0.0118	0.0170
684	recall_500	0.3248	0.2340
684	recip_rank	0.2321	0.3152
684	relative_P_10	0.1027	0.1275
684	relative_P_100	0.1366	0.1166
684	relative_P_1000	0.4151	0.2527
684	relative_P_15	0.0855	0.0948
684	relative_P_20	0.0814	0.0825
684	relative_P_200	0.2102	0.1735
684	relative_P_30	0.0724	0.0738
684	relative_P_5	0.0964	0.1394
684	relative_P_500	0.3248	0.2340
684	set_F	   nan	   nan
684	set_P	0.0179	0.0126
684	set_map	0.0102	0.0113
684	set_recall	0.4151	0.2527
684	set_relative_P	0.4151	0.2527
684	success_1	0.1273	0.3333
684	success_10	0.5091	0.4999
684	success_5	0.3818	0.4858
684	utility	-885.8727	220.7829
685	11pt_avg	0.2220	0.1130
685	G	0.2044	0.0571
685	P_10	0.2291	0.1416
685	P_100	0.0834	0.0282
685	P_1000	0.0114	0.0021
685	P_15	0.2036	0.1274
685	P_20	0.1945	0.0992
685	P_200	0.0490	0.0116
685	P_30	0.1742	0.0816
685	P_5	0.2873	0.1840
685	P_500	0.0220	0.0042
685	Rndcg	0.2794	0.1149
685	Rprec	0.2077	0.1277
685	Rprec_mult_0.20	0.3212	0.2289
685	Rprec_mult_0.40	0.2682	0.1757
685	Rprec_mult_0.60	0.2432	0.1598
685	Rprec_mult_0.80	0.2248	0.1385
685	Rprec_mult_1.00	0.2077	0.1277
685	Rprec_mult_1.20	0.2000	0.1191
685	Rprec_mult_1.40	0.1971	0.1037
685	Rprec_mult_1.60	0.1926	0.0949
685	Rprec_mult_1.80	0.1883	0.0897
685	Rprec_mult_2.00	0.1839	0.0858
685	binG	0.2301	0.0657
685	bpref	0.1622	0.1070
685	infAP	0.2015	0.1055
685	iprec_at_recall_0.00	0.6245	0.3393
685	iprec_at_recall_0.10	0.4118	0.2224
685	iprec_at_recall_0.20	0.2965	0.1947
685	iprec_at_recall_0.30	0.2610	0.1653
685	iprec_at_recall_0.40	0.2177	0.1464
685	iprec_at_recall_0.50	0.1921	0.1318
685	iprec_at_recall_0.60	0.1605	0.1261
685	iprec_at_recall_0.70	0.1264	0.1131
685	iprec_at_recall_0.80	0.0819	0.0789
685	iprec_at_recall_0.90	0.0584	0.0619
685	iprec_at_recall_1.00	0.0116	0.0267
685	map	0.2015	0.1055
685	map_cut_10	0.0961	0.0684
685	map_cut_100	0.1905	0.1081
685	map_cut_1000	0.2015	0.1055
685	map_cut_15	0.1153	0.0841
685	map_cut_20	0.1301	0.0879
685	map_cut_200	0.1974	0.1069
685	map_cut_30	0.1539	0.0992
685	map_cut_5	0.0705	0.0524
685	map_cut_500	0.2009	0.1057
685	ndcg	0.4636	0.1203
685	ndcg_cut_10	0.1950	0.1333
685	ndcg_cut_100	0.4055	0.1497
685	ndcg_cut_1000	0.4636	0.1203
685	ndcg_cut_15	0.2166	0.1427
685	ndcg_cut_20	0.2586	0.1435
685	ndcg_cut_200	0.4364	0.1332
685	ndcg_cut_30	0.3119	0.1554
685	ndcg_cut_5	0.1821	0.1259
685	ndcg_cut_500	0.4580	0.1224
685	ndcg_rel	0.3538	0.1035
685	num_nonrel_judged_ret	286.2636	73.8235
685	num_rel	13.0000	0.0000
685	num_rel_ret	11.4000	2.0547
685	num_ret	914.4000	245.9586
685	prefs_avgjg	0.7630	0.1494
685	prefs_avgjg_Rnonrel	0.0203	0.0032
685	prefs_avgjg_Rnonrel_ret	0.0301	0.0078
685	prefs_avgjg_imp	0.8162	0.0828
685	prefs_avgjg_ret	0.7821	0.1177
685	prefs_num_prefs_ful	4718.9455	923.7472
685	prefs_num_prefs_ful_ret	2711.4455	1030.1226
685	prefs_num_prefs_poss	6185.0000	0.0000
685	prefs_pair	0.7630	0.1494
685	prefs_pair_imp	0.8162	0.0828
685	prefs_pair_ret	0.7821	0.1177
685	prefs_simp	0.7630	0.1494
685	prefs_simp_imp	0.8162	0.0828
685	prefs_simp_ret	0.7821	0.1177
685	recall_10	0.1762	0.1090
685	recall_100	0.6413	0.2172
685	recall_1000	0.8769	0.1581
685	recall_15	0.2350	0.1470
685	recall_20	0.2993	0.1526
685	recall_200	0.7539	0.1787
685	recall_30	0.4021	0.1883
685	recall_5	0.1105	0.0707
685	recall_500	0.8469	0.1602
685	recip_rank	0.5735	0.3666
685	relative_P_10	0.2291	0.1416
685	relative_P_100	0.6413	0.2172
685	relative_P_1000	0.8769	0.1581
685	relative_P_15	0.2350	0.1470
685	relative_P_20	0.2993	0.1526
685	relative_P_200	0.7539	0.1787
685	relative_P_30	0.4021	0.1883
685	relative_P_5	0.2873	0.1840
685	relative_P_500	0.8469	0.1602
685	set_F	0.0275	0.0113
685	set_P	0.0142	0.0068
685	set_map	0.0116	0.0026
685	set_recall	0.8769	0.1581
685	set_relative_P	0.8769	0.1581
685	success_1	0.3909	0.4880
685	success_10	0.8909	0.3118
685	success_5	0.8000	0.4000
685	utility	-891.6000	242.3621
686	11pt_avg	0.4144	0.1407
686	G	0.2192	0.0552
686	P_10	0.6027	0.1703
686	P_100	0.2138	0.0711
686	P_1000	0.0284	0.0069
686	P_15	0.5364	0.1486
686	P_20	0.4977	0.1443
686	P_200	0.1205	0.0365
686	P_30	0.4448	0.1434
686	P_5	0.6436	0.1914
686	P_500	0.0542	0.0140
686	Rndcg	0.4770	0.1072
686	Rprec	0.4307	0.1422
686	Rprec_mult_0.20	0.6312	0.1891
686	Rprec_mult_0.40	0.5643	0.1508
686	Rprec_mult_0.60	0.4977	0.1443
686	Rprec_mult_0.80	0.4706	0.1452
686	Rprec_mult_1.00	0.4307	0.1422
686	Rprec_mult_1.20	0.3884	0.1358
686	Rprec_mult_1.40	0.3644	0.1239
686	Rprec_mult_1.60	0.3372	0.1160
686	Rprec_mult_1.80	0.3146	0.1083
686	Rprec_mult_2.00	0.2962	0.1018
686	binG	0.2688	0.0733
686	bpref	0.3871	0.1333
686	infAP	0.3921	0.1457
686	iprec_at_recall_0.00	0.8891	0.1745
686	iprec_at_recall_0.10	0.7175	0.1928
686	iprec_at_recall_0.20	0.6193	0.2455
686	iprec_at_recall_0.30	0.5300	0.2174
686	iprec_at_recall_0.40	0.4653	0.2099
686	iprec_at_recall_0.50	0.4092	0.2044
686	iprec_at_recall_0.60	0.3404	0.1968
686	iprec_at_recall_0.70	0.2807	0.1785
686	iprec_at_recall_0.80	0.1841	0.1334
686	iprec_at_recall_0.90	0.1100	0.0927
686	iprec_at_recall_1.00	0.0127	0.0357
686	map	0.3921	0.1457
686	map_cut_10	0.1406	0.0529
686	map_cut_100	0.3681	0.1454
686	map_cut_1000	0.3921	0.1457
686	map_cut_15	0.1804	0.0659
686	map_cut_20	0.2149	0.0795
686	map_cut_200	0.3825	0.1479
686	map_cut_30	0.2724	0.1057
686	map_cut_5	0.0792	0.0340
686	map_cut_500	0.3904	0.1467
686	ndcg	0.6336	0.1369
686	ndcg_cut_10	0.4273	0.1184
686	ndcg_cut_100	0.5566	0.1533
686	ndcg_cut_1000	0.6336	0.1369
686	ndcg_cut_15	0.4436	0.1146
686	ndcg_cut_20	0.4489	0.1144
686	ndcg_cut_200	0.5901	0.1516
686	ndcg_cut_30	0.4444	0.1199
686	ndcg_cut_5	0.3584	0.1172
686	ndcg_cut_500	0.6219	0.1423
686	ndcg_rel	0.4998	0.1013
686	num_nonrel_judged_ret	330.9182	92.1322
686	num_rel	32.0000	0.0000
686	num_rel_ret	28.3545	6.9434
686	num_ret	930.6545	215.7612
686	prefs_avgjg	0.8068	0.2013
686	prefs_avgjg_Rnonrel	0.0469	0.0069
686	prefs_avgjg_Rnonrel_ret	0.0795	0.0278
686	prefs_avgjg_imp	0.8538	0.1233
686	prefs_avgjg_ret	0.8391	0.1017
686	prefs_num_prefs_ful	15909.0364	3968.8090
686	prefs_num_prefs_ful_ret	8406.4455	3301.8667
686	prefs_num_prefs_poss	19719.0000	0.0000
686	prefs_pair	0.8068	0.2013
686	prefs_pair_imp	0.8538	0.1233
686	prefs_pair_ret	0.8391	0.1017
686	prefs_simp	0.8068	0.2013
686	prefs_simp_imp	0.8538	0.1233
686	prefs_simp_ret	0.8391	0.1017
686	recall_10	0.1884	0.0532
686	recall_100	0.6682	0.2222
686	recall_1000	0.8861	0.2170
686	recall_15	0.2514	0.0697
686	recall_20	0.3111	0.0902
686	recall_200	0.7528	0.2279
686	recall_30	0.4170	0.1344
686	recall_5	0.1006	0.0299
686	recall_500	0.8469	0.2186
686	recip_rank	0.7890	0.2818
686	relative_P_10	0.6027	0.1703
686	relative_P_100	0.6682	0.2222
686	relative_P_1000	0.8861	0.2170
686	relative_P_15	0.5364	0.1486
686	relative_P_20	0.4977	0.1443
686	relative_P_200	0.7528	0.2279
686	relative_P_30	0.4448	0.1434
686	relative_P_5	0.6436	0.1914
686	relative_P_500	0.8469	0.2186
686	set_F	0.0590	0.0156
686	set_P	0.0307	0.0088
686	set_map	0.0277	0.0088
686	set_recall	0.8861	0.2170
686	set_relative_P	0.8861	0.2170
686	success_1	0.6273	0.4835
686	success_10	0.9909	0.0949
686	success_5	0.9909	0.0949
686	utility	-873.9455	203.1742
687	11pt_avg	0.2079	0.0895
687	G	0.1184	0.0291
687	P_10	0.3964	0.2136
687	P_100	0.2205	0.0982
687	P_1000	0.0674	0.0137
687	P_15	0.3636	0.1956
687	P_20	0.3350	0.1751
687	P_200	0.1620	0.0627
687	P_30	0.3055	0.1576
687	P_5	0.4218	0.2417
687	P_500	0.0998	0.0264
687	Rndcg	0.3158	0.1018
687	Rprec	0.2309	0.1067
687	Rprec_mult_0.20	0.3460	0.1782
687	Rprec_mult_0.40	0.3005	0.1522
687	Rprec_mult_0.60	0.2729	0.1365
687	Rprec_mult_0.80	0.2484	0.1209
687	Rprec_mult_1.00	0.2309	0.1067
687	Rprec_mult_1.20	0.2161	0.0948
687	Rprec_mult_1.40	0.2033	0.0856
687	Rprec_mult_1.60	0.1895	0.0790
687	Rprec_mult_1.80	0.1806	0.0740
687	Rprec_mult_2.00	0.1720	0.0695
687	binG	0.1370	0.0394
687	bpref	0.1791	0.0925
687	infAP	0.1742	0.0892
687	iprec_at_recall_0.00	0.7743	0.2999
687	iprec_at_recall_0.10	0.3755	0.2055
687	iprec_at_recall_0.20	0.2940	0.1640
687	iprec_at_recall_0.30	0.2386	0.1387
687	iprec_at_recall_0.40	0.1913	0.1073
687	iprec_at_recall_0.50	0.1416	0.0918
687	iprec_at_recall_0.60	0.1122	0.0747
687	iprec_at_recall_0.70	0.0910	0.0568
687	iprec_at_recall_0.80	0.0553	0.0469
687	iprec_at_recall_0.90	0.0131	0.0320
687	iprec_at_recall_1.00	0.0000	0.0000
687	map	0.1742	0.0892
687	map_cut_10	0.0309	0.0215
687	map_cut_100	0.1056	0.0709
687	map_cut_1000	0.1742	0.0892
687	map_cut_15	0.0396	0.0278
687	map_cut_20	0.0460	0.0317
687	map_cut_200	0.1308	0.0827
687	map_cut_30	0.0578	0.0398
687	map_cut_5	0.0191	0.0140
687	map_cut_500	0.1575	0.0879
687	ndcg	0.5045	0.1220
687	ndcg_cut_10	0.2360	0.1069
687	ndcg_cut_100	0.2470	0.1054
687	ndcg_cut_1000	0.5045	0.1220
687	ndcg_cut_15	0.2227	0.1024
687	ndcg_cut_20	0.2108	0.0962
687	ndcg_cut_200	0.3169	0.1227
687	ndcg_cut_30	0.2250	0.1046
687	ndcg_cut_5	0.2552	0.1346
687	ndcg_cut_500	0.4159	0.1259
687	ndcg_rel	0.3741	0.0874
687	num_nonrel_judged_ret	386.0091	94.8208
687	num_rel	87.0000	0.0000
687	num_rel_ret	67.3545	13.7461
687	num_ret	931.8182	215.6098
687	prefs_avgjg	0.5105	0.1210
687	prefs_avgjg_Rnonrel	0.1070	0.0154
687	prefs_avgjg_Rnonrel_ret	0.1150	0.0247
687	prefs_avgjg_imp	0.5566	0.1014
687	prefs_avgjg_ret	0.5497	0.1123
687	prefs_num_prefs_ful	23335.2727	5528.6873
687	prefs_num_prefs_ful_ret	15905.3091	6660.8231
687	prefs_num_prefs_poss	45710.0000	0.0000
687	prefs_pair	0.5105	0.1210
687	prefs_pair_imp	0.5566	0.1014
687	prefs_pair_ret	0.5497	0.1123
687	prefs_simp	0.5105	0.1210
687	prefs_simp_imp	0.5566	0.1014
687	prefs_simp_ret	0.5497	0.1123
687	recall_10	0.0456	0.0246
687	recall_100	0.2535	0.1129
687	recall_1000	0.7742	0.1580
687	recall_15	0.0627	0.0337
687	recall_20	0.0770	0.0402
687	recall_200	0.3723	0.1440
687	recall_30	0.1053	0.0543
687	recall_5	0.0243	0.0139
687	recall_500	0.5736	0.1516
687	recip_rank	0.7309	0.3384
687	relative_P_10	0.3964	0.2136
687	relative_P_100	0.2535	0.1129
687	relative_P_1000	0.7742	0.1580
687	relative_P_15	0.3636	0.1956
687	relative_P_20	0.3350	0.1751
687	relative_P_200	0.3723	0.1440
687	relative_P_30	0.3055	0.1576
687	relative_P_5	0.4218	0.2417
687	relative_P_500	0.5736	0.1516
687	set_F	0.1371	0.0358
687	set_P	0.0770	0.0268
687	set_map	0.0587	0.0155
687	set_recall	0.7742	0.1580
687	set_relative_P	0.7742	0.1580
687	success_1	0.5909	0.4917
687	success_10	0.9636	0.1872
687	success_5	0.9182	0.2741
687	utility	-797.1091	196.2869
688	11pt_avg	0.1094	0.0680
688	G	0.0595	0.0298
688	P_10	0.2555	0.2122
688	P_100	0.2137	0.1249
688	P_1000	0.0627	0.0291
688	P_15	0.2570	0.1942
688	P_20	0.2573	0.1829
688	P_200	0.1568	0.0819
688	P_30	0.2630	0.1790
688	P_5	0.2400	0.2498
688	P_500	0.0954	0.0457
688	Rndcg	0.2342	0.1213
688	Rprec	0.1745	0.0940
688	Rprec_mult_0.20	0.2595	0.1737
688	Rprec_mult_0.40	0.2369	0.1458
688	Rprec_mult_0.60	0.2158	0.1267
688	Rprec_mult_0.80	0.1938	0.1090
688	Rprec_mult_1.00	0.1745	0.0940
688	Rprec_mult_1.20	0.1596	0.0835
688	Rprec_mult_1.40	0.1476	0.0765
688	Rprec_mult_1.60	0.1368	0.0701
688	Rprec_mult_1.80	0.1288	0.0656
688	Rprec_mult_2.00	0.1213	0.0605
688	binG	0.0648	0.0316
688	bpref	0.1462	0.0848
688	infAP	0.0868	0.0597
688	iprec_at_recall_0.00	0.4843	0.3429
688	iprec_at_recall_0.10	0.2770	0.1741
688	iprec_at_recall_0.20	0.1941	0.1384
688	iprec_at_recall_0.30	0.1214	0.1022
688	iprec_at_recall_0.40	0.0740	0.0804
688	iprec_at_recall_0.50	0.0383	0.0652
688	iprec_at_recall_0.60	0.0126	0.0384
688	iprec_at_recall_0.70	0.0022	0.0159
688	iprec_at_recall_0.80	0.0000	0.0000
688	iprec_at_recall_0.90	0.0000	0.0000
688	iprec_at_recall_1.00	0.0000	0.0000
688	map	0.0868	0.0597
688	map_cut_10	0.0085	0.0101
688	map_cut_100	0.0489	0.0387
688	map_cut_1000	0.0868	0.0597
688	map_cut_15	0.0118	0.0124
688	map_cut_20	0.0149	0.0147
688	map_cut_200	0.0630	0.0474
688	map_cut_30	0.0215	0.0199
688	map_cut_5	0.0049	0.0064
688	map_cut_500	0.0780	0.0556
688	ndcg	0.3196	0.1501
688	ndcg_cut_10	0.2396	0.2191
688	ndcg_cut_100	0.1951	0.1196
688	ndcg_cut_1000	0.3196	0.1501
688	ndcg_cut_15	0.2385	0.1959
688	ndcg_cut_20	0.2383	0.1843
688	ndcg_cut_200	0.2043	0.1130
688	ndcg_cut_30	0.2378	0.1726
688	ndcg_cut_5	0.2314	0.2487
688	ndcg_cut_500	0.2671	0.1324
688	ndcg_rel	0.2877	0.1304
688	num_nonrel_judged_ret	258.4000	88.9023
688	num_rel	161.0000	0.0000
688	num_rel_ret	62.7455	29.1115
688	num_ret	913.6636	248.5791
688	prefs_avgjg	0.3348	0.1544
688	prefs_avgjg_Rnonrel	0.1014	0.0227
688	prefs_avgjg_Rnonrel_ret	0.1545	0.0803
688	prefs_avgjg_imp	0.5662	0.1725
688	prefs_avgjg_ret	0.5164	0.1561
688	prefs_num_prefs_ful	50882.3364	23468.2680
688	prefs_num_prefs_ful_ret	10266.6909	6259.5874
688	prefs_num_prefs_poss	152001.0000	0.0000
688	prefs_pair	0.3348	0.1544
688	prefs_pair_imp	0.5662	0.1725
688	prefs_pair_ret	0.5164	0.1561
688	prefs_simp	0.3348	0.1544
688	prefs_simp_imp	0.5662	0.1725
688	prefs_simp_ret	0.5164	0.1561
688	recall_10	0.0159	0.0132
688	recall_100	0.1327	0.0776
688	recall_1000	0.3897	0.1808
688	recall_15	0.0239	0.0181
688	recall_20	0.0320	0.0227
688	recall_200	0.1947	0.1017
688	recall_30	0.0490	0.0334
688	recall_5	0.0074	0.0077
688	recall_500	0.2963	0.1420
688	recip_rank	0.4026	0.3710
688	relative_P_10	0.2555	0.2122
688	relative_P_100	0.2137	0.1249
688	relative_P_1000	0.3897	0.1808
688	relative_P_15	0.2570	0.1942
688	relative_P_20	0.2573	0.1829
688	relative_P_200	0.1947	0.1017
688	relative_P_30	0.2630	0.1790
688	relative_P_5	0.2400	0.2498
688	relative_P_500	0.2963	0.1420
688	set_F	   nan	   nan
688	set_P	0.0692	0.0309
688	set_map	0.0309	0.0204
688	set_recall	0.3897	0.1808
688	set_relative_P	0.3897	0.1808
688	success_1	0.2364	0.4248
688	success_10	0.7273	0.4454
688	success_5	0.5909	0.4917
688	utility	-788.1727	223.6212
689	11pt_avg	0.0765	0.0932
689	G	0.1038	0.0723
689	P_10	0.1073	0.1463
689	P_100	0.0407	0.0320
689	P_1000	0.0093	0.0042
689	P_15	0.0964	0.1195
689	P_20	0.0873	0.0969
689	P_200	0.0283	0.0172
689	P_30	0.0764	0.0783
689	P_5	0.1182	0.2005
689	P_500	0.0157	0.0078
689	Rndcg	0.1622	0.1492
689	Rprec	0.0914	0.1081
689	Rprec_mult_0.20	0.1182	0.2042
689	Rprec_mult_0.40	0.1182	0.1700
689	Rprec_mult_0.60	0.1066	0.1413
689	Rprec_mult_0.80	0.0974	0.1232
689	Rprec_mult_1.00	0.0914	0.1081
689	Rprec_mult_1.20	0.0870	0.0941
689	Rprec_mult_1.40	0.0818	0.0870
689	Rprec_mult_1.60	0.0779	0.0825
689	Rprec_mult_1.80	0.0751	0.0777
689	Rprec_mult_2.00	0.0714	0.0717
689	binG	0.1091	0.0730
689	bpref	0.0670	0.0881
689	infAP	0.0649	0.0820
689	iprec_at_recall_0.00	0.2846	0.3490
689	iprec_at_recall_0.10	0.2046	0.2753
689	iprec_at_recall_0.20	0.1119	0.1677
689	iprec_at_recall_0.30	0.0978	0.1440
689	iprec_at_recall_0.40	0.0730	0.1111
689	iprec_at_recall_0.50	0.0312	0.0502
689	iprec_at_recall_0.60	0.0167	0.0330
689	iprec_at_recall_0.70	0.0107	0.0248
689	iprec_at_recall_0.80	0.0061	0.0180
689	iprec_at_recall_0.90	0.0040	0.0149
689	iprec_at_recall_1.00	0.0010	0.0051
689	map	0.0649	0.0820
689	map_cut_10	0.0334	0.0603
689	map_cut_100	0.0564	0.0794
689	map_cut_1000	0.0649	0.0820
689	map_cut_15	0.0389	0.0660
689	map_cut_20	0.0419	0.0687
689	map_cut_200	0.0603	0.0810
689	map_cut_30	0.0471	0.0733
689	map_cut_5	0.0244	0.0491
689	map_cut_500	0.0637	0.0819
689	ndcg	0.2717	0.1726
689	ndcg_cut_10	0.1155	0.1665
689	ndcg_cut_100	0.1771	0.1677
689	ndcg_cut_1000	0.2717	0.1726
689	ndcg_cut_15	0.1087	0.1435
689	ndcg_cut_20	0.1150	0.1428
689	ndcg_cut_200	0.2098	0.1690
689	ndcg_cut_30	0.1323	0.1535
689	ndcg_cut_5	0.1273	0.2211
689	ndcg_cut_500	0.2500	0.1729
689	ndcg_rel	0.2338	0.1670
689	num_nonrel_judged_ret	327.7182	127.7929
689	num_rel	17.0000	0.0000
689	num_rel_ret	9.2636	4.1728
689	num_ret	913.7818	248.1831
689	prefs_avgjg	0.4946	0.2241
689	prefs_avgjg_Rnonrel	0.0074	0.0014
689	prefs_avgjg_Rnonrel_ret	0.0177	0.0100
689	prefs_avgjg_imp	0.7251	0.1851
689	prefs_avgjg_ret	0.6059	0.1863
689	prefs_num_prefs_ful	11552.7273	5235.5980
689	prefs_num_prefs_ful_ret	2270.9818	1684.1193
689	prefs_num_prefs_poss	23359.0000	0.0000
689	prefs_pair	0.4946	0.2241
689	prefs_pair_imp	0.7251	0.1851
689	prefs_pair_ret	0.6059	0.1863
689	prefs_simp	0.4946	0.2241
689	prefs_simp_imp	0.7251	0.1851
689	prefs_simp_ret	0.6059	0.1863
689	recall_10	0.0631	0.0861
689	recall_100	0.2396	0.1882
689	recall_1000	0.5449	0.2455
689	recall_15	0.0850	0.1054
689	recall_20	0.1027	0.1140
689	recall_200	0.3326	0.2029
689	recall_30	0.1348	0.1382
689	recall_5	0.0348	0.0590
689	recall_500	0.4604	0.2288
689	recip_rank	0.2606	0.3513
689	relative_P_10	0.1073	0.1463
689	relative_P_100	0.2396	0.1882
689	relative_P_1000	0.5449	0.2455
689	relative_P_15	0.0964	0.1195
689	relative_P_20	0.1027	0.1140
689	relative_P_200	0.3326	0.2029
689	relative_P_30	0.1348	0.1382
689	relative_P_5	0.1182	0.2005
689	relative_P_500	0.4604	0.2288
689	set_F	   nan	   nan
689	set_P	0.0104	0.0052
689	set_map	0.0065	0.0045
689	set_recall	0.5449	0.2455
689	set_relative_P	0.5449	0.2455
689	success_1	0.1636	0.3699
689	success_10	0.4636	0.4987
689	success_5	0.3364	0.4725
689	utility	-895.2545	244.1064
690	11pt_avg	0.0421	0.0447
690	G	0.0920	0.0569
690	P_10	0.0518	0.0697
690	P_100	0.0281	0.0222
690	P_1000	0.0075	0.0040
690	P_15	0.0509	0.0602
690	P_20	0.0500	0.0548
690	P_200	0.0198	0.0132
690	P_30	0.0509	0.0475
690	P_5	0.0636	0.1076
690	P_500	0.0114	0.0066
690	Rndcg	0.1415	0.1000
690	Rprec	0.0532	0.0635
690	Rprec_mult_0.20	0.0697	0.1563
690	Rprec_mult_0.40	0.0591	0.0969
690	Rprec_mult_0.60	0.0566	0.0760
690	Rprec_mult_0.80	0.0523	0.0682
690	Rprec_mult_1.00	0.0532	0.0635
690	Rprec_mult_1.20	0.0513	0.0615
690	Rprec_mult_1.40	0.0500	0.0548
690	Rprec_mult_1.60	0.0557	0.0578
690	Rprec_mult_1.80	0.0549	0.0533
690	Rprec_mult_2.00	0.0526	0.0502
690	binG	0.0920	0.0569
690	bpref	0.0318	0.0415
690	infAP	0.0357	0.0383
690	iprec_at_recall_0.00	0.1897	0.2633
690	iprec_at_recall_0.10	0.1031	0.1278
690	iprec_at_recall_0.20	0.0660	0.0667
690	iprec_at_recall_0.30	0.0330	0.0428
690	iprec_at_recall_0.40	0.0251	0.0319
690	iprec_at_recall_0.50	0.0190	0.0264
690	iprec_at_recall_0.60	0.0116	0.0168
690	iprec_at_recall_0.70	0.0078	0.0115
690	iprec_at_recall_0.80	0.0036	0.0086
690	iprec_at_recall_0.90	0.0029	0.0077
690	iprec_at_recall_1.00	0.0014	0.0060
690	map	0.0357	0.0383
690	map_cut_10	0.0141	0.0260
690	map_cut_100	0.0288	0.0341
690	map_cut_1000	0.0357	0.0383
690	map_cut_15	0.0167	0.0266
690	map_cut_20	0.0188	0.0272
690	map_cut_200	0.0316	0.0362
690	map_cut_30	0.0228	0.0293
690	map_cut_5	0.0115	0.0249
690	map_cut_500	0.0341	0.0377
690	ndcg	0.2268	0.1383
690	ndcg_cut_10	0.0561	0.0840
690	ndcg_cut_100	0.1262	0.1075
690	ndcg_cut_1000	0.2268	0.1383
690	ndcg_cut_15	0.0571	0.0726
690	ndcg_cut_20	0.0671	0.0766
690	ndcg_cut_200	0.1549	0.1167
690	ndcg_cut_30	0.0873	0.0854
690	ndcg_cut_5	0.0648	0.1204
690	ndcg_cut_500	0.1919	0.1278
690	ndcg_rel	0.1824	0.1107
690	num_nonrel_judged_ret	389.4273	116.2195
690	num_rel	14.0000	0.0000
690	num_rel_ret	7.5364	3.9512
690	num_ret	922.8636	222.7344
690	prefs_avgjg	0.4426	0.2427
690	prefs_avgjg_Rnonrel	0.0073	0.0006
690	prefs_avgjg_Rnonrel_ret	0.0092	0.0063
690	prefs_avgjg_imp	0.5607	0.2206
690	prefs_avgjg_ret	0.5315	0.1774
690	prefs_num_prefs_ful	5855.9545	3211.5638
690	prefs_num_prefs_ful_ret	1812.3000	1081.9660
690	prefs_num_prefs_poss	13230.0000	0.0000
690	prefs_pair	0.4426	0.2427
690	prefs_pair_imp	0.5607	0.2206
690	prefs_pair_ret	0.5315	0.1774
690	prefs_simp	0.4426	0.2427
690	prefs_simp_imp	0.5607	0.2206
690	prefs_simp_ret	0.5315	0.1774
690	recall_10	0.0370	0.0498
690	recall_100	0.2007	0.1584
690	recall_1000	0.5383	0.2822
690	recall_15	0.0545	0.0646
690	recall_20	0.0714	0.0783
690	recall_200	0.2831	0.1892
690	recall_30	0.1091	0.1018
690	recall_5	0.0227	0.0384
690	recall_500	0.4058	0.2349
690	recip_rank	0.1708	0.2642
690	relative_P_10	0.0518	0.0697
690	relative_P_100	0.2007	0.1584
690	relative_P_1000	0.5383	0.2822
690	relative_P_15	0.0545	0.0646
690	relative_P_20	0.0714	0.0783
690	relative_P_200	0.2831	0.1892
690	relative_P_30	0.1091	0.1018
690	relative_P_5	0.0636	0.1076
690	relative_P_500	0.4058	0.2349
690	set_F	   nan	   nan
690	set_P	0.0079	0.0039
690	set_map	0.0052	0.0042
690	set_recall	0.5383	0.2822
690	set_relative_P	0.5383	0.2822
690	success_1	0.0727	0.2597
690	success_10	0.4000	0.4899
690	success_5	0.2818	0.4499
690	utility	-907.7909	218.5096
691	11pt_avg	0.2257	0.1106
691	G	0.2011	0.0785
691	P_10	0.3291	0.1557
691	P_100	0.1064	0.0457
691	P_1000	0.0152	0.0050
691	P_15	0.2867	0.1344
691	P_20	0.2568	0.1227
691	P_200	0.0619	0.0244
691	P_30	0.2242	0.1031
691	P_5	0.3964	0.2036
691	P_500	0.0283	0.0100
691	Rndcg	0.4129	0.1613
691	Rprec	0.2515	0.1182
691	Rprec_mult_0.20	0.3964	0.2036
691	Rprec_mult_0.40	0.3333	0.1557
691	Rprec_mult_0.60	0.3014	0.1441
691	Rprec_mult_0.80	0.2727	0.1278
691	Rprec_mult_1.00	0.2515	0.1182
691	Rprec_mult_1.20	0.2322	0.1041
691	Rprec_mult_1.40	0.2242	0.1031
691	Rprec_mult_1.60	0.2099	0.0955
691	Rprec_mult_1.80	0.1971	0.0919
691	Rprec_mult_2.00	0.1849	0.0855
691	binG	0.2011	0.0785
691	bpref	0.2003	0.0964
691	infAP	0.2071	0.1085
691	iprec_at_recall_0.00	0.7724	0.3419
691	iprec_at_recall_0.10	0.4719	0.2620
691	iprec_at_recall_0.20	0.3514	0.1793
691	iprec_at_recall_0.30	0.2688	0.1524
691	iprec_at_recall_0.40	0.1976	0.1332
691	iprec_at_recall_0.50	0.1558	0.1291
691	iprec_at_recall_0.60	0.1188	0.1116
691	iprec_at_recall_0.70	0.0734	0.0847
691	iprec_at_recall_0.80	0.0530	0.0724
691	iprec_at_recall_0.90	0.0163	0.0365
691	iprec_at_recall_1.00	0.0038	0.0164
691	map	0.2071	0.1085
691	map_cut_10	0.1012	0.0568
691	map_cut_100	0.1943	0.1062
691	map_cut_1000	0.2071	0.1085
691	map_cut_15	0.1205	0.0676
691	map_cut_20	0.1347	0.0748
691	map_cut_200	0.2019	0.1081
691	map_cut_30	0.1570	0.0841
691	map_cut_5	0.0726	0.0451
691	map_cut_500	0.2060	0.1086
691	ndcg	0.5202	0.1880
691	ndcg_cut_10	0.3792	0.1769
691	ndcg_cut_100	0.4410	0.1850
691	ndcg_cut_1000	0.5202	0.1880
691	ndcg_cut_15	0.3395	0.1572
691	ndcg_cut_20	0.3107	0.1434
691	ndcg_cut_200	0.4745	0.1915
691	ndcg_cut_30	0.3475	0.1517
691	ndcg_cut_5	0.4433	0.2271
691	ndcg_cut_500	0.5046	0.1906
691	ndcg_rel	0.4658	0.1705
691	num_nonrel_judged_ret	256.6455	97.4210
691	num_rel	21.0000	0.0000
691	num_rel_ret	15.2455	4.9766
691	num_ret	914.3818	246.0231
691	prefs_avgjg	0.6739	0.2177
691	prefs_avgjg_Rnonrel	0.0152	0.0022
691	prefs_avgjg_Rnonrel_ret	0.0420	0.0230
691	prefs_avgjg_imp	0.8327	0.1331
691	prefs_avgjg_ret	0.7225	0.1774
691	prefs_num_prefs_ful	12920.7091	4173.3066
691	prefs_num_prefs_ful_ret	3296.1909	1856.3824
691	prefs_num_prefs_poss	19173.0000	0.0000
691	prefs_pair	0.6739	0.2177
691	prefs_pair_imp	0.8327	0.1331
691	prefs_pair_ret	0.7225	0.1774
691	prefs_simp	0.6739	0.2177
691	prefs_simp_imp	0.8327	0.1331
691	prefs_simp_ret	0.7225	0.1774
691	recall_10	0.1567	0.0742
691	recall_100	0.5065	0.2178
691	recall_1000	0.7260	0.2370
691	recall_15	0.2048	0.0960
691	recall_20	0.2446	0.1169
691	recall_200	0.5892	0.2326
691	recall_30	0.3203	0.1473
691	recall_5	0.0944	0.0485
691	recall_500	0.6749	0.2374
691	recip_rank	0.7476	0.3660
691	relative_P_10	0.3291	0.1557
691	relative_P_100	0.5065	0.2178
691	relative_P_1000	0.7260	0.2370
691	relative_P_15	0.2867	0.1344
691	relative_P_20	0.2568	0.1227
691	relative_P_200	0.5892	0.2326
691	relative_P_30	0.3203	0.1473
691	relative_P_5	0.3964	0.2036
691	relative_P_500	0.6749	0.2374
691	set_F	   nan	   nan
691	set_P	0.0224	0.0343
691	set_map	0.0158	0.0178
691	set_recall	0.7260	0.2370
691	set_relative_P	0.7260	0.2370
691	success_1	0.6545	0.4755
691	success_10	0.9000	0.3000
691	success_5	0.8636	0.3432
691	utility	-883.8909	242.1302
692	11pt_avg	0.3397	0.0915
692	G	0.2600	0.0626
692	P_10	0.5227	0.1559
692	P_100	0.1708	0.0443
692	P_1000	0.0240	0.0048
692	P_15	0.4630	0.1318
692	P_20	0.4000	0.1179
692	P_200	0.1018	0.0268
692	P_30	0.3215	0.0822
692	P_5	0.5582	0.2091
692	P_500	0.0464	0.0096
692	Rndcg	0.5569	0.1320
692	Rprec	0.3417	0.0909
692	Rprec_mult_0.20	0.5500	0.1953
692	Rprec_mult_0.40	0.5215	0.1559
692	Rprec_mult_0.60	0.4369	0.1268
692	Rprec_mult_0.80	0.3769	0.1097
692	Rprec_mult_1.00	0.3417	0.0909
692	Rprec_mult_1.20	0.3058	0.0811
692	Rprec_mult_1.40	0.2825	0.0727
692	Rprec_mult_1.60	0.2636	0.0676
692	Rprec_mult_1.80	0.2505	0.0638
692	Rprec_mult_2.00	0.2389	0.0615
692	binG	0.2481	0.0535
692	bpref	0.2880	0.0862
692	infAP	0.3079	0.0906
692	iprec_at_recall_0.00	0.8363	0.2203
692	iprec_at_recall_0.10	0.6898	0.1935
692	iprec_at_recall_0.20	0.5746	0.1628
692	iprec_at_recall_0.30	0.4738	0.1737
692	iprec_at_recall_0.40	0.3290	0.1624
692	iprec_at_recall_0.50	0.2563	0.1274
692	iprec_at_recall_0.60	0.1891	0.1060
692	iprec_at_recall_0.70	0.1639	0.1011
692	iprec_at_recall_0.80	0.1190	0.0840
692	iprec_at_recall_0.90	0.0712	0.0665
692	iprec_at_recall_1.00	0.0340	0.0501
692	map	0.3079	0.0906
692	map_cut_10	0.1322	0.0499
692	map_cut_100	0.2813	0.0869
692	map_cut_1000	0.3079	0.0906
692	map_cut_15	0.1679	0.0589
692	map_cut_20	0.1872	0.0649
692	map_cut_200	0.2990	0.0914
692	map_cut_30	0.2101	0.0692
692	map_cut_5	0.0770	0.0402
692	map_cut_500	0.3069	0.0907
692	ndcg	0.6738	0.1293
692	ndcg_cut_10	0.5317	0.1642
692	ndcg_cut_100	0.5948	0.1228
692	ndcg_cut_1000	0.6738	0.1293
692	ndcg_cut_15	0.5328	0.1516
692	ndcg_cut_20	0.5062	0.1389
692	ndcg_cut_200	0.6360	0.1304
692	ndcg_cut_30	0.4804	0.1148
692	ndcg_cut_5	0.5395	0.2249
692	ndcg_cut_500	0.6660	0.1287
692	ndcg_rel	0.5888	0.1290
692	num_nonrel_judged_ret	285.7364	69.3081
692	num_rel	27.0000	0.0000
692	num_rel_ret	24.0182	4.7863
692	num_ret	915.0909	243.5360
692	prefs_avgjg	0.7379	0.1516
692	prefs_avgjg_Rnonrel	0.0617	0.0065
692	prefs_avgjg_Rnonrel_ret	0.0769	0.0223
692	prefs_avgjg_imp	0.7747	0.1002
692	prefs_avgjg_ret	0.7636	0.1046
692	prefs_num_prefs_ful	7682.7909	1578.2904
692	prefs_num_prefs_ful_ret	5708.8364	2095.7363
692	prefs_num_prefs_poss	10412.0000	0.0000
692	prefs_pair	0.7379	0.1516
692	prefs_pair_imp	0.7747	0.1002
692	prefs_pair_ret	0.7636	0.1046
692	prefs_simp	0.7379	0.1516
692	prefs_simp_imp	0.7747	0.1002
692	prefs_simp_ret	0.7636	0.1046
692	recall_10	0.1936	0.0577
692	recall_100	0.6327	0.1641
692	recall_1000	0.8896	0.1773
692	recall_15	0.2572	0.0732
692	recall_20	0.2963	0.0874
692	recall_200	0.7539	0.1988
692	recall_30	0.3572	0.0914
692	recall_5	0.1034	0.0387
692	recall_500	0.8596	0.1778
692	recip_rank	0.7334	0.3159
692	relative_P_10	0.5227	0.1559
692	relative_P_100	0.6327	0.1641
692	relative_P_1000	0.8896	0.1773
692	relative_P_15	0.4630	0.1318
692	relative_P_20	0.4000	0.1179
692	relative_P_200	0.7539	0.1988
692	relative_P_30	0.3572	0.0914
692	relative_P_5	0.5582	0.2091
692	relative_P_500	0.8596	0.1778
692	set_F	0.0567	0.0327
692	set_P	0.0302	0.0224
692	set_map	0.0253	0.0115
692	set_recall	0.8896	0.1773
692	set_relative_P	0.8896	0.1773
692	success_1	0.5636	0.4959
692	success_10	0.9636	0.1872
692	success_5	0.9545	0.2083
692	utility	-867.0545	235.1639
693	11pt_avg	0.2244	0.0994
693	G	0.1709	0.0367
693	P_10	0.3200	0.1705
693	P_100	0.1332	0.0421
693	P_1000	0.0226	0.0038
693	P_15	0.2879	0.1493
693	P_20	0.2809	0.1276
693	P_200	0.0836	0.0203
693	P_30	0.2491	0.1032
693	P_5	0.3582	0.2159
693	P_500	0.0411	0.0077
693	Rndcg	0.3169	0.1084
693	Rprec	0.2542	0.1124
693	Rprec_mult_0.20	0.3561	0.2149
693	Rprec_mult_0.40	0.3132	0.1661
693	Rprec_mult_0.60	0.2834	0.1432
693	Rprec_mult_0.80	0.2748	0.1223
693	Rprec_mult_1.00	0.2542	0.1124
693	Rprec_mult_1.20	0.2435	0.0972
693	Rprec_mult_1.40	0.2256	0.0855
693	Rprec_mult_1.60	0.2109	0.0755
693	Rprec_mult_1.80	0.1993	0.0683
693	Rprec_mult_2.00	0.1902	0.0641
693	binG	0.1951	0.0515
693	bpref	0.1932	0.1017
693	infAP	0.1975	0.0964
693	iprec_at_recall_0.00	0.6910	0.3165
693	iprec_at_recall_0.10	0.4684	0.2197
693	iprec_at_recall_0.20	0.3320	0.1855
693	iprec_at_recall_0.30	0.2924	0.1654
693	iprec_at_recall_0.40	0.2384	0.1566
693	iprec_at_recall_0.50	0.1705	0.1136
693	iprec_at_recall_0.60	0.1186	0.0893
693	iprec_at_recall_0.70	0.0870	0.0735
693	iprec_at_recall_0.80	0.0514	0.0503
693	iprec_at_recall_0.90	0.0177	0.0290
693	iprec_at_recall_1.00	0.0005	0.0038
693	map	0.1975	0.0964
693	map_cut_10	0.0728	0.0524
693	map_cut_100	0.1724	0.0985
693	map_cut_1000	0.1975	0.0964
693	map_cut_15	0.0896	0.0662
693	map_cut_20	0.1058	0.0757
693	map_cut_200	0.1863	0.0996
693	map_cut_30	0.1272	0.0851
693	map_cut_5	0.0478	0.0380
693	map_cut_500	0.1950	0.0971
693	ndcg	0.4931	0.1003
693	ndcg_cut_10	0.2380	0.1335
693	ndcg_cut_100	0.3738	0.1253
693	ndcg_cut_1000	0.4931	0.1003
693	ndcg_cut_15	0.2476	0.1364
693	ndcg_cut_20	0.2568	0.1274
693	ndcg_cut_200	0.4245	0.1210
693	ndcg_cut_30	0.2645	0.1157
693	ndcg_cut_5	0.2118	0.1361
693	ndcg_cut_500	0.4708	0.1060
693	ndcg_rel	0.3774	0.0918
693	num_nonrel_judged_ret	325.0818	86.7203
693	num_rel	27.0000	0.0000
693	num_rel_ret	22.6273	3.7824
693	num_ret	931.8182	215.6098
693	prefs_avgjg	0.7384	0.1197
693	prefs_avgjg_Rnonrel	0.0261	0.0037
693	prefs_avgjg_Rnonrel_ret	0.0506	0.0128
693	prefs_avgjg_imp	0.8215	0.0470
693	prefs_avgjg_ret	0.7286	0.0959
693	prefs_num_prefs_ful	14900.5909	2415.7912
693	prefs_num_prefs_ful_ret	5682.3273	2307.3050
693	prefs_num_prefs_poss	20180.0000	0.0000
693	prefs_pair	0.7384	0.1197
693	prefs_pair_imp	0.8215	0.0470
693	prefs_pair_ret	0.7286	0.0959
693	prefs_simp	0.7384	0.1197
693	prefs_simp_imp	0.8215	0.0470
693	prefs_simp_ret	0.7286	0.0959
693	recall_10	0.1185	0.0631
693	recall_100	0.4933	0.1559
693	recall_1000	0.8381	0.1401
693	recall_15	0.1599	0.0830
693	recall_20	0.2081	0.0945
693	recall_200	0.6192	0.1503
693	recall_30	0.2768	0.1146
693	recall_5	0.0663	0.0400
693	recall_500	0.7603	0.1418
693	recip_rank	0.6264	0.3692
693	relative_P_10	0.3200	0.1705
693	relative_P_100	0.4933	0.1559
693	relative_P_1000	0.8381	0.1401
693	relative_P_15	0.2879	0.1493
693	relative_P_20	0.2809	0.1276
693	relative_P_200	0.6192	0.1503
693	relative_P_30	0.2768	0.1146
693	relative_P_5	0.3582	0.2159
693	relative_P_500	0.7603	0.1418
693	set_F	0.0506	0.0192
693	set_P	0.0264	0.0111
693	set_map	0.0216	0.0066
693	set_recall	0.8381	0.1401
693	set_relative_P	0.8381	0.1401
693	success_1	0.4636	0.4987
693	success_10	0.9091	0.2875
693	success_5	0.8545	0.3526
693	utility	-886.5636	210.0241
694	11pt_avg	0.4422	0.1479
694	G	0.2081	0.0634
694	P_10	0.6336	0.1539
694	P_100	0.4406	0.1289
694	P_1000	0.0755	0.0227
694	P_15	0.5921	0.1089
694	P_20	0.5686	0.0924
694	P_200	0.3012	0.1017
694	P_30	0.5497	0.0981
694	P_5	0.6727	0.2720
694	P_500	0.1443	0.0460
694	Rndcg	0.6377	0.2254
694	Rprec	0.4651	0.1327
694	Rprec_mult_0.20	0.5773	0.0957
694	Rprec_mult_0.40	0.5391	0.1110
694	Rprec_mult_0.60	0.5247	0.1325
694	Rprec_mult_0.80	0.4994	0.1347
694	Rprec_mult_1.00	0.4651	0.1327
694	Rprec_mult_1.20	0.4304	0.1276
694	Rprec_mult_1.40	0.3974	0.1229
694	Rprec_mult_1.60	0.3676	0.1172
694	Rprec_mult_1.80	0.3447	0.1142
694	Rprec_mult_2.00	0.3252	0.1085
694	binG	0.2037	0.0600
694	bpref	0.4287	0.1270
694	infAP	0.4191	0.1541
694	iprec_at_recall_0.00	0.9199	0.1536
694	iprec_at_recall_0.10	0.6509	0.1536
694	iprec_at_recall_0.20	0.5479	0.1897
694	iprec_at_recall_0.30	0.5276	0.1937
694	iprec_at_recall_0.40	0.4942	0.2017
694	iprec_at_recall_0.50	0.4462	0.2056
694	iprec_at_recall_0.60	0.3817	0.1934
694	iprec_at_recall_0.70	0.3105	0.1831
694	iprec_at_recall_0.80	0.2523	0.1783
694	iprec_at_recall_0.90	0.2125	0.1624
694	iprec_at_recall_1.00	0.1201	0.1379
694	map	0.4191	0.1541
694	map_cut_10	0.0565	0.0236
694	map_cut_100	0.3007	0.1031
694	map_cut_1000	0.4191	0.1541
694	map_cut_15	0.0747	0.0268
694	map_cut_20	0.0917	0.0275
694	map_cut_200	0.3790	0.1435
694	map_cut_30	0.1256	0.0325
694	map_cut_5	0.0335	0.0183
694	map_cut_500	0.4150	0.1553
694	ndcg	0.7382	0.1999
694	ndcg_cut_10	0.6615	0.2048
694	ndcg_cut_100	0.5347	0.1378
694	ndcg_cut_1000	0.7382	0.1999
694	ndcg_cut_15	0.6360	0.1566
694	ndcg_cut_20	0.6159	0.1344
694	ndcg_cut_200	0.6472	0.1863
694	ndcg_cut_30	0.5941	0.1164
694	ndcg_cut_5	0.6788	0.2917
694	ndcg_cut_500	0.7205	0.2034
694	ndcg_rel	0.6172	0.1503
694	num_nonrel_judged_ret	227.5636	60.0473
694	num_rel	88.0000	0.0000
694	num_rel_ret	75.5182	22.6679
694	num_ret	914.1455	246.7954
694	prefs_avgjg	0.7392	0.2204
694	prefs_avgjg_Rnonrel	0.1660	0.0263
694	prefs_avgjg_Rnonrel_ret	0.2413	0.0536
694	prefs_avgjg_imp	0.7938	0.1378
694	prefs_avgjg_ret	0.7595	0.0929
694	prefs_num_prefs_ful	26279.3727	7834.7757
694	prefs_num_prefs_ful_ret	14235.3727	6150.1603
694	prefs_num_prefs_poss	35551.0000	0.0000
694	prefs_pair	0.7392	0.2204
694	prefs_pair_imp	0.7938	0.1378
694	prefs_pair_ret	0.7595	0.0929
694	prefs_simp	0.7392	0.2204
694	prefs_simp_imp	0.7938	0.1378
694	prefs_simp_ret	0.7595	0.0929
694	recall_10	0.0720	0.0175
694	recall_100	0.5007	0.1465
694	recall_1000	0.8582	0.2576
694	recall_15	0.1009	0.0186
694	recall_20	0.1292	0.0210
694	recall_200	0.6845	0.2311
694	recall_30	0.1874	0.0335
694	recall_5	0.0382	0.0155
694	recall_500	0.8201	0.2612
694	recip_rank	0.8406	0.2945
694	relative_P_10	0.6336	0.1539
694	relative_P_100	0.5007	0.1465
694	relative_P_1000	0.8582	0.2576
694	relative_P_15	0.5921	0.1089
694	relative_P_20	0.5686	0.0924
694	relative_P_200	0.6845	0.2311
694	relative_P_30	0.5497	0.0981
694	relative_P_5	0.6727	0.2720
694	relative_P_500	0.8201	0.2612
694	set_F	0.1494	0.0309
694	set_P	0.0885	0.0518
694	set_map	0.0733	0.0238
694	set_recall	0.8582	0.2576
694	set_relative_P	0.8636	0.2454
694	success_1	0.7636	0.4248
694	success_10	1.0000	0.0000
694	success_5	0.9545	0.2083
694	utility	-763.1091	207.4931
695	11pt_avg	0.2946	0.1081
695	G	0.1449	0.0471
695	P_10	0.7418	0.2333
695	P_100	0.2882	0.1020
695	P_1000	0.0606	0.0177
695	P_15	0.6527	0.2152
695	P_20	0.6018	0.1960
695	P_200	0.1935	0.0664
695	P_30	0.5142	0.1614
695	P_5	0.7800	0.2335
695	P_500	0.1026	0.0324
695	Rndcg	0.4535	0.1229
695	Rprec	0.3023	0.1070
695	Rprec_mult_0.20	0.6253	0.2030
695	Rprec_mult_0.40	0.4775	0.1526
695	Rprec_mult_0.60	0.3882	0.1283
695	Rprec_mult_0.80	0.3347	0.1146
695	Rprec_mult_1.00	0.3023	0.1070
695	Rprec_mult_1.20	0.2794	0.0967
695	Rprec_mult_1.40	0.2577	0.0889
695	Rprec_mult_1.60	0.2389	0.0822
695	Rprec_mult_1.80	0.2229	0.0770
695	Rprec_mult_2.00	0.2084	0.0715
695	binG	0.1773	0.0614
695	bpref	0.2647	0.1042
695	infAP	0.2628	0.1224
695	iprec_at_recall_0.00	0.9812	0.1037
695	iprec_at_recall_0.10	0.7197	0.2841
695	iprec_at_recall_0.20	0.5147	0.2343
695	iprec_at_recall_0.30	0.3452	0.1666
695	iprec_at_recall_0.40	0.2324	0.1678
695	iprec_at_recall_0.50	0.1788	0.1518
695	iprec_at_recall_0.60	0.1290	0.1221
695	iprec_at_recall_0.70	0.0914	0.0967
695	iprec_at_recall_0.80	0.0459	0.0625
695	iprec_at_recall_0.90	0.0023	0.0136
695	iprec_at_recall_1.00	0.0000	0.0000
695	map	0.2628	0.1224
695	map_cut_10	0.0741	0.0310
695	map_cut_100	0.2017	0.0958
695	map_cut_1000	0.2628	0.1224
695	map_cut_15	0.0950	0.0410
695	map_cut_20	0.1128	0.0489
695	map_cut_200	0.2317	0.1120
695	map_cut_30	0.1362	0.0586
695	map_cut_5	0.0406	0.0158
695	map_cut_500	0.2541	0.1214
695	ndcg	0.5681	0.1528
695	ndcg_cut_10	0.5430	0.1635
695	ndcg_cut_100	0.3849	0.1199
695	ndcg_cut_1000	0.5681	0.1528
695	ndcg_cut_15	0.5462	0.1718
695	ndcg_cut_20	0.5421	0.1688
695	ndcg_cut_200	0.4499	0.1371
695	ndcg_cut_30	0.5125	0.1531
695	ndcg_cut_5	0.4561	0.1290
695	ndcg_cut_500	0.5226	0.1502
695	ndcg_rel	0.5048	0.1224
695	num_nonrel_judged_ret	300.3909	81.7902
695	num_rel	89.0000	0.0000
695	num_rel_ret	60.6000	17.6940
695	num_ret	918.2000	233.7630
695	prefs_avgjg	0.5469	0.1654
695	prefs_avgjg_Rnonrel	0.1123	0.0159
695	prefs_avgjg_Rnonrel_ret	0.1461	0.0398
695	prefs_avgjg_imp	0.6391	0.1109
695	prefs_avgjg_ret	0.6639	0.1000
695	prefs_num_prefs_ful	26078.2818	7889.0449
695	prefs_num_prefs_ful_ret	12979.6182	6007.8478
695	prefs_num_prefs_poss	47688.0000	0.0000
695	prefs_pair	0.5469	0.1654
695	prefs_pair_imp	0.6391	0.1109
695	prefs_pair_ret	0.6639	0.1000
695	prefs_simp	0.5469	0.1654
695	prefs_simp_imp	0.6391	0.1109
695	prefs_simp_ret	0.6639	0.1000
695	recall_10	0.0834	0.0262
695	recall_100	0.3238	0.1146
695	recall_1000	0.6809	0.1988
695	recall_15	0.1100	0.0363
695	recall_20	0.1352	0.0440
695	recall_200	0.4347	0.1493
695	recall_30	0.1733	0.0544
695	recall_5	0.0438	0.0131
695	recall_500	0.5765	0.1817
695	recip_rank	0.9780	0.1150
695	relative_P_10	0.7418	0.2333
695	relative_P_100	0.3238	0.1146
695	relative_P_1000	0.6809	0.1988
695	relative_P_15	0.6527	0.2152
695	relative_P_20	0.6018	0.1960
695	relative_P_200	0.4347	0.1493
695	relative_P_30	0.5142	0.1614
695	relative_P_5	0.7800	0.2335
695	relative_P_500	0.5765	0.1817
695	set_F	0.1229	0.0321
695	set_P	0.0692	0.0220
695	set_map	0.0477	0.0185
695	set_recall	0.6809	0.1988
695	set_relative_P	0.6809	0.1988
695	success_1	0.9636	0.1872
695	success_10	1.0000	0.0000
695	success_5	1.0000	0.0000
695	utility	-797.0000	211.3284
696	11pt_avg	0.3028	0.1146
696	G	0.2201	0.0765
696	P_10	0.5618	0.1584
696	P_100	0.1541	0.0467
696	P_1000	0.0207	0.0056
696	P_15	0.5030	0.1264
696	P_20	0.4400	0.1146
696	P_200	0.0870	0.0256
696	P_30	0.3588	0.0962
696	P_5	0.5945	0.2373
696	P_500	0.0393	0.0108
696	Rndcg	0.4996	0.1266
696	Rprec	0.3545	0.0946
696	Rprec_mult_0.20	0.5805	0.1967
696	Rprec_mult_0.40	0.5406	0.1297
696	Rprec_mult_0.60	0.4531	0.1192
696	Rprec_mult_0.80	0.3935	0.1067
696	Rprec_mult_1.00	0.3545	0.0946
696	Rprec_mult_1.20	0.3148	0.0876
696	Rprec_mult_1.40	0.2866	0.0809
696	Rprec_mult_1.60	0.2611	0.0744
696	Rprec_mult_1.80	0.2403	0.0705
696	Rprec_mult_2.00	0.2242	0.0664
696	binG	0.2201	0.0765
696	bpref	0.3038	0.0916
696	infAP	0.2780	0.1210
696	iprec_at_recall_0.00	0.9027	0.2004
696	iprec_at_recall_0.10	0.6985	0.2095
696	iprec_at_recall_0.20	0.5991	0.1880
696	iprec_at_recall_0.30	0.4347	0.1762
696	iprec_at_recall_0.40	0.2777	0.1854
696	iprec_at_recall_0.50	0.1855	0.1769
696	iprec_at_recall_0.60	0.1124	0.1490
696	iprec_at_recall_0.70	0.0504	0.1184
696	iprec_at_recall_0.80	0.0360	0.0912
696	iprec_at_recall_0.90	0.0262	0.0691
696	iprec_at_recall_1.00	0.0077	0.0249
696	map	0.2780	0.1210
696	map_cut_10	0.1340	0.0567
696	map_cut_100	0.2638	0.1162
696	map_cut_1000	0.2780	0.1210
696	map_cut_15	0.1703	0.0662
696	map_cut_20	0.1917	0.0764
696	map_cut_200	0.2721	0.1195
696	map_cut_30	0.2196	0.0889
696	map_cut_5	0.0803	0.0450
696	map_cut_500	0.2769	0.1207
696	ndcg	0.5763	0.1470
696	ndcg_cut_10	0.5912	0.1707
696	ndcg_cut_100	0.5053	0.1365
696	ndcg_cut_1000	0.5763	0.1470
696	ndcg_cut_15	0.5459	0.1423
696	ndcg_cut_20	0.4967	0.1315
696	ndcg_cut_200	0.5351	0.1420
696	ndcg_cut_30	0.4272	0.1116
696	ndcg_cut_5	0.6247	0.2437
696	ndcg_cut_500	0.5643	0.1438
696	ndcg_rel	0.5667	0.1361
696	num_nonrel_judged_ret	307.6364	87.2696
696	num_rel	31.0000	0.0000
696	num_rel_ret	20.7182	5.6410
696	num_ret	917.9273	234.5487
696	prefs_avgjg	0.6138	0.1651
696	prefs_avgjg_Rnonrel	0.0330	0.0038
696	prefs_avgjg_Rnonrel_ret	0.0568	0.0158
696	prefs_avgjg_imp	0.7643	0.0807
696	prefs_avgjg_ret	0.8102	0.0799
696	prefs_num_prefs_ful	13470.8727	3622.6046
696	prefs_num_prefs_ful_ret	5528.6273	2498.4692
696	prefs_num_prefs_poss	21948.0000	0.0000
696	prefs_pair	0.6138	0.1651
696	prefs_pair_imp	0.7643	0.0807
696	prefs_pair_ret	0.8102	0.0799
696	prefs_simp	0.6138	0.1651
696	prefs_simp_imp	0.7643	0.0807
696	prefs_simp_ret	0.8102	0.0799
696	recall_10	0.1812	0.0511
696	recall_100	0.4971	0.1507
696	recall_1000	0.6683	0.1820
696	recall_15	0.2434	0.0612
696	recall_20	0.2839	0.0739
696	recall_200	0.5616	0.1650
696	recall_30	0.3472	0.0931
696	recall_5	0.0959	0.0383
696	recall_500	0.6340	0.1736
696	recip_rank	0.8585	0.2747
696	relative_P_10	0.5618	0.1584
696	relative_P_100	0.4971	0.1507
696	relative_P_1000	0.6683	0.1820
696	relative_P_15	0.5030	0.1264
696	relative_P_20	0.4400	0.1146
696	relative_P_200	0.5616	0.1650
696	relative_P_30	0.3588	0.0962
696	relative_P_5	0.5945	0.2373
696	relative_P_500	0.6340	0.1736
696	set_F	0.0464	0.0152
696	set_P	0.0243	0.0088
696	set_map	0.0162	0.0071
696	set_recall	0.6683	0.1820
696	set_relative_P	0.6683	0.1820
696	success_1	0.7818	0.4130
696	success_10	0.9818	0.1336
696	success_5	0.9818	0.1336
696	utility	-876.4909	227.8057
697	11pt_avg	0.1853	0.0816
697	G	0.1534	0.0454
697	P_10	0.3773	0.2430
697	P_100	0.1506	0.0415
697	P_1000	0.0379	0.0081
697	P_15	0.3515	0.1657
697	P_20	0.3200	0.1223
697	P_200	0.1053	0.0262
697	P_30	0.2600	0.0858
697	P_5	0.4473	0.3515
697	P_500	0.0633	0.0139
697	Rndcg	0.3814	0.1573
697	Rprec	0.2045	0.0657
697	Rprec_mult_0.20	0.3773	0.2430
697	Rprec_mult_0.40	0.3200	0.1223
697	Rprec_mult_0.60	0.2600	0.0858
697	Rprec_mult_0.80	0.2268	0.0656
697	Rprec_mult_1.00	0.2045	0.0657
697	Rprec_mult_1.20	0.1894	0.0597
697	Rprec_mult_1.40	0.1751	0.0517
697	Rprec_mult_1.60	0.1647	0.0460
697	Rprec_mult_1.80	0.1583	0.0424
697	Rprec_mult_2.00	0.1506	0.0415
697	binG	0.1573	0.0503
697	bpref	0.1594	0.0588
697	infAP	0.1567	0.0739
697	iprec_at_recall_0.00	0.7069	0.3543
697	iprec_at_recall_0.10	0.4976	0.2791
697	iprec_at_recall_0.20	0.2573	0.1286
697	iprec_at_recall_0.30	0.1721	0.0821
697	iprec_at_recall_0.40	0.1252	0.0695
697	iprec_at_recall_0.50	0.0980	0.0662
697	iprec_at_recall_0.60	0.0793	0.0532
697	iprec_at_recall_0.70	0.0569	0.0413
697	iprec_at_recall_0.80	0.0317	0.0366
697	iprec_at_recall_0.90	0.0134	0.0258
697	iprec_at_recall_1.00	0.0000	0.0000
697	map	0.1567	0.0739
697	map_cut_10	0.0566	0.0472
697	map_cut_100	0.1157	0.0661
697	map_cut_1000	0.1567	0.0739
697	map_cut_15	0.0684	0.0516
697	map_cut_20	0.0763	0.0532
697	map_cut_200	0.1316	0.0704
697	map_cut_30	0.0849	0.0555
697	map_cut_5	0.0388	0.0343
697	map_cut_500	0.1500	0.0730
697	ndcg	0.5169	0.1335
697	ndcg_cut_10	0.3507	0.2276
697	ndcg_cut_100	0.3390	0.1138
697	ndcg_cut_1000	0.5169	0.1335
697	ndcg_cut_15	0.3660	0.1979
697	ndcg_cut_20	0.3581	0.1712
697	ndcg_cut_200	0.3920	0.1209
697	ndcg_cut_30	0.3288	0.1394
697	ndcg_cut_5	0.3606	0.2828
697	ndcg_cut_500	0.4733	0.1271
697	ndcg_rel	0.4348	0.1277
697	num_nonrel_judged_ret	321.8727	75.4894
697	num_rel	50.0000	0.0000
697	num_rel_ret	37.8909	8.0953
697	num_ret	931.8182	215.6098
697	prefs_avgjg	0.5814	0.1130
697	prefs_avgjg_Rnonrel	0.0577	0.0052
697	prefs_avgjg_Rnonrel_ret	0.0810	0.0181
697	prefs_avgjg_imp	0.6598	0.0708
697	prefs_avgjg_ret	0.5960	0.0642
697	prefs_num_prefs_ful	16918.5273	3288.9167
697	prefs_num_prefs_ful_ret	7701.9727	2930.9527
697	prefs_num_prefs_poss	29101.0000	0.0000
697	prefs_pair	0.5814	0.1130
697	prefs_pair_imp	0.6598	0.0708
697	prefs_pair_ret	0.5960	0.0642
697	prefs_simp	0.5814	0.1130
697	prefs_simp_imp	0.6598	0.0708
697	prefs_simp_ret	0.5960	0.0642
697	recall_10	0.0755	0.0486
697	recall_100	0.3013	0.0830
697	recall_1000	0.7578	0.1619
697	recall_15	0.1055	0.0497
697	recall_20	0.1280	0.0489
697	recall_200	0.4211	0.1048
697	recall_30	0.1560	0.0515
697	recall_5	0.0447	0.0352
697	recall_500	0.6331	0.1392
697	recip_rank	0.6460	0.4119
697	relative_P_10	0.3773	0.2430
697	relative_P_100	0.3013	0.0830
697	relative_P_1000	0.7578	0.1619
697	relative_P_15	0.3515	0.1657
697	relative_P_20	0.3200	0.1223
697	relative_P_200	0.4211	0.1048
697	relative_P_30	0.2600	0.0858
697	relative_P_5	0.4473	0.3515
697	relative_P_500	0.6331	0.1392
697	set_F	0.0811	0.0213
697	set_P	0.0435	0.0138
697	set_map	0.0323	0.0091
697	set_recall	0.7578	0.1619
697	set_relative_P	0.7578	0.1619
697	success_1	0.5636	0.4959
697	success_10	0.8727	0.3333
697	success_5	0.6909	0.4621
697	utility	-856.0364	204.9555
698	11pt_avg	0.3083	0.1568
698	G	0.2791	0.0965
698	P_10	0.2418	0.1371
698	P_100	0.0691	0.0227
698	P_1000	0.0089	0.0015
698	P_15	0.2079	0.1074
698	P_20	0.1886	0.0931
698	P_200	0.0399	0.0097
698	P_30	0.1567	0.0766
698	P_5	0.3491	0.2165
698	P_500	0.0170	0.0035
698	Rndcg	0.4113	0.1735
698	Rprec	0.2418	0.1371
698	Rprec_mult_0.20	0.4909	0.3437
698	Rprec_mult_0.40	0.3727	0.2354
698	Rprec_mult_0.60	0.3227	0.2051
698	Rprec_mult_0.80	0.2818	0.1672
698	Rprec_mult_1.00	0.2418	0.1371
698	Rprec_mult_1.20	0.2273	0.1246
698	Rprec_mult_1.40	0.2162	0.1145
698	Rprec_mult_1.60	0.2006	0.1026
698	Rprec_mult_1.80	0.1934	0.0967
698	Rprec_mult_2.00	0.1886	0.0931
698	binG	0.2861	0.0976
698	bpref	0.2073	0.1289
698	infAP	0.2560	0.1423
698	iprec_at_recall_0.00	0.7418	0.3473
698	iprec_at_recall_0.10	0.7418	0.3473
698	iprec_at_recall_0.20	0.5191	0.3383
698	iprec_at_recall_0.30	0.3559	0.2731
698	iprec_at_recall_0.40	0.2775	0.2163
698	iprec_at_recall_0.50	0.2312	0.1964
698	iprec_at_recall_0.60	0.1875	0.1316
698	iprec_at_recall_0.70	0.1327	0.1111
698	iprec_at_recall_0.80	0.1011	0.0933
698	iprec_at_recall_0.90	0.0650	0.0693
698	iprec_at_recall_1.00	0.0372	0.0553
698	map	0.2560	0.1423
698	map_cut_10	0.1651	0.1171
698	map_cut_100	0.2483	0.1458
698	map_cut_1000	0.2560	0.1423
698	map_cut_15	0.1858	0.1249
698	map_cut_20	0.2023	0.1312
698	map_cut_200	0.2540	0.1435
698	map_cut_30	0.2233	0.1413
698	map_cut_5	0.1367	0.0989
698	map_cut_500	0.2555	0.1426
698	ndcg	0.5655	0.1588
698	ndcg_cut_10	0.3266	0.1759
698	ndcg_cut_100	0.5152	0.1923
698	ndcg_cut_1000	0.5655	0.1588
698	ndcg_cut_15	0.3642	0.1857
698	ndcg_cut_20	0.3974	0.1921
698	ndcg_cut_200	0.5442	0.1742
698	ndcg_cut_30	0.4375	0.2075
698	ndcg_cut_5	0.3868	0.2300
698	ndcg_cut_500	0.5565	0.1652
698	ndcg_rel	0.5116	0.1841
698	num_nonrel_judged_ret	330.1818	98.0507
698	num_rel	10.0000	0.0000
698	num_rel_ret	8.9182	1.5263
698	num_ret	914.3091	246.2817
698	prefs_avgjg	0.8223	0.1458
698	prefs_avgjg_Rnonrel	0.0108	0.0018
698	prefs_avgjg_Rnonrel_ret	0.0251	0.0238
698	prefs_avgjg_imp	0.8827	0.0796
698	prefs_avgjg_ret	0.8175	0.1392
698	prefs_num_prefs_ful	5905.0273	1046.7125
698	prefs_num_prefs_ful_ret	2577.7273	1148.1805
698	prefs_num_prefs_poss	7181.0000	0.0000
698	prefs_pair	0.8223	0.1458
698	prefs_pair_imp	0.8827	0.0796
698	prefs_pair_ret	0.8175	0.1392
698	prefs_simp	0.8223	0.1458
698	prefs_simp_imp	0.8827	0.0796
698	prefs_simp_ret	0.8175	0.1392
698	recall_10	0.2418	0.1371
698	recall_100	0.6909	0.2275
698	recall_1000	0.8918	0.1526
698	recall_15	0.3118	0.1611
698	recall_20	0.3773	0.1862
698	recall_200	0.7982	0.1940
698	recall_30	0.4700	0.2298
698	recall_5	0.1745	0.1082
698	recall_500	0.8509	0.1757
698	recip_rank	0.7185	0.3631
698	relative_P_10	0.2418	0.1371
698	relative_P_100	0.6909	0.2275
698	relative_P_1000	0.8918	0.1526
698	relative_P_15	0.3118	0.1611
698	relative_P_20	0.3773	0.1862
698	relative_P_200	0.7982	0.1940
698	relative_P_30	0.4700	0.2298
698	relative_P_5	0.3491	0.2165
698	relative_P_500	0.8509	0.1757
698	set_F	0.0272	0.0440
698	set_P	0.0146	0.0280
698	set_map	0.0126	0.0222
698	set_recall	0.8918	0.1526
698	set_relative_P	0.8918	0.1526
698	success_1	0.6000	0.4899
698	success_10	0.9455	0.2271
698	success_5	0.8364	0.3699
698	utility	-896.4727	245.1052
699	11pt_avg	0.3137	0.1885
699	G	0.1681	0.0818
699	P_10	0.4709	0.2874
699	P_100	0.3090	0.1530
699	P_1000	0.0512	0.0190
699	P_15	0.4588	0.2717
699	P_20	0.4432	0.2574
699	P_200	0.1975	0.0963
699	P_30	0.4382	0.2430
699	P_5	0.4327	0.3197
699	P_500	0.0940	0.0400
699	Rndcg	0.4820	0.2156
699	Rprec	0.3577	0.1764
699	Rprec_mult_0.20	0.4588	0.2717
699	Rprec_mult_0.40	0.4420	0.2474
699	Rprec_mult_0.60	0.4133	0.2148
699	Rprec_mult_0.80	0.3904	0.1964
699	Rprec_mult_1.00	0.3577	0.1764
699	Rprec_mult_1.20	0.3338	0.1638
699	Rprec_mult_1.40	0.3090	0.1530
699	Rprec_mult_1.60	0.2875	0.1426
699	Rprec_mult_1.80	0.2690	0.1332
699	Rprec_mult_2.00	0.2514	0.1246
699	binG	0.1681	0.0818
699	bpref	0.3178	0.1739
699	infAP	0.2948	0.1888
699	iprec_at_recall_0.00	0.6783	0.3409
699	iprec_at_recall_0.10	0.5368	0.2735
699	iprec_at_recall_0.20	0.4801	0.2550
699	iprec_at_recall_0.30	0.4441	0.2451
699	iprec_at_recall_0.40	0.3750	0.2357
699	iprec_at_recall_0.50	0.3129	0.2193
699	iprec_at_recall_0.60	0.2295	0.2098
699	iprec_at_recall_0.70	0.1711	0.1889
699	iprec_at_recall_0.80	0.1314	0.1666
699	iprec_at_recall_0.90	0.0835	0.1232
699	iprec_at_recall_1.00	0.0080	0.0276
699	map	0.2948	0.1888
699	map_cut_10	0.0459	0.0357
699	map_cut_100	0.2363	0.1563
699	map_cut_1000	0.2948	0.1888
699	map_cut_15	0.0655	0.0492
699	map_cut_20	0.0826	0.0605
699	map_cut_200	0.2749	0.1830
699	map_cut_30	0.1173	0.0850
699	map_cut_5	0.0234	0.0224
699	map_cut_500	0.2911	0.1895
699	ndcg	0.5858	0.2457
699	ndcg_cut_10	0.4538	0.2900
699	ndcg_cut_100	0.4303	0.2169
699	ndcg_cut_1000	0.5858	0.2457
699	ndcg_cut_15	0.4499	0.2734
699	ndcg_cut_20	0.4412	0.2602
699	ndcg_cut_200	0.5039	0.2492
699	ndcg_cut_30	0.4382	0.2473
699	ndcg_cut_5	0.4238	0.3325
699	ndcg_cut_500	0.5592	0.2545
699	ndcg_rel	0.4960	0.2103
699	num_nonrel_judged_ret	237.0727	73.0993
699	num_rel	71.0000	0.0000
699	num_rel_ret	51.1545	19.0120
699	num_ret	931.8182	215.6098
699	prefs_avgjg	0.6632	0.2561
699	prefs_avgjg_Rnonrel	0.0658	0.0141
699	prefs_avgjg_Rnonrel_ret	0.1549	0.0699
699	prefs_avgjg_imp	0.7847	0.2249
699	prefs_avgjg_ret	0.6632	0.2235
699	prefs_num_prefs_ful	37813.4818	14600.6811
699	prefs_num_prefs_ful_ret	9490.8000	5778.4105
699	prefs_num_prefs_poss	57013.0000	0.0000
699	prefs_pair	0.6632	0.2561
699	prefs_pair_imp	0.7847	0.2249
699	prefs_pair_ret	0.6632	0.2235
699	prefs_simp	0.6632	0.2561
699	prefs_simp_imp	0.7847	0.2249
699	prefs_simp_ret	0.6632	0.2235
699	recall_10	0.0663	0.0405
699	recall_100	0.4352	0.2155
699	recall_1000	0.7205	0.2678
699	recall_15	0.0969	0.0574
699	recall_20	0.1248	0.0725
699	recall_200	0.5563	0.2713
699	recall_30	0.1851	0.1027
699	recall_5	0.0305	0.0225
699	recall_500	0.6622	0.2814
699	recip_rank	0.5348	0.3974
699	relative_P_10	0.4709	0.2874
699	relative_P_100	0.4352	0.2155
699	relative_P_1000	0.7205	0.2678
699	relative_P_15	0.4588	0.2717
699	relative_P_20	0.4432	0.2574
699	relative_P_200	0.5563	0.2713
699	relative_P_30	0.4382	0.2430
699	relative_P_5	0.4327	0.3197
699	relative_P_500	0.6622	0.2814
699	set_F	   nan	   nan
699	set_P	0.0602	0.0299
699	set_map	0.0463	0.0224
699	set_recall	0.7205	0.2678
699	set_relative_P	0.7205	0.2678
699	success_1	0.3909	0.4880
699	success_10	0.8273	0.3780
699	success_5	0.7455	0.4356
699	utility	-829.5091	207.3215
700	11pt_avg	0.2848	0.1615
700	G	0.1320	0.0413
700	P_10	0.3773	0.2239
700	P_100	0.3256	0.1776
700	P_1000	0.0974	0.0233
700	P_15	0.3806	0.2210
700	P_20	0.3759	0.2124
700	P_200	0.2580	0.1248
700	P_30	0.3658	0.2066
700	P_5	0.3800	0.2736
700	P_500	0.1589	0.0491
700	Rndcg	0.4057	0.1644
700	Rprec	0.3103	0.1672
700	Rprec_mult_0.20	0.3731	0.2093
700	Rprec_mult_0.40	0.3602	0.2035
700	Rprec_mult_0.60	0.3455	0.1915
700	Rprec_mult_0.80	0.3293	0.1806
700	Rprec_mult_1.00	0.3103	0.1672
700	Rprec_mult_1.20	0.2924	0.1537
700	Rprec_mult_1.40	0.2764	0.1425
700	Rprec_mult_1.60	0.2633	0.1298
700	Rprec_mult_1.80	0.2501	0.1198
700	Rprec_mult_2.00	0.2396	0.1093
700	binG	0.1428	0.0488
700	bpref	0.2737	0.1854
700	infAP	0.2574	0.1685
700	iprec_at_recall_0.00	0.7066	0.2986
700	iprec_at_recall_0.10	0.4172	0.2145
700	iprec_at_recall_0.20	0.3714	0.2156
700	iprec_at_recall_0.30	0.3381	0.2111
700	iprec_at_recall_0.40	0.3085	0.2107
700	iprec_at_recall_0.50	0.2793	0.2067
700	iprec_at_recall_0.60	0.2471	0.1931
700	iprec_at_recall_0.70	0.2141	0.1703
700	iprec_at_recall_0.80	0.1596	0.1547
700	iprec_at_recall_0.90	0.0795	0.1228
700	iprec_at_recall_1.00	0.0113	0.0404
700	map	0.2574	0.1685
700	map_cut_10	0.0197	0.0158
700	map_cut_100	0.1330	0.1204
700	map_cut_1000	0.2574	0.1685
700	map_cut_15	0.0282	0.0223
700	map_cut_20	0.0358	0.0287
700	map_cut_200	0.1893	0.1642
700	map_cut_30	0.0502	0.0418
700	map_cut_5	0.0117	0.0111
700	map_cut_500	0.2385	0.1741
700	ndcg	0.6033	0.1631
700	ndcg_cut_10	0.2841	0.1923
700	ndcg_cut_100	0.3302	0.1845
700	ndcg_cut_1000	0.6033	0.1631
700	ndcg_cut_15	0.2857	0.1856
700	ndcg_cut_20	0.2857	0.1810
700	ndcg_cut_200	0.4100	0.1989
700	ndcg_cut_30	0.2842	0.1775
700	ndcg_cut_5	0.2839	0.2275
700	ndcg_cut_500	0.5378	0.1818
700	ndcg_rel	0.4518	0.1331
700	num_nonrel_judged_ret	306.0364	89.7960
700	num_rel	120.0000	0.0000
700	num_rel_ret	97.3909	23.3410
700	num_ret	931.8091	215.6386
700	prefs_avgjg	0.6280	0.1775
700	prefs_avgjg_Rnonrel	0.1558	0.0361
700	prefs_avgjg_Rnonrel_ret	0.2286	0.0917
700	prefs_avgjg_imp	0.6955	0.1386
700	prefs_avgjg_ret	0.5933	0.1414
700	prefs_num_prefs_ful	44110.2091	12467.5401
700	prefs_num_prefs_ful_ret	20624.3000	9844.3409
700	prefs_num_prefs_poss	70244.0000	0.0000
700	prefs_pair	0.6280	0.1775
700	prefs_pair_imp	0.6955	0.1386
700	prefs_pair_ret	0.5933	0.1414
700	prefs_simp	0.6280	0.1775
700	prefs_simp_imp	0.6955	0.1386
700	prefs_simp_ret	0.5933	0.1414
700	recall_10	0.0314	0.0187
700	recall_100	0.2714	0.1480
700	recall_1000	0.8116	0.1945
700	recall_15	0.0476	0.0276
700	recall_20	0.0626	0.0354
700	recall_200	0.4300	0.2081
700	recall_30	0.0914	0.0517
700	recall_5	0.0158	0.0114
700	recall_500	0.6619	0.2047
700	recip_rank	0.6061	0.3704
700	relative_P_10	0.3773	0.2239
700	relative_P_100	0.3256	0.1776
700	relative_P_1000	0.8116	0.1945
700	relative_P_15	0.3806	0.2210
700	relative_P_20	0.3759	0.2124
700	relative_P_200	0.4300	0.2081
700	relative_P_30	0.3658	0.2066
700	relative_P_5	0.3800	0.2736
700	relative_P_500	0.6619	0.2047
700	set_F	0.1886	0.0511
700	set_P	0.1096	0.0400
700	set_map	0.0895	0.0328
700	set_recall	0.8116	0.1945
700	set_relative_P	0.8116	0.1945
700	success_1	0.4455	0.4970
700	success_10	0.9182	0.2741
700	success_5	0.8545	0.3526
700	utility	-737.0273	185.2209
