Skip to content

Full matrix

This is the full benchmark matrix from configs/full_matrix.yaml: 8 dataset loaders × 5 donors (ALS, BPR, CatBoost, EASE, Two-Tower) at seed=42. Each row is one (dataset, donor, method) combination; one block of rows per dataset-donor cell lists every method on the same pseudo-cold holdout. Read the table by comparing the transfer methods (linmap, stacking, stacking_plus, knn_score_avg, …) against the strong personalized baseline grouped_most_popular_pers within each cell — the headline metric is per-user auc.

Headline result: score transfer beats grouped_most_popular_pers by per-user AUC in 36 of 40 dataset-donor cells. The 4 misses are ML-1M × bpr/catboost/two_tower and amazon-toys × bpr, where the personalized baseline AUC is already high.

The matrix runs 12 of the 17 methods. The 5 embedding/scaling variants (attention_emb, dropoutnet, linmap_emb, magnitude_scaling, scale_shift) are excluded; for bilinear donors linmap ≡ linmap_emb, so linmap already represents that family here.

dataset donor method donor_fit_seconds donor_score_seconds method_fit_seconds method_predict_seconds rss_mb recall@1 recall@5 recall@10 precision@1 precision@5 precision@10 map@1 map@5 map@10 ndcg@1 ndcg@5 ndcg@10 mrr@1 mrr@5 mrr@10 auc auc_global rela_impr
amazon-toys als attention_knn 1.7693 5.2049 3.9380 2.5001 4327.5898 0.0128 0.0514 0.0763 0.0240 0.0211 0.0161 0.0240 0.0269 0.0298 0.0240 0.0381 0.0470 0.0240 0.0442 0.0501 0.6895 0.7072 -0.0815
amazon-toys als debiased_knn 1.7693 5.2049 4.0578 2.4555 4078.4062 0.0116 0.0483 0.0802 0.0230 0.0193 0.0165 0.0230 0.0246 0.0286 0.0230 0.0353 0.0469 0.0230 0.0418 0.0490 0.6848 0.7042 -0.1044
amazon-toys als embedding_avg 1.7693 5.2049 0.3044 0.8768 4206.5508 0.0112 0.0461 0.0780 0.0215 0.0185 0.0161 0.0215 0.0236 0.0277 0.0215 0.0337 0.0454 0.0215 0.0396 0.0468 0.6862 0.7051 -0.0972
amazon-toys als grouped_most_popular 1.7693 5.2049 0.0416 0.8491 4194.7578 0.0002 0.0029 0.0086 0.0005 0.0012 0.0018 0.0005 0.0010 0.0018 0.0005 0.0018 0.0041 0.0005 0.0021 0.0038 0.5149 0.5247 -0.9278
amazon-toys als grouped_most_popular_pers 1.7693 5.2049 0.1400 0.9795 4261.2812 0.0164 0.0682 0.0998 0.0290 0.0270 0.0203 0.0290 0.0358 0.0404 0.0290 0.0501 0.0619 0.0290 0.0575 0.0640 0.7063 0.6817 0.0000
amazon-toys als knn_score_avg 1.7693 5.2049 5.7062 2.2888 4324.4883 0.0121 0.0491 0.0794 0.0235 0.0194 0.0164 0.0235 0.0253 0.0291 0.0235 0.0360 0.0470 0.0235 0.0420 0.0489 0.6871 0.7059 -0.0931
amazon-toys als linmap 1.7693 5.2049 5.9312 0.9575 3867.4453 0.0131 0.0496 0.0802 0.0290 0.0202 0.0169 0.0290 0.0267 0.0306 0.0290 0.0377 0.0489 0.0290 0.0473 0.0539 0.7158 0.7366 0.0462
amazon-toys als logreg_calib 1.7693 5.2049 8.2425 3.8765 3987.3516 0.0129 0.0475 0.0740 0.0240 0.0194 0.0157 0.0240 0.0249 0.0281 0.0240 0.0354 0.0450 0.0240 0.0422 0.0481 0.6904 0.7092 -0.0768
amazon-toys als most_popular 1.7693 5.2049 0.0346 0.8661 4192.4883 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys als random 1.7693 5.2049 0.0000 0.8061 4192.3984 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9894
amazon-toys als stacking 1.7693 5.2049 7.5396 3.1978 3999.5703 0.0123 0.0537 0.0871 0.0240 0.0215 0.0179 0.0240 0.0270 0.0312 0.0240 0.0390 0.0510 0.0240 0.0456 0.0530 0.7153 0.7236 0.0439
amazon-toys als stacking_plus 1.7693 5.2049 7.7023 1.4591 3875.3516 0.0141 0.0561 0.0879 0.0300 0.0228 0.0182 0.0300 0.0295 0.0335 0.0300 0.0420 0.0535 0.0300 0.0519 0.0586 0.7299 0.7400 0.1143
amazon-toys bpr attention_knn 1.6235 5.2588 3.9155 2.4058 4011.7852 0.0038 0.0222 0.0327 0.0065 0.0084 0.0068 0.0065 0.0100 0.0113 0.0065 0.0148 0.0188 0.0065 0.0161 0.0191 0.5938 0.6057 -0.5452
amazon-toys bpr debiased_knn 1.6235 5.2588 3.9803 2.3142 4296.0391 0.0034 0.0205 0.0327 0.0045 0.0079 0.0074 0.0045 0.0082 0.0098 0.0045 0.0128 0.0177 0.0045 0.0130 0.0166 0.6202 0.6202 -0.4175
amazon-toys bpr embedding_avg 1.6235 5.2588 0.3091 0.9024 4052.9102 0.0049 0.0234 0.0328 0.0070 0.0085 0.0072 0.0070 0.0104 0.0118 0.0070 0.0154 0.0193 0.0070 0.0163 0.0194 0.5901 0.5993 -0.5631
amazon-toys bpr grouped_most_popular 1.6235 5.2588 0.0434 0.8504 3878.6445 0.0002 0.0029 0.0086 0.0005 0.0012 0.0018 0.0005 0.0010 0.0018 0.0005 0.0018 0.0041 0.0005 0.0021 0.0038 0.5149 0.5247 -0.9278
amazon-toys bpr grouped_most_popular_pers 1.6235 5.2588 0.1410 0.9091 4112.5547 0.0164 0.0682 0.0998 0.0290 0.0270 0.0203 0.0290 0.0358 0.0404 0.0290 0.0501 0.0619 0.0290 0.0575 0.0640 0.7063 0.6817 0.0000
amazon-toys bpr knn_score_avg 1.6235 5.2588 4.6564 2.5318 4008.7852 0.0051 0.0222 0.0330 0.0070 0.0082 0.0071 0.0070 0.0103 0.0118 0.0070 0.0149 0.0192 0.0070 0.0156 0.0189 0.5908 0.6004 -0.5599
amazon-toys bpr linmap 1.6235 5.2588 4.9917 1.0038 3891.9883 0.0026 0.0141 0.0245 0.0065 0.0067 0.0058 0.0065 0.0065 0.0078 0.0065 0.0102 0.0140 0.0065 0.0132 0.0159 0.5891 0.6130 -0.5682
amazon-toys bpr logreg_calib 1.6235 5.2588 7.5794 3.5650 4146.1562 0.0042 0.0214 0.0348 0.0075 0.0081 0.0073 0.0075 0.0096 0.0114 0.0075 0.0144 0.0194 0.0075 0.0164 0.0197 0.6078 0.6296 -0.4774
amazon-toys bpr most_popular 1.6235 5.2588 0.0274 0.8648 4043.4062 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys bpr random 1.6235 5.2588 0.0000 0.9339 3875.3945 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9894
amazon-toys bpr stacking 1.6235 5.2588 7.8770 3.9125 4022.6055 0.0179 0.0674 0.1024 0.0315 0.0265 0.0207 0.0315 0.0368 0.0418 0.0315 0.0506 0.0636 0.0315 0.0584 0.0656 0.6941 0.6892 -0.0589
amazon-toys bpr stacking_plus 1.6235 5.2588 6.8303 1.4834 3974.2031 0.0161 0.0609 0.0960 0.0290 0.0240 0.0189 0.0290 0.0334 0.0382 0.0290 0.0459 0.0585 0.0290 0.0534 0.0603 0.6877 0.6918 -0.0900
amazon-toys catboost attention_knn 11.3161 29.1362 4.0951 2.4059 4325.8047 0.0006 0.0042 0.0129 0.0010 0.0020 0.0025 0.0010 0.0019 0.0031 0.0010 0.0031 0.0061 0.0010 0.0040 0.0057 0.5446 0.5472 -0.7839
amazon-toys catboost debiased_knn 11.3161 29.1362 3.8247 2.5548 4332.1055 0.0001 0.0020 0.0055 0.0005 0.0011 0.0013 0.0005 0.0009 0.0013 0.0005 0.0015 0.0028 0.0005 0.0019 0.0029 0.4924 0.5093 -1.0368
amazon-toys catboost grouped_most_popular 11.3161 29.1362 0.0417 0.8956 4068.2500 0.0002 0.0029 0.0086 0.0005 0.0012 0.0018 0.0005 0.0010 0.0018 0.0005 0.0018 0.0041 0.0005 0.0021 0.0038 0.5149 0.5247 -0.9278
amazon-toys catboost grouped_most_popular_pers 11.3161 29.1362 0.1902 1.0528 4267.2227 0.0164 0.0682 0.0998 0.0290 0.0270 0.0203 0.0290 0.0358 0.0404 0.0290 0.0501 0.0619 0.0290 0.0575 0.0640 0.7063 0.6817 0.0000
amazon-toys catboost knn_score_avg 11.3161 29.1362 4.7780 2.4356 4202.7617 0.0006 0.0055 0.0128 0.0010 0.0023 0.0025 0.0010 0.0023 0.0033 0.0010 0.0037 0.0063 0.0010 0.0044 0.0058 0.5433 0.5439 -0.7902
amazon-toys catboost linmap 11.3161 29.1362 5.3405 1.0483 4195.2227 0.0020 0.0054 0.0101 0.0045 0.0028 0.0025 0.0045 0.0032 0.0038 0.0045 0.0047 0.0064 0.0045 0.0070 0.0083 0.5667 0.5581 -0.6766
amazon-toys catboost logreg_calib 11.3161 29.1362 7.8726 3.7183 4208.7500 0.0013 0.0046 0.0074 0.0055 0.0026 0.0020 0.0055 0.0027 0.0028 0.0055 0.0043 0.0053 0.0055 0.0080 0.0090 0.5417 0.5522 -0.7980
amazon-toys catboost most_popular 11.3161 29.1362 0.0256 0.8669 4159.1523 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys catboost random 11.3161 29.1362 0.0000 1.0197 4408.7227 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9894
amazon-toys catboost stacking 11.3161 29.1362 8.2913 3.4075 4320.5508 0.0090 0.0478 0.0722 0.0180 0.0190 0.0149 0.0180 0.0215 0.0251 0.0180 0.0323 0.0414 0.0180 0.0364 0.0411 0.7071 0.6850 0.0041
amazon-toys catboost stacking_plus 11.3161 29.1362 7.3920 1.4220 4096.8750 0.0117 0.0497 0.0789 0.0235 0.0206 0.0165 0.0235 0.0255 0.0296 0.0235 0.0367 0.0473 0.0235 0.0439 0.0497 0.7279 0.6883 0.1049
amazon-toys ease attention_knn 15.7810 6.9003 3.9057 2.4811 4595.3164 0.0196 0.0703 0.1062 0.0325 0.0272 0.0212 0.0325 0.0383 0.0431 0.0325 0.0527 0.0657 0.0325 0.0606 0.0679 0.6998 0.7315 -0.0315
amazon-toys ease debiased_knn 15.7810 6.9003 4.1431 2.3274 4866.5781 0.0154 0.0672 0.1044 0.0265 0.0261 0.0208 0.0265 0.0340 0.0390 0.0265 0.0485 0.0620 0.0265 0.0552 0.0630 0.6885 0.7205 -0.0861
amazon-toys ease grouped_most_popular 15.7810 6.9003 0.0398 0.8439 4608.0938 0.0002 0.0029 0.0086 0.0005 0.0012 0.0018 0.0005 0.0010 0.0018 0.0005 0.0018 0.0041 0.0005 0.0021 0.0038 0.5149 0.5247 -0.9278
amazon-toys ease grouped_most_popular_pers 15.7810 6.9003 0.1372 0.9108 4532.0430 0.0164 0.0682 0.0998 0.0290 0.0270 0.0203 0.0290 0.0358 0.0404 0.0290 0.0501 0.0619 0.0290 0.0575 0.0640 0.7063 0.6817 0.0000
amazon-toys ease knn_score_avg 15.7810 6.9003 4.9183 2.3509 4737.2930 0.0155 0.0663 0.1015 0.0270 0.0257 0.0206 0.0270 0.0336 0.0384 0.0270 0.0478 0.0609 0.0270 0.0545 0.0621 0.7008 0.7319 -0.0268
amazon-toys ease linmap 15.7810 6.9003 4.9650 0.9633 4476.6367 0.0189 0.0702 0.1108 0.0355 0.0273 0.0225 0.0355 0.0381 0.0434 0.0355 0.0525 0.0674 0.0355 0.0614 0.0703 0.7437 0.7573 0.1812
amazon-toys ease logreg_calib 15.7810 6.9003 8.1974 3.5068 4687.2305 0.0203 0.0698 0.1057 0.0340 0.0263 0.0209 0.0340 0.0383 0.0434 0.0340 0.0525 0.0657 0.0340 0.0610 0.0683 0.7007 0.7327 -0.0272
amazon-toys ease most_popular 15.7810 6.9003 0.0316 0.8911 4460.8789 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys ease random 15.7810 6.9003 0.0000 0.9306 4603.4648 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9894
amazon-toys ease stacking 15.7810 6.9003 7.3644 3.3979 4586.4414 0.0161 0.0673 0.1051 0.0280 0.0258 0.0211 0.0280 0.0345 0.0397 0.0280 0.0488 0.0629 0.0280 0.0558 0.0640 0.7247 0.7340 0.0894
amazon-toys ease stacking_plus 15.7810 6.9003 7.0273 1.4233 4611.2461 0.0175 0.0702 0.1122 0.0335 0.0275 0.0226 0.0335 0.0373 0.0427 0.0335 0.0520 0.0671 0.0335 0.0607 0.0694 0.7446 0.7542 0.1856
amazon-toys two_tower attention_knn 2.8687 5.1530 4.1811 2.3680 3830.1016 0.0010 0.0086 0.0187 0.0025 0.0037 0.0036 0.0025 0.0039 0.0050 0.0025 0.0061 0.0094 0.0025 0.0072 0.0093 0.6182 0.5724 -0.4269
amazon-toys two_tower debiased_knn 2.8687 5.1530 3.9664 2.3530 3989.3516 0.0006 0.0056 0.0091 0.0010 0.0024 0.0022 0.0010 0.0025 0.0030 0.0010 0.0039 0.0052 0.0010 0.0045 0.0055 0.5552 0.5193 -0.7326
amazon-toys two_tower embedding_avg 2.8687 5.1530 0.3295 0.9579 3743.0586 0.0015 0.0105 0.0170 0.0015 0.0034 0.0030 0.0015 0.0043 0.0050 0.0015 0.0064 0.0087 0.0015 0.0061 0.0076 0.6155 0.5622 -0.4402
amazon-toys two_tower grouped_most_popular 2.8687 5.1530 0.0425 0.8297 3694.3242 0.0002 0.0029 0.0086 0.0005 0.0012 0.0018 0.0005 0.0010 0.0018 0.0005 0.0018 0.0041 0.0005 0.0021 0.0038 0.5149 0.5247 -0.9278
amazon-toys two_tower grouped_most_popular_pers 2.8687 5.1530 0.1374 0.8938 3794.9258 0.0164 0.0682 0.0998 0.0290 0.0270 0.0203 0.0290 0.0358 0.0404 0.0290 0.0501 0.0619 0.0290 0.0575 0.0640 0.7063 0.6817 0.0000
amazon-toys two_tower knn_score_avg 2.8687 5.1530 4.9206 2.3178 3826.1367 0.0013 0.0092 0.0172 0.0020 0.0035 0.0032 0.0020 0.0041 0.0049 0.0020 0.0061 0.0087 0.0020 0.0064 0.0081 0.6159 0.5635 -0.4382
amazon-toys two_tower linmap 2.8687 5.1530 5.9799 0.9627 3710.4766 0.0010 0.0068 0.0161 0.0020 0.0027 0.0032 0.0020 0.0029 0.0041 0.0020 0.0046 0.0080 0.0020 0.0054 0.0075 0.6275 0.5748 -0.3821
amazon-toys two_tower logreg_calib 2.8687 5.1530 9.4775 4.2755 3865.0469 0.0012 0.0060 0.0124 0.0025 0.0025 0.0024 0.0025 0.0030 0.0037 0.0025 0.0044 0.0067 0.0025 0.0056 0.0071 0.5951 0.6007 -0.5390
amazon-toys two_tower most_popular 2.8687 5.1530 0.0257 0.8941 3724.1328 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys two_tower random 2.8687 5.1530 0.0000 0.8595 3691.1250 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9894
amazon-toys two_tower stacking 2.8687 5.1530 7.6211 3.0583 3840.4219 0.0184 0.0701 0.1063 0.0350 0.0274 0.0217 0.0350 0.0376 0.0426 0.0350 0.0522 0.0657 0.0350 0.0614 0.0693 0.7378 0.6936 0.1528
amazon-toys two_tower stacking_plus 2.8687 5.1530 6.5557 1.3601 3752.1562 0.0177 0.0664 0.1028 0.0330 0.0268 0.0210 0.0330 0.0365 0.0417 0.0330 0.0504 0.0639 0.0330 0.0600 0.0674 0.7408 0.6950 0.1673
amazon-toys-text als attention_knn 1.8673 5.2591 4.1028 2.4074 3921.1016 0.0118 0.0526 0.0837 0.0260 0.0217 0.0178 0.0260 0.0278 0.0324 0.0260 0.0399 0.0515 0.0260 0.0496 0.0560 0.7005 0.7141 -0.0329
amazon-toys-text als debiased_knn 1.8673 5.2591 4.4616 2.5277 4047.3398 0.0128 0.0621 0.0954 0.0295 0.0257 0.0203 0.0295 0.0323 0.0370 0.0295 0.0463 0.0587 0.0295 0.0563 0.0635 0.7014 0.7187 -0.0285
amazon-toys-text als embedding_avg 1.8673 5.2591 0.3239 0.8560 3800.0664 0.0104 0.0556 0.0879 0.0250 0.0229 0.0187 0.0250 0.0275 0.0324 0.0250 0.0406 0.0528 0.0250 0.0503 0.0568 0.7016 0.7180 -0.0276
amazon-toys-text als grouped_most_popular 1.8673 5.2591 0.0602 0.8613 3783.4648 0.0000 0.0009 0.0024 0.0000 0.0006 0.0006 0.0000 0.0002 0.0005 0.0000 0.0006 0.0012 0.0000 0.0008 0.0012 0.5245 0.5210 -0.8818
amazon-toys-text als grouped_most_popular_pers 1.8673 5.2591 0.2182 0.9770 3952.5977 0.0352 0.1007 0.1412 0.0600 0.0382 0.0278 0.0600 0.0626 0.0682 0.0600 0.0812 0.0961 0.0600 0.0957 0.1039 0.7073 0.7299 0.0000
amazon-toys-text als knn_score_avg 1.8673 5.2591 4.9772 2.3727 3917.1094 0.0118 0.0590 0.0918 0.0285 0.0246 0.0196 0.0285 0.0303 0.0350 0.0285 0.0439 0.0563 0.0285 0.0540 0.0613 0.7045 0.7203 -0.0136
amazon-toys-text als linmap 1.8673 5.2591 5.6426 1.0145 3812.0820 0.0160 0.0565 0.0885 0.0290 0.0241 0.0190 0.0290 0.0322 0.0363 0.0290 0.0444 0.0560 0.0290 0.0533 0.0602 0.7242 0.7369 0.0816
amazon-toys-text als logreg_calib 1.8673 5.2591 7.7659 3.5839 3922.8086 0.0137 0.0573 0.0851 0.0295 0.0237 0.0181 0.0295 0.0318 0.0354 0.0295 0.0442 0.0544 0.0295 0.0538 0.0602 0.7026 0.7200 -0.0229
amazon-toys-text als most_popular 1.8673 5.2591 0.0289 0.8654 3783.2070 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys-text als random 1.8673 5.2591 0.0000 0.8009 3781.9922 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9895
amazon-toys-text als stacking 1.8673 5.2591 7.8195 3.3013 3941.1445 0.0322 0.1013 0.1439 0.0595 0.0397 0.0287 0.0595 0.0608 0.0665 0.0595 0.0808 0.0962 0.0595 0.0970 0.1058 0.7383 0.7556 0.1495
amazon-toys-text als stacking_plus 1.8673 5.2591 7.5577 1.6421 3827.9688 0.0303 0.0962 0.1412 0.0540 0.0371 0.0283 0.0540 0.0571 0.0635 0.0540 0.0757 0.0925 0.0540 0.0891 0.0984 0.7428 0.7599 0.1711
amazon-toys-text bpr attention_knn 1.4895 5.1948 3.4422 2.1757 3938.1562 0.0026 0.0194 0.0286 0.0070 0.0096 0.0073 0.0070 0.0095 0.0104 0.0070 0.0146 0.0178 0.0070 0.0180 0.0207 0.5933 0.6201 -0.5498
amazon-toys-text bpr debiased_knn 1.4895 5.1948 3.4944 2.1755 4309.3945 0.0041 0.0251 0.0395 0.0105 0.0110 0.0086 0.0105 0.0124 0.0142 0.0105 0.0186 0.0237 0.0105 0.0232 0.0265 0.6283 0.6394 -0.3812
amazon-toys-text bpr embedding_avg 1.4895 5.1948 0.2858 0.8320 4063.2852 0.0040 0.0191 0.0333 0.0075 0.0082 0.0072 0.0075 0.0095 0.0113 0.0075 0.0139 0.0192 0.0075 0.0167 0.0202 0.5953 0.6201 -0.5404
amazon-toys-text bpr grouped_most_popular 1.4895 5.1948 0.0656 0.8818 3803.4688 0.0000 0.0009 0.0024 0.0000 0.0006 0.0006 0.0000 0.0002 0.0005 0.0000 0.0006 0.0012 0.0000 0.0008 0.0012 0.5245 0.5210 -0.8818
amazon-toys-text bpr grouped_most_popular_pers 1.4895 5.1948 0.2166 0.9671 4216.6602 0.0352 0.1007 0.1412 0.0600 0.0382 0.0278 0.0600 0.0626 0.0682 0.0600 0.0812 0.0961 0.0600 0.0957 0.1039 0.7073 0.7299 0.0000
amazon-toys-text bpr knn_score_avg 1.4895 5.1948 4.6037 2.2011 3934.1641 0.0051 0.0213 0.0355 0.0105 0.0094 0.0077 0.0105 0.0118 0.0136 0.0105 0.0167 0.0217 0.0105 0.0210 0.0240 0.5973 0.6227 -0.5305
amazon-toys-text bpr linmap 1.4895 5.1948 4.7278 0.9538 3827.5391 0.0018 0.0127 0.0205 0.0040 0.0051 0.0047 0.0040 0.0054 0.0064 0.0040 0.0084 0.0115 0.0040 0.0096 0.0119 0.5914 0.6212 -0.5591
amazon-toys-text bpr logreg_calib 1.4895 5.1948 6.4402 3.4420 4183.5664 0.0058 0.0250 0.0393 0.0120 0.0105 0.0082 0.0120 0.0136 0.0153 0.0120 0.0192 0.0242 0.0120 0.0237 0.0268 0.6125 0.6419 -0.4573
amazon-toys-text bpr most_popular 1.4895 5.1948 0.0498 0.9584 4049.2812 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys-text bpr random 1.4895 5.1948 0.0000 0.8745 3802.2109 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9895
amazon-toys-text bpr stacking 1.4895 5.1948 6.8401 3.0240 3957.0156 0.0376 0.1003 0.1423 0.0650 0.0386 0.0283 0.0650 0.0644 0.0701 0.0650 0.0828 0.0981 0.0650 0.0992 0.1077 0.7225 0.7458 0.0732
amazon-toys-text bpr stacking_plus 1.4895 5.1948 6.7232 1.4807 4081.9062 0.0356 0.1027 0.1398 0.0615 0.0395 0.0280 0.0615 0.0633 0.0682 0.0615 0.0825 0.0960 0.0615 0.0974 0.1047 0.7244 0.7474 0.0823
amazon-toys-text catboost attention_knn 10.2965 26.9254 3.4431 2.1863 4339.0508 0.0009 0.0034 0.0081 0.0025 0.0020 0.0020 0.0025 0.0017 0.0024 0.0025 0.0029 0.0046 0.0025 0.0042 0.0052 0.5621 0.5592 -0.7004
amazon-toys-text catboost debiased_knn 10.2965 26.9254 3.4776 2.1912 4225.3750 0.0002 0.0028 0.0055 0.0005 0.0013 0.0014 0.0005 0.0011 0.0015 0.0005 0.0019 0.0029 0.0005 0.0025 0.0032 0.4864 0.5102 -1.0655
amazon-toys-text catboost grouped_most_popular 10.2965 26.9254 0.0568 0.8023 3950.7656 0.0000 0.0009 0.0024 0.0000 0.0006 0.0006 0.0000 0.0002 0.0005 0.0000 0.0006 0.0012 0.0000 0.0008 0.0012 0.5245 0.5210 -0.8818
amazon-toys-text catboost grouped_most_popular_pers 10.2965 26.9254 0.2020 0.9230 4372.9102 0.0352 0.1007 0.1412 0.0600 0.0382 0.0278 0.0600 0.0626 0.0682 0.0600 0.0812 0.0961 0.0600 0.0957 0.1039 0.7073 0.7299 0.0000
amazon-toys-text catboost knn_score_avg 10.2965 26.9254 4.1541 2.1775 4089.8945 0.0003 0.0035 0.0067 0.0010 0.0020 0.0016 0.0010 0.0015 0.0019 0.0010 0.0028 0.0039 0.0010 0.0042 0.0051 0.5528 0.5509 -0.7451
amazon-toys-text catboost linmap 10.2965 26.9254 4.8300 0.9580 4221.4727 0.0004 0.0022 0.0052 0.0010 0.0013 0.0013 0.0010 0.0009 0.0013 0.0010 0.0017 0.0028 0.0010 0.0026 0.0034 0.5622 0.5501 -0.7002
amazon-toys-text catboost logreg_calib 10.2965 26.9254 8.4982 3.8438 4107.9922 0.0008 0.0067 0.0109 0.0020 0.0036 0.0027 0.0020 0.0030 0.0036 0.0020 0.0051 0.0065 0.0020 0.0069 0.0078 0.5518 0.5589 -0.7502
amazon-toys-text catboost most_popular 10.2965 26.9254 0.0276 0.8140 4198.3750 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys-text catboost random 10.2965 26.9254 0.0000 0.8955 3945.4141 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9895
amazon-toys-text catboost stacking 10.2965 26.9254 7.7820 3.3584 4345.2852 0.0341 0.1011 0.1385 0.0595 0.0388 0.0271 0.0595 0.0616 0.0667 0.0595 0.0806 0.0941 0.0595 0.0949 0.1020 0.7229 0.7411 0.0751
amazon-toys-text catboost stacking_plus 10.2965 26.9254 7.8721 1.5239 4013.1836 0.0336 0.1008 0.1396 0.0595 0.0387 0.0274 0.0595 0.0615 0.0668 0.0595 0.0807 0.0947 0.0595 0.0960 0.1032 0.7230 0.7409 0.0757
amazon-toys-text ease attention_knn 15.1153 6.9560 3.8210 2.4508 4503.6836 0.0264 0.0901 0.1284 0.0515 0.0358 0.0261 0.0515 0.0528 0.0582 0.0515 0.0712 0.0851 0.0515 0.0864 0.0935 0.7123 0.7402 0.0240
amazon-toys-text ease debiased_knn 15.1153 6.9560 4.1810 2.4406 4887.9297 0.0267 0.0947 0.1377 0.0575 0.0375 0.0278 0.0575 0.0540 0.0599 0.0575 0.0737 0.0891 0.0575 0.0906 0.0987 0.7092 0.7400 0.0092
amazon-toys-text ease grouped_most_popular 15.1153 6.9560 0.0632 0.8476 4628.7461 0.0000 0.0009 0.0024 0.0000 0.0006 0.0006 0.0000 0.0002 0.0005 0.0000 0.0006 0.0012 0.0000 0.0008 0.0012 0.5245 0.5210 -0.8818
amazon-toys-text ease grouped_most_popular_pers 15.1153 6.9560 0.2702 0.9659 4540.1289 0.0352 0.1007 0.1412 0.0600 0.0382 0.0278 0.0600 0.0626 0.0682 0.0600 0.0812 0.0961 0.0600 0.0957 0.1039 0.7073 0.7299 0.0000
amazon-toys-text ease knn_score_avg 15.1153 6.9560 4.5649 2.2835 4758.6680 0.0264 0.0947 0.1339 0.0540 0.0373 0.0271 0.0540 0.0529 0.0583 0.0540 0.0726 0.0868 0.0540 0.0876 0.0953 0.7193 0.7464 0.0579
amazon-toys-text ease linmap 15.1153 6.9560 5.3463 1.0238 4393.1445 0.0220 0.0809 0.1312 0.0440 0.0331 0.0271 0.0440 0.0461 0.0529 0.0440 0.0629 0.0814 0.0440 0.0756 0.0862 0.7484 0.7579 0.1984
amazon-toys-text ease logreg_calib 15.1153 6.9560 7.2580 3.5568 4762.2695 0.0246 0.0960 0.1371 0.0480 0.0364 0.0275 0.0480 0.0532 0.0595 0.0480 0.0726 0.0883 0.0480 0.0856 0.0944 0.7200 0.7474 0.0615
amazon-toys-text ease most_popular 15.1153 6.9560 0.0282 0.8752 4370.5508 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys-text ease random 15.1153 6.9560 0.0000 0.9917 4626.5430 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9895
amazon-toys-text ease stacking 15.1153 6.9560 7.7096 3.3109 4522.5312 0.0341 0.1082 0.1562 0.0630 0.0420 0.0308 0.0630 0.0646 0.0715 0.0630 0.0857 0.1033 0.0630 0.1021 0.1115 0.7454 0.7619 0.1838
amazon-toys-text ease stacking_plus 15.1153 6.9560 7.7974 1.5404 4667.4219 0.0337 0.0995 0.1471 0.0615 0.0390 0.0291 0.0615 0.0618 0.0683 0.0615 0.0810 0.0982 0.0615 0.0980 0.1072 0.7497 0.7637 0.2046
amazon-toys-text two_tower attention_knn 2.9393 5.3137 3.9853 2.2778 3928.2461 0.0012 0.0052 0.0103 0.0035 0.0028 0.0025 0.0035 0.0027 0.0034 0.0035 0.0044 0.0062 0.0035 0.0066 0.0078 0.6151 0.5957 -0.4448
amazon-toys-text two_tower debiased_knn 2.9393 5.3137 4.1099 2.4636 4088.4922 0.0000 0.0044 0.0076 0.0000 0.0025 0.0022 0.0000 0.0013 0.0018 0.0000 0.0028 0.0040 0.0000 0.0034 0.0043 0.5532 0.5282 -0.7435
amazon-toys-text two_tower embedding_avg 2.9393 5.3137 0.3142 0.8708 3842.2109 0.0002 0.0047 0.0113 0.0005 0.0023 0.0028 0.0005 0.0019 0.0028 0.0005 0.0033 0.0058 0.0005 0.0042 0.0058 0.6047 0.5702 -0.4947
amazon-toys-text two_tower grouped_most_popular 2.9393 5.3137 0.0633 0.8330 3795.5977 0.0000 0.0009 0.0024 0.0000 0.0006 0.0006 0.0000 0.0002 0.0005 0.0000 0.0006 0.0012 0.0000 0.0008 0.0012 0.5245 0.5210 -0.8818
amazon-toys-text two_tower grouped_most_popular_pers 2.9393 5.3137 0.2221 0.9568 3994.7695 0.0352 0.1007 0.1412 0.0600 0.0382 0.0278 0.0600 0.0626 0.0682 0.0600 0.0812 0.0961 0.0600 0.0957 0.1039 0.7073 0.7299 0.0000
amazon-toys-text two_tower knn_score_avg 2.9393 5.3137 4.7941 2.2871 3925.2734 0.0003 0.0057 0.0128 0.0010 0.0029 0.0032 0.0010 0.0021 0.0032 0.0010 0.0039 0.0067 0.0010 0.0053 0.0070 0.6083 0.5748 -0.4777
amazon-toys-text two_tower linmap 2.9393 5.3137 5.3050 0.9932 3817.7070 0.0004 0.0030 0.0081 0.0015 0.0017 0.0020 0.0015 0.0014 0.0021 0.0015 0.0024 0.0044 0.0015 0.0038 0.0050 0.6105 0.5536 -0.4671
amazon-toys-text two_tower logreg_calib 2.9393 5.3137 7.3030 3.5496 3962.8242 0.0027 0.0065 0.0133 0.0055 0.0027 0.0028 0.0055 0.0044 0.0052 0.0055 0.0058 0.0083 0.0055 0.0080 0.0097 0.5907 0.6057 -0.5622
amazon-toys-text two_tower most_popular 2.9393 5.3137 0.0288 0.9854 3825.4102 0.0007 0.0031 0.0086 0.0010 0.0011 0.0015 0.0010 0.0014 0.0019 0.0010 0.0020 0.0038 0.0010 0.0022 0.0031 0.5000 0.5000 -1.0000
amazon-toys-text two_tower random 2.9393 5.3137 0.0000 0.8821 3793.4727 0.0005 0.0016 0.0034 0.0005 0.0008 0.0008 0.0005 0.0009 0.0011 0.0005 0.0013 0.0019 0.0005 0.0016 0.0020 0.5022 0.5024 -0.9895
amazon-toys-text two_tower stacking 2.9393 5.3137 7.7551 3.4410 3947.1328 0.0351 0.1013 0.1383 0.0615 0.0386 0.0274 0.0615 0.0623 0.0675 0.0615 0.0813 0.0949 0.0615 0.0966 0.1038 0.7202 0.7395 0.0624
amazon-toys-text two_tower stacking_plus 2.9393 5.3137 8.0321 1.6205 3868.0156 0.0352 0.1022 0.1386 0.0620 0.0389 0.0274 0.0620 0.0629 0.0679 0.0620 0.0821 0.0955 0.0620 0.0976 0.1046 0.7162 0.7373 0.0430
goodbooks als attention_knn 9.1550 0.1841 0.8505 1.2545 2131.2539 0.0146 0.0637 0.1103 0.3190 0.2773 0.2415 0.3190 0.1974 0.1458 0.3190 0.2871 0.2591 0.3190 0.4535 0.4728 0.7389 0.7487 1.2522
goodbooks als debiased_knn 9.1550 0.1841 0.8339 1.3226 2237.0781 0.0155 0.0578 0.0969 0.3425 0.2508 0.2131 0.3425 0.1847 0.1312 0.3425 0.2706 0.2380 0.3425 0.4580 0.4770 0.7244 0.7350 1.1150
goodbooks als embedding_avg 9.1550 0.1841 0.1848 0.0688 2051.8438 0.0147 0.0543 0.0911 0.3230 0.2364 0.2005 0.3230 0.1744 0.1225 0.3230 0.2572 0.2254 0.3230 0.4430 0.4623 0.7215 0.7319 1.0879
goodbooks als grouped_most_popular 9.1550 0.1841 0.1538 0.0529 2014.9180 0.0003 0.0036 0.0074 0.0055 0.0181 0.0175 0.0055 0.0086 0.0061 0.0055 0.0164 0.0167 0.0055 0.0285 0.0363 0.4618 0.4608 -1.3602
goodbooks als grouped_most_popular_pers 9.1550 0.1841 1.5014 0.0925 2141.7305 0.0195 0.0722 0.1190 0.4185 0.3112 0.2600 0.4185 0.2464 0.1759 0.4185 0.3356 0.2919 0.4185 0.5273 0.5446 0.6061 0.6108 0.0000
goodbooks als knn_score_avg 9.1550 0.1841 0.7965 1.1942 2127.2383 0.0146 0.0560 0.0947 0.3285 0.2445 0.2077 0.3285 0.1768 0.1251 0.3285 0.2627 0.2313 0.3285 0.4484 0.4676 0.7272 0.7375 1.1415
goodbooks als linmap 9.1550 0.1841 1.0451 0.1405 2033.2852 0.0162 0.0654 0.1092 0.3525 0.2829 0.2395 0.3525 0.2103 0.1514 0.3525 0.2980 0.2630 0.3525 0.4734 0.4912 0.7726 0.7895 1.5696
goodbooks als logreg_calib 9.1550 0.1841 3.8187 2.1369 2135.7148 0.0126 0.0554 0.0964 0.2800 0.2402 0.2113 0.2800 0.1635 0.1215 0.2800 0.2485 0.2259 0.2800 0.4138 0.4330 0.7318 0.7423 1.1853
goodbooks als most_popular 9.1550 0.1841 0.1142 0.0529 2012.9023 0.0144 0.0609 0.1065 0.3230 0.2694 0.2382 0.3230 0.1860 0.1353 0.3230 0.2811 0.2561 0.3230 0.4636 0.4850 0.5000 0.5000 -1.0000
goodbooks als random 9.1550 0.1841 0.0000 0.0610 2010.8789 0.0004 0.0024 0.0053 0.0100 0.0113 0.0122 0.0100 0.0053 0.0035 0.0100 0.0113 0.0119 0.0100 0.0253 0.0328 0.4999 0.4998 -1.0012
goodbooks als stacking 9.1550 0.1841 3.7268 1.8943 2142.0508 0.0154 0.0585 0.0986 0.3420 0.2542 0.2164 0.3420 0.1843 0.1319 0.3420 0.2727 0.2405 0.3420 0.4612 0.4796 0.7426 0.7563 1.2867
goodbooks als stacking_plus 9.1550 0.1841 3.4185 0.5070 2041.4648 0.0163 0.0663 0.1113 0.3520 0.2859 0.2443 0.3520 0.2112 0.1537 0.3520 0.3002 0.2669 0.3520 0.4763 0.4947 0.7725 0.7865 1.5686
goodbooks bpr attention_knn 57.2213 0.1933 0.7309 1.1872 2144.8672 0.0147 0.0580 0.0982 0.3205 0.2528 0.2164 0.3205 0.1834 0.1317 0.3205 0.2665 0.2369 0.3205 0.4357 0.4561 0.7543 0.7419 1.3972
goodbooks bpr debiased_knn 57.2213 0.1933 0.7649 1.1641 2250.6992 0.0092 0.0355 0.0603 0.2070 0.1599 0.1363 0.2070 0.1125 0.0768 0.2070 0.1708 0.1507 0.2070 0.2982 0.3192 0.7233 0.7041 1.1044
goodbooks bpr embedding_avg 57.2213 0.1933 0.1952 0.0728 2065.8672 0.0116 0.0383 0.0613 0.2535 0.1712 0.1378 0.2535 0.1269 0.0824 0.2535 0.1907 0.1605 0.2535 0.3441 0.3642 0.7247 0.7037 1.1179
goodbooks bpr grouped_most_popular 57.2213 0.1933 0.1219 0.0555 2033.2461 0.0003 0.0036 0.0074 0.0055 0.0181 0.0175 0.0055 0.0086 0.0061 0.0055 0.0164 0.0167 0.0055 0.0285 0.0363 0.4618 0.4608 -1.3602
goodbooks bpr grouped_most_popular_pers 57.2213 0.1933 1.4944 0.1053 2155.5078 0.0195 0.0722 0.1190 0.4185 0.3112 0.2600 0.4185 0.2464 0.1759 0.4185 0.3356 0.2919 0.4185 0.5273 0.5446 0.6061 0.6108 0.0000
goodbooks bpr knn_score_avg 57.2213 0.1933 0.7372 1.1728 2140.9297 0.0097 0.0388 0.0647 0.2150 0.1740 0.1452 0.2150 0.1212 0.0820 0.2150 0.1844 0.1609 0.2150 0.3178 0.3395 0.7333 0.7147 1.1992
goodbooks bpr linmap 57.2213 0.1933 1.0665 0.1456 2040.9492 0.0160 0.0559 0.0941 0.3455 0.2457 0.2082 0.3455 0.1844 0.1293 0.3455 0.2665 0.2336 0.3455 0.4493 0.4685 0.7695 0.7523 1.5398
goodbooks bpr logreg_calib 57.2213 0.1933 3.7785 2.1174 2141.3672 0.0067 0.0323 0.0610 0.1485 0.1426 0.1343 0.1485 0.0955 0.0718 0.1485 0.1444 0.1382 0.1485 0.2355 0.2581 0.7478 0.7325 1.3356
goodbooks bpr most_popular 57.2213 0.1933 0.1353 0.0543 2031.5859 0.0144 0.0609 0.1065 0.3230 0.2694 0.2382 0.3230 0.1860 0.1353 0.3230 0.2811 0.2561 0.3230 0.4636 0.4850 0.5000 0.5000 -1.0000
goodbooks bpr random 57.2213 0.1933 0.0000 0.0720 2030.1094 0.0004 0.0024 0.0053 0.0100 0.0113 0.0122 0.0100 0.0053 0.0035 0.0100 0.0113 0.0119 0.0100 0.0253 0.0328 0.4999 0.4998 -1.0012
goodbooks bpr stacking 57.2213 0.1933 3.7816 1.7653 2146.7266 0.0128 0.0469 0.0779 0.2830 0.2085 0.1738 0.2830 0.1531 0.1051 0.2830 0.2254 0.1957 0.2830 0.3865 0.4062 0.7422 0.7358 1.2830
goodbooks bpr stacking_plus 57.2213 0.1933 3.5036 0.5265 2045.1641 0.0169 0.0587 0.0982 0.3655 0.2578 0.2172 0.3655 0.1960 0.1379 0.3655 0.2804 0.2447 0.3655 0.4694 0.4872 0.7699 0.7562 1.5437
goodbooks catboost attention_knn 246.2846 25.6679 0.8449 1.2221 6636.8555 0.0018 0.0091 0.0198 0.0450 0.0435 0.0459 0.0450 0.0218 0.0151 0.0450 0.0437 0.0449 0.0450 0.0917 0.1117 0.5952 0.5861 -0.1025
goodbooks catboost debiased_knn 246.2846 25.6679 0.7290 1.2123 6743.6719 0.0025 0.0059 0.0113 0.0630 0.0294 0.0283 0.0630 0.0215 0.0135 0.0630 0.0364 0.0332 0.0630 0.0829 0.0941 0.5380 0.4849 -0.6415
goodbooks catboost grouped_most_popular 246.2846 25.6679 0.1266 0.0550 6522.2617 0.0003 0.0036 0.0074 0.0055 0.0181 0.0175 0.0055 0.0086 0.0061 0.0055 0.0164 0.0167 0.0055 0.0285 0.0363 0.4618 0.4608 -1.3602
goodbooks catboost grouped_most_popular_pers 246.2846 25.6679 1.4720 0.0952 6650.7109 0.0195 0.0722 0.1190 0.4185 0.3112 0.2600 0.4185 0.2464 0.1759 0.4185 0.3356 0.2919 0.4185 0.5273 0.5446 0.6061 0.6108 0.0000
goodbooks catboost knn_score_avg 246.2846 25.6679 0.7668 1.2344 6635.7305 0.0051 0.0136 0.0216 0.1185 0.0633 0.0490 0.1185 0.0399 0.0239 0.1185 0.0717 0.0590 0.1185 0.1587 0.1709 0.5891 0.5769 -0.1602
goodbooks catboost linmap 246.2846 25.6679 0.9806 0.1332 6535.7891 0.0018 0.0065 0.0128 0.0470 0.0312 0.0295 0.0470 0.0220 0.0140 0.0470 0.0344 0.0319 0.0470 0.0659 0.0776 0.6048 0.5940 -0.0119
goodbooks catboost logreg_calib 246.2846 25.6679 3.1702 2.2217 6638.8203 0.0007 0.0089 0.0120 0.0140 0.0413 0.0276 0.0140 0.0183 0.0105 0.0140 0.0381 0.0297 0.0140 0.0712 0.0776 0.5909 0.5981 -0.1428
goodbooks catboost most_popular 246.2846 25.6679 0.1207 0.0524 6520.0156 0.0144 0.0609 0.1065 0.3230 0.2694 0.2382 0.3230 0.1860 0.1353 0.3230 0.2811 0.2561 0.3230 0.4636 0.4850 0.5000 0.5000 -1.0000
goodbooks catboost random 246.2846 25.6679 0.0000 0.0725 6523.1914 0.0004 0.0024 0.0053 0.0100 0.0113 0.0122 0.0100 0.0053 0.0035 0.0100 0.0113 0.0119 0.0100 0.0253 0.0328 0.4999 0.4998 -1.0012
goodbooks catboost stacking 246.2846 25.6679 3.2781 1.9574 6646.0273 0.0106 0.0400 0.0677 0.2320 0.1756 0.1502 0.2320 0.1229 0.0868 0.2320 0.1872 0.1658 0.2320 0.3272 0.3464 0.7003 0.7017 0.8875
goodbooks catboost stacking_plus 246.2846 25.6679 3.0270 0.5409 6543.4414 0.0055 0.0216 0.0433 0.1185 0.0934 0.0958 0.1185 0.0635 0.0467 0.1185 0.0995 0.0992 0.1185 0.1803 0.2058 0.7123 0.7085 1.0011
goodbooks ease attention_knn 14.0089 2.0166 0.6841 1.3053 2656.0938 0.0195 0.0866 0.1451 0.4205 0.3740 0.3167 0.4205 0.2856 0.2159 0.4205 0.3867 0.3432 0.4205 0.5630 0.5747 0.7452 0.7595 1.3109
goodbooks ease debiased_knn 14.0089 2.0166 0.7509 1.2590 2762.9062 0.0214 0.0815 0.1348 0.4630 0.3505 0.2950 0.4630 0.2775 0.2034 0.4630 0.3762 0.3293 0.4630 0.5798 0.5937 0.7218 0.7371 1.0908
goodbooks ease grouped_most_popular 14.0089 2.0166 0.1288 0.0538 2546.5781 0.0003 0.0036 0.0074 0.0055 0.0181 0.0175 0.0055 0.0086 0.0061 0.0055 0.0164 0.0167 0.0055 0.0285 0.0363 0.4618 0.4608 -1.3602
goodbooks ease grouped_most_popular_pers 14.0089 2.0166 1.4175 0.0895 2669.6562 0.0195 0.0722 0.1190 0.4185 0.3112 0.2600 0.4185 0.2464 0.1759 0.4185 0.3356 0.2919 0.4185 0.5273 0.5446 0.6061 0.6108 0.0000
goodbooks ease knn_score_avg 14.0089 2.0166 0.7010 1.2443 2655.0898 0.0198 0.0780 0.1303 0.4300 0.3370 0.2851 0.4300 0.2604 0.1923 0.4300 0.3585 0.3155 0.4300 0.5552 0.5686 0.7287 0.7448 1.1558
goodbooks ease linmap 14.0089 2.0166 0.9870 0.1383 2555.1445 0.0193 0.0824 0.1392 0.4185 0.3577 0.3047 0.4185 0.2790 0.2077 0.4185 0.3724 0.3311 0.4185 0.5428 0.5585 0.7897 0.8051 1.7305
goodbooks ease logreg_calib 14.0089 2.0166 3.8904 2.0103 2657.7383 0.0189 0.0787 0.1314 0.4120 0.3395 0.2872 0.4120 0.2589 0.1924 0.4120 0.3568 0.3150 0.4120 0.5456 0.5583 0.7333 0.7485 1.1986
goodbooks ease most_popular 14.0089 2.0166 0.1254 0.0518 2544.8203 0.0144 0.0609 0.1065 0.3230 0.2694 0.2382 0.3230 0.1860 0.1353 0.3230 0.2811 0.2561 0.3230 0.4636 0.4850 0.5000 0.5000 -1.0000
goodbooks ease random 14.0089 2.0166 0.0000 0.0671 2544.3945 0.0004 0.0024 0.0053 0.0100 0.0113 0.0122 0.0100 0.0053 0.0035 0.0100 0.0113 0.0119 0.0100 0.0253 0.0328 0.4999 0.4998 -1.0012
goodbooks ease stacking 14.0089 2.0166 3.7647 1.9953 2663.0742 0.0203 0.0787 0.1312 0.4395 0.3399 0.2873 0.4395 0.2644 0.1951 0.4395 0.3627 0.3189 0.4395 0.5622 0.5756 0.7474 0.7621 1.3319
goodbooks ease stacking_plus 14.0089 2.0166 3.4163 0.5111 2560.4844 0.0194 0.0824 0.1394 0.4205 0.3573 0.3050 0.4205 0.2784 0.2077 0.4205 0.3725 0.3316 0.4205 0.5452 0.5606 0.7847 0.7944 1.6833
goodbooks two_tower attention_knn 130.6134 0.1820 0.8369 1.4719 2251.2148 0.0117 0.0441 0.0767 0.2580 0.1955 0.1698 0.2580 0.1386 0.0985 0.2580 0.2087 0.1863 0.2580 0.3600 0.3795 0.7371 0.7260 1.2352
goodbooks two_tower debiased_knn 130.6134 0.1820 0.7459 1.2741 2358.2930 0.0032 0.0145 0.0312 0.0745 0.0674 0.0713 0.0745 0.0457 0.0339 0.0745 0.0691 0.0714 0.0745 0.1151 0.1363 0.6886 0.6599 0.7781
goodbooks two_tower embedding_avg 130.6134 0.1820 0.1912 0.0722 2171.8047 0.0070 0.0272 0.0479 0.1520 0.1209 0.1062 0.1520 0.0850 0.0579 0.1520 0.1315 0.1176 0.1520 0.2377 0.2591 0.7093 0.6777 0.9726
goodbooks two_tower grouped_most_popular 130.6134 0.1820 0.1441 0.0565 2138.2969 0.0003 0.0036 0.0074 0.0055 0.0181 0.0175 0.0055 0.0086 0.0061 0.0055 0.0164 0.0167 0.0055 0.0285 0.0363 0.4618 0.4608 -1.3602
goodbooks two_tower grouped_most_popular_pers 130.6134 0.1820 1.3941 0.0906 2260.1602 0.0195 0.0722 0.1190 0.4185 0.3112 0.2600 0.4185 0.2464 0.1759 0.4185 0.3356 0.2919 0.4185 0.5273 0.5446 0.6061 0.6108 0.0000
goodbooks two_tower knn_score_avg 130.6134 0.1820 0.7293 1.2224 2245.5898 0.0068 0.0291 0.0506 0.1495 0.1288 0.1126 0.1495 0.0862 0.0604 0.1495 0.1349 0.1218 0.1495 0.2369 0.2562 0.7164 0.6893 1.0395
goodbooks two_tower linmap 130.6134 0.1820 1.0167 0.1445 2149.5469 0.0109 0.0407 0.0702 0.2375 0.1799 0.1567 0.2375 0.1292 0.0918 0.2375 0.1931 0.1726 0.2375 0.3338 0.3537 0.7486 0.7267 1.3435
goodbooks two_tower logreg_calib 130.6134 0.1820 3.3913 1.9377 2255.1289 0.0054 0.0250 0.0478 0.1165 0.1127 0.1072 0.1165 0.0682 0.0519 0.1165 0.1122 0.1088 0.1165 0.1961 0.2160 0.7218 0.7256 1.0906
goodbooks two_tower most_popular 130.6134 0.1820 0.1293 0.0571 2136.5977 0.0144 0.0609 0.1065 0.3230 0.2694 0.2382 0.3230 0.1860 0.1353 0.3230 0.2811 0.2561 0.3230 0.4636 0.4850 0.5000 0.5000 -1.0000
goodbooks two_tower random 130.6134 0.1820 0.0000 0.0774 2136.1641 0.0004 0.0024 0.0053 0.0100 0.0113 0.0122 0.0100 0.0053 0.0035 0.0100 0.0113 0.0119 0.0100 0.0253 0.0328 0.4999 0.4998 -1.0012
goodbooks two_tower stacking 130.6134 0.1820 3.2021 1.6688 2259.4648 0.0141 0.0492 0.0824 0.3060 0.2164 0.1826 0.3060 0.1635 0.1143 0.3060 0.2361 0.2062 0.3060 0.4017 0.4225 0.7359 0.7305 1.2239
goodbooks two_tower stacking_plus 130.6134 0.1820 3.2016 0.5072 2156.8906 0.0153 0.0541 0.0893 0.3290 0.2361 0.1964 0.3290 0.1784 0.1250 0.3290 0.2555 0.2217 0.3290 0.4269 0.4442 0.7570 0.7464 1.4226
kion als attention_knn 47.0038 0.2317 0.9577 1.1704 2515.3789 0.0032 0.0266 0.0620 0.0115 0.0149 0.0159 0.0115 0.0118 0.0168 0.0115 0.0201 0.0333 0.0115 0.0268 0.0347 0.7077 0.7692 0.1829
kion als debiased_knn 47.0038 0.2317 1.0555 1.1585 2657.7461 0.0052 0.0272 0.0526 0.0175 0.0153 0.0142 0.0175 0.0136 0.0167 0.0175 0.0220 0.0310 0.0175 0.0311 0.0369 0.4924 0.6160 -1.0433
kion als embedding_avg 47.0038 0.2317 0.4705 0.0618 2745.5742 0.0076 0.0266 0.0565 0.0215 0.0158 0.0153 0.0215 0.0159 0.0193 0.0215 0.0240 0.0346 0.0215 0.0350 0.0417 0.7036 0.7660 0.1597
kion als grouped_most_popular 47.0038 0.2317 0.0881 0.0460 2362.6680 0.0016 0.0052 0.0109 0.0045 0.0025 0.0030 0.0045 0.0032 0.0037 0.0045 0.0047 0.0068 0.0045 0.0074 0.0095 0.5491 0.5953 -0.7201
kion als grouped_most_popular_pers 47.0038 0.2317 4.8636 0.0715 3536.9844 0.0051 0.0205 0.0378 0.0155 0.0117 0.0100 0.0155 0.0114 0.0134 0.0155 0.0178 0.0238 0.0155 0.0267 0.0306 0.6756 0.7104 0.0000
kion als knn_score_avg 47.0038 0.2317 1.0014 1.1714 2510.5977 0.0055 0.0255 0.0601 0.0185 0.0150 0.0158 0.0185 0.0138 0.0182 0.0185 0.0218 0.0344 0.0185 0.0319 0.0395 0.7044 0.7668 0.1643
kion als linmap 47.0038 0.2317 1.2095 0.1044 2375.7773 0.0068 0.0237 0.0491 0.0190 0.0135 0.0131 0.0190 0.0140 0.0168 0.0190 0.0212 0.0301 0.0190 0.0315 0.0376 0.7394 0.7881 0.3637
kion als logreg_calib 47.0038 0.2317 3.7166 2.2369 2516.2578 0.0049 0.0314 0.0723 0.0145 0.0164 0.0173 0.0145 0.0141 0.0194 0.0145 0.0233 0.0380 0.0145 0.0304 0.0390 0.6821 0.7506 0.0372
kion als most_popular 47.0038 0.2317 0.0787 0.0481 2361.6953 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion als random 47.0038 0.2317 0.0000 0.0585 2359.4727 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0115
kion als stacking 47.0038 0.2317 3.0423 2.0104 2520.1055 0.0075 0.0243 0.0508 0.0205 0.0150 0.0147 0.0205 0.0148 0.0181 0.0205 0.0225 0.0321 0.0205 0.0332 0.0392 0.6563 0.7209 -0.1099
kion als stacking_plus 47.0038 0.2317 2.6337 0.3966 2381.4648 0.0060 0.0237 0.0525 0.0175 0.0134 0.0137 0.0175 0.0132 0.0164 0.0175 0.0205 0.0305 0.0175 0.0301 0.0365 0.7124 0.7733 0.2098
kion bpr attention_knn 37.5627 0.2260 0.9770 1.1845 2524.6094 0.0064 0.0372 0.0553 0.0150 0.0180 0.0147 0.0150 0.0173 0.0198 0.0150 0.0269 0.0339 0.0150 0.0333 0.0380 0.6274 0.6641 -0.2744
kion bpr debiased_knn 37.5627 0.2260 1.0268 1.1792 2666.9805 0.0064 0.0360 0.0688 0.0180 0.0185 0.0167 0.0180 0.0174 0.0216 0.0180 0.0272 0.0389 0.0180 0.0348 0.0420 0.6850 0.7088 0.0539
kion bpr embedding_avg 37.5627 0.2260 0.4676 0.0595 2755.8594 0.0053 0.0359 0.0594 0.0135 0.0181 0.0151 0.0135 0.0164 0.0194 0.0135 0.0262 0.0346 0.0135 0.0323 0.0376 0.6304 0.6647 -0.2571
kion bpr grouped_most_popular 37.5627 0.2260 0.0796 0.0445 2376.1562 0.0016 0.0052 0.0109 0.0045 0.0025 0.0030 0.0045 0.0032 0.0037 0.0045 0.0047 0.0068 0.0045 0.0074 0.0095 0.5491 0.5953 -0.7201
kion bpr grouped_most_popular_pers 37.5627 0.2260 4.8537 0.0774 3542.9609 0.0051 0.0205 0.0378 0.0155 0.0117 0.0100 0.0155 0.0114 0.0134 0.0155 0.0178 0.0238 0.0155 0.0267 0.0306 0.6756 0.7104 0.0000
kion bpr knn_score_avg 37.5627 0.2260 0.9999 1.1808 2520.9141 0.0057 0.0353 0.0585 0.0140 0.0179 0.0151 0.0140 0.0168 0.0198 0.0140 0.0263 0.0347 0.0140 0.0326 0.0381 0.6302 0.6649 -0.2585
kion bpr linmap 37.5627 0.2260 1.2001 0.1042 2385.6914 0.0026 0.0240 0.0457 0.0080 0.0109 0.0104 0.0080 0.0094 0.0120 0.0080 0.0162 0.0239 0.0080 0.0211 0.0258 0.6525 0.6820 -0.1312
kion bpr logreg_calib 37.5627 0.2260 3.5449 2.2552 2525.1680 0.0013 0.0101 0.0230 0.0040 0.0046 0.0051 0.0040 0.0043 0.0059 0.0040 0.0070 0.0118 0.0040 0.0086 0.0118 0.7032 0.7388 0.1573
kion bpr most_popular 37.5627 0.2260 0.0689 0.0447 2375.7305 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion bpr random 37.5627 0.2260 0.0000 0.0580 2374.0430 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0115
kion bpr stacking 37.5627 0.2260 2.9468 2.0140 2527.9961 0.0065 0.0383 0.0645 0.0190 0.0188 0.0160 0.0190 0.0182 0.0217 0.0190 0.0285 0.0379 0.0190 0.0370 0.0423 0.6394 0.7072 -0.2060
kion bpr stacking_plus 37.5627 0.2260 2.6050 0.4058 2389.3633 0.0024 0.0261 0.0491 0.0080 0.0135 0.0120 0.0080 0.0109 0.0136 0.0080 0.0187 0.0266 0.0080 0.0246 0.0291 0.6619 0.7233 -0.0780
kion catboost attention_knn 157.9917 31.3578 0.9646 1.2052 5253.1719 0.0034 0.0052 0.0220 0.0120 0.0028 0.0071 0.0120 0.0045 0.0070 0.0120 0.0063 0.0135 0.0120 0.0129 0.0176 0.7585 0.7791 0.4725
kion catboost debiased_knn 157.9917 31.3578 1.0881 1.2112 5398.5352 0.0004 0.0037 0.0091 0.0010 0.0021 0.0025 0.0010 0.0016 0.0022 0.0010 0.0029 0.0049 0.0010 0.0042 0.0059 0.4989 0.5877 -1.0063
kion catboost grouped_most_popular 157.9917 31.3578 0.0820 0.0474 5102.2852 0.0016 0.0052 0.0109 0.0045 0.0025 0.0030 0.0045 0.0032 0.0037 0.0045 0.0047 0.0068 0.0045 0.0074 0.0095 0.5491 0.5953 -0.7201
kion catboost grouped_most_popular_pers 157.9917 31.3578 4.8275 0.0709 6242.5664 0.0051 0.0205 0.0378 0.0155 0.0117 0.0100 0.0155 0.0114 0.0134 0.0155 0.0178 0.0238 0.0155 0.0267 0.0306 0.6756 0.7104 0.0000
kion catboost knn_score_avg 157.9917 31.3578 0.9864 1.1980 5252.9375 0.0042 0.0152 0.0277 0.0130 0.0101 0.0087 0.0130 0.0100 0.0113 0.0130 0.0149 0.0192 0.0130 0.0228 0.0256 0.7503 0.7744 0.4256
kion catboost linmap 157.9917 31.3578 1.1972 0.1034 5119.9102 0.0234 0.0301 0.0327 0.0425 0.0136 0.0077 0.0425 0.0274 0.0270 0.0425 0.0338 0.0339 0.0425 0.0526 0.0532 0.6914 0.7444 0.0903
kion catboost logreg_calib 157.9917 31.3578 3.4967 2.2625 5261.6602 0.0005 0.0006 0.0071 0.0005 0.0002 0.0019 0.0005 0.0005 0.0015 0.0005 0.0006 0.0034 0.0005 0.0007 0.0031 0.7626 0.7763 0.4957
kion catboost most_popular 157.9917 31.3578 0.0685 0.0450 5101.6523 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion catboost random 157.9917 31.3578 0.0000 0.0582 5102.6562 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0115
kion catboost stacking 157.9917 31.3578 2.9875 2.0264 5265.0273 0.0042 0.0155 0.0220 0.0130 0.0105 0.0074 0.0130 0.0098 0.0102 0.0130 0.0149 0.0168 0.0130 0.0225 0.0244 0.7597 0.7950 0.4795
kion catboost stacking_plus 157.9917 31.3578 2.6371 0.3905 5126.6055 0.0013 0.0309 0.0362 0.0075 0.0151 0.0095 0.0075 0.0124 0.0123 0.0075 0.0219 0.0230 0.0075 0.0290 0.0306 0.7201 0.7654 0.2538
kion ease attention_knn 38.1467 3.1952 0.9926 1.2053 3398.6953 0.0055 0.0276 0.0599 0.0180 0.0159 0.0161 0.0180 0.0152 0.0189 0.0180 0.0231 0.0346 0.0180 0.0311 0.0387 0.7452 0.8054 0.3969
kion ease debiased_knn 38.1467 3.1952 1.0275 1.1757 3543.0273 0.0059 0.0353 0.0647 0.0200 0.0188 0.0166 0.0200 0.0179 0.0211 0.0200 0.0276 0.0378 0.0200 0.0364 0.0428 0.5471 0.6781 -0.7315
kion ease grouped_most_popular 38.1467 3.1952 0.0793 0.0453 3253.4336 0.0016 0.0052 0.0109 0.0045 0.0025 0.0030 0.0045 0.0032 0.0037 0.0045 0.0047 0.0068 0.0045 0.0074 0.0095 0.5491 0.5953 -0.7201
kion ease grouped_most_popular_pers 38.1467 3.1952 4.8906 0.0714 4403.7578 0.0051 0.0205 0.0378 0.0155 0.0117 0.0100 0.0155 0.0114 0.0134 0.0155 0.0178 0.0238 0.0155 0.0267 0.0306 0.6756 0.7104 0.0000
kion ease knn_score_avg 38.1467 3.1952 1.0018 1.1798 3398.6914 0.0068 0.0294 0.0556 0.0200 0.0167 0.0152 0.0200 0.0169 0.0198 0.0200 0.0250 0.0342 0.0200 0.0333 0.0391 0.7461 0.8062 0.4015
kion ease linmap 38.1467 3.1952 1.2007 0.1236 3260.7266 0.0115 0.0342 0.0632 0.0275 0.0182 0.0164 0.0275 0.0205 0.0237 0.0275 0.0299 0.0401 0.0275 0.0431 0.0493 0.7744 0.8127 0.5632
kion ease logreg_calib 38.1467 3.1952 3.3400 2.2711 3400.3711 0.0055 0.0219 0.0487 0.0180 0.0128 0.0133 0.0180 0.0123 0.0159 0.0180 0.0193 0.0291 0.0180 0.0295 0.0351 0.7461 0.8027 0.4019
kion ease most_popular 38.1467 3.1952 0.0687 0.0441 3253.0039 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion ease random 38.1467 3.1952 0.0000 0.0573 3250.3477 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0115
kion ease stacking 38.1467 3.1952 3.0398 2.0444 3404.2578 0.0058 0.0281 0.0551 0.0160 0.0150 0.0149 0.0160 0.0149 0.0185 0.0160 0.0227 0.0328 0.0160 0.0302 0.0366 0.7425 0.7852 0.3812
kion ease stacking_plus 38.1467 3.1952 2.8438 0.4063 3265.5625 0.0092 0.0304 0.0609 0.0230 0.0163 0.0160 0.0230 0.0176 0.0209 0.0230 0.0262 0.0370 0.0230 0.0377 0.0449 0.7554 0.8041 0.4547
kion two_tower attention_knn 126.9729 0.2209 1.0352 1.2866 2657.7656 0.0051 0.0213 0.0457 0.0155 0.0129 0.0125 0.0155 0.0122 0.0150 0.0155 0.0184 0.0272 0.0155 0.0263 0.0325 0.7447 0.6567 0.3936
kion two_tower debiased_knn 126.9729 0.2209 1.1919 1.3691 2799.1211 0.0025 0.0085 0.0169 0.0060 0.0049 0.0047 0.0060 0.0051 0.0062 0.0060 0.0073 0.0106 0.0060 0.0098 0.0120 0.6011 0.6079 -0.4240
kion two_tower embedding_avg 126.9729 0.2209 0.5300 0.0712 2861.9805 0.0049 0.0175 0.0379 0.0130 0.0103 0.0108 0.0130 0.0106 0.0132 0.0130 0.0156 0.0232 0.0130 0.0218 0.0269 0.7326 0.6471 0.3248
kion two_tower grouped_most_popular 126.9729 0.2209 0.0880 0.0481 2504.6875 0.0016 0.0052 0.0109 0.0045 0.0025 0.0030 0.0045 0.0032 0.0037 0.0045 0.0047 0.0068 0.0045 0.0074 0.0095 0.5491 0.5953 -0.7201
kion two_tower grouped_most_popular_pers 126.9729 0.2209 5.3844 0.0732 3652.4570 0.0051 0.0205 0.0378 0.0155 0.0117 0.0100 0.0155 0.0114 0.0134 0.0155 0.0178 0.0238 0.0155 0.0267 0.0306 0.6756 0.7104 0.0000
kion two_tower knn_score_avg 126.9729 0.2209 1.0284 1.3031 2650.4414 0.0050 0.0166 0.0408 0.0135 0.0099 0.0112 0.0135 0.0103 0.0134 0.0135 0.0151 0.0241 0.0135 0.0217 0.0276 0.7344 0.6483 0.3349
kion two_tower linmap 126.9729 0.2209 1.2645 0.1068 2516.8281 0.0050 0.0219 0.0376 0.0110 0.0107 0.0091 0.0110 0.0118 0.0134 0.0110 0.0180 0.0234 0.0110 0.0251 0.0293 0.6929 0.6237 0.0990
kion two_tower logreg_calib 126.9729 0.2209 3.7135 2.2781 2655.4727 0.0000 0.0017 0.0080 0.0000 0.0008 0.0023 0.0000 0.0005 0.0014 0.0000 0.0010 0.0037 0.0000 0.0010 0.0031 0.7668 0.8023 0.5199
kion two_tower most_popular 126.9729 0.2209 0.0730 0.0471 2504.2578 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion two_tower random 126.9729 0.2209 0.0000 0.0651 2502.5703 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0115
kion two_tower stacking 126.9729 0.2209 3.1860 2.0696 2659.6367 0.0051 0.0266 0.0466 0.0190 0.0153 0.0132 0.0190 0.0134 0.0156 0.0190 0.0216 0.0287 0.0190 0.0316 0.0365 0.7421 0.7315 0.3791
kion two_tower stacking_plus 126.9729 0.2209 2.7276 0.4182 2521.0000 0.0040 0.0165 0.0340 0.0120 0.0105 0.0100 0.0120 0.0096 0.0113 0.0120 0.0154 0.0215 0.0120 0.0246 0.0290 0.7068 0.7125 0.1777
kion-text als attention_knn 45.7544 0.2290 1.0000 1.2225 2777.8164 0.0135 0.0293 0.0390 0.0230 0.0118 0.0084 0.0230 0.0203 0.0211 0.0230 0.0265 0.0297 0.0230 0.0357 0.0382 0.6113 0.6948 -0.2695
kion-text als debiased_knn 45.7544 0.2290 1.1272 1.4325 2920.1875 0.0148 0.0294 0.0398 0.0255 0.0124 0.0091 0.0255 0.0217 0.0227 0.0255 0.0276 0.0312 0.0255 0.0370 0.0399 0.4821 0.5991 -1.1172
kion-text als embedding_avg 45.7544 0.2290 0.4587 0.0637 2976.1875 0.0012 0.0108 0.0249 0.0055 0.0064 0.0067 0.0055 0.0052 0.0068 0.0055 0.0086 0.0138 0.0055 0.0120 0.0156 0.6115 0.6936 -0.2681
kion-text als grouped_most_popular 45.7544 0.2290 0.1150 0.0482 2629.5078 0.0000 0.0009 0.0070 0.0000 0.0003 0.0016 0.0000 0.0004 0.0011 0.0000 0.0006 0.0030 0.0000 0.0005 0.0023 0.6136 0.6124 -0.2547
kion-text als grouped_most_popular_pers 45.7544 0.2290 6.8288 0.1341 7680.4141 0.0114 0.0383 0.0540 0.0220 0.0165 0.0125 0.0220 0.0236 0.0250 0.0220 0.0320 0.0374 0.0220 0.0404 0.0445 0.6524 0.7208 0.0000
kion-text als knn_score_avg 45.7544 0.2290 1.2342 1.4250 2775.8125 0.0118 0.0288 0.0390 0.0200 0.0119 0.0089 0.0200 0.0194 0.0204 0.0200 0.0254 0.0291 0.0200 0.0332 0.0361 0.6116 0.6944 -0.2675
kion-text als linmap 45.7544 0.2290 1.8404 0.1570 2653.8164 0.0088 0.0314 0.0464 0.0175 0.0141 0.0116 0.0175 0.0174 0.0192 0.0175 0.0253 0.0308 0.0175 0.0334 0.0374 0.6636 0.7288 0.0737
kion-text als logreg_calib 45.7544 0.2290 3.9642 2.2459 2784.3750 0.0018 0.0113 0.0307 0.0055 0.0074 0.0082 0.0055 0.0055 0.0080 0.0055 0.0095 0.0166 0.0055 0.0141 0.0186 0.6033 0.6866 -0.3221
kion-text als most_popular 45.7544 0.2290 0.0766 0.0479 2629.1055 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion-text als random 45.7544 0.2290 0.0000 0.0583 2626.8281 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0133
kion-text als stacking 45.7544 0.2290 3.6982 2.1721 2798.1016 0.0130 0.0386 0.0510 0.0220 0.0166 0.0122 0.0220 0.0242 0.0254 0.0220 0.0325 0.0370 0.0220 0.0407 0.0446 0.6227 0.7157 -0.1949
kion-text als stacking_plus 45.7544 0.2290 3.9112 0.5440 2669.4688 0.0098 0.0351 0.0524 0.0200 0.0162 0.0130 0.0200 0.0200 0.0220 0.0200 0.0287 0.0350 0.0200 0.0377 0.0425 0.6355 0.7343 -0.1109
kion-text bpr attention_knn 42.1616 0.2294 1.0903 1.2747 2795.1328 0.0025 0.0231 0.0528 0.0065 0.0088 0.0099 0.0065 0.0086 0.0123 0.0065 0.0141 0.0246 0.0065 0.0154 0.0220 0.6401 0.6600 -0.0807
kion-text bpr debiased_knn 42.1616 0.2294 1.1847 1.2603 2938.5000 0.0027 0.0086 0.0238 0.0065 0.0052 0.0069 0.0065 0.0053 0.0071 0.0065 0.0080 0.0139 0.0065 0.0121 0.0163 0.6673 0.6673 0.0980
kion-text bpr embedding_avg 42.1616 0.2294 0.4584 0.0634 2998.5664 0.0029 0.0108 0.0190 0.0070 0.0060 0.0059 0.0070 0.0065 0.0072 0.0070 0.0096 0.0126 0.0070 0.0136 0.0164 0.6410 0.6529 -0.0744
kion-text bpr grouped_most_popular 42.1616 0.2294 0.1122 0.0478 2647.7461 0.0000 0.0009 0.0070 0.0000 0.0003 0.0016 0.0000 0.0004 0.0011 0.0000 0.0006 0.0030 0.0000 0.0005 0.0023 0.6136 0.6124 -0.2547
kion-text bpr grouped_most_popular_pers 42.1616 0.2294 6.6917 0.1380 7694.9141 0.0114 0.0383 0.0540 0.0220 0.0165 0.0125 0.0220 0.0236 0.0250 0.0220 0.0320 0.0374 0.0220 0.0404 0.0445 0.6524 0.7208 0.0000
kion-text bpr knn_score_avg 42.1616 0.2294 1.0436 1.2257 2792.3945 0.0028 0.0113 0.0179 0.0065 0.0061 0.0057 0.0065 0.0067 0.0072 0.0065 0.0099 0.0124 0.0065 0.0137 0.0161 0.6422 0.6547 -0.0671
kion-text bpr linmap 42.1616 0.2294 1.7514 0.1520 2666.3906 0.0077 0.0205 0.0346 0.0175 0.0106 0.0096 0.0175 0.0129 0.0143 0.0175 0.0186 0.0239 0.0175 0.0276 0.0321 0.6528 0.6729 0.0025
kion-text bpr logreg_calib 42.1616 0.2294 2.7497 2.2531 2795.9648 0.0003 0.0071 0.0170 0.0005 0.0033 0.0041 0.0005 0.0024 0.0038 0.0005 0.0044 0.0083 0.0005 0.0052 0.0078 0.6629 0.7045 0.0693
kion-text bpr most_popular 42.1616 0.2294 0.0745 0.0473 2648.3164 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion-text bpr random 42.1616 0.2294 0.0000 0.0595 2647.6406 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0133
kion-text bpr stacking 42.1616 0.2294 3.3743 2.2036 2808.7344 0.0119 0.0435 0.0625 0.0235 0.0178 0.0141 0.0235 0.0250 0.0272 0.0235 0.0345 0.0415 0.0235 0.0427 0.0477 0.6900 0.7316 0.2470
kion-text bpr stacking_plus 42.1616 0.2294 3.7281 0.5880 2680.0391 0.0100 0.0437 0.0682 0.0220 0.0188 0.0154 0.0220 0.0230 0.0258 0.0220 0.0335 0.0421 0.0220 0.0423 0.0478 0.6932 0.7337 0.2680
kion-text catboost attention_knn 171.4009 34.8893 1.0675 1.2467 5314.1289 0.0005 0.0156 0.0230 0.0005 0.0088 0.0069 0.0005 0.0059 0.0067 0.0005 0.0109 0.0137 0.0005 0.0132 0.0160 0.6700 0.7047 0.1159
kion-text catboost debiased_knn 171.4009 34.8893 1.0375 1.2317 5458.6445 0.0018 0.0040 0.0061 0.0050 0.0028 0.0022 0.0050 0.0029 0.0030 0.0050 0.0045 0.0052 0.0050 0.0082 0.0092 0.5060 0.5891 -0.9608
kion-text catboost grouped_most_popular 171.4009 34.8893 0.1082 0.0471 5169.3242 0.0000 0.0009 0.0070 0.0000 0.0003 0.0016 0.0000 0.0004 0.0011 0.0000 0.0006 0.0030 0.0000 0.0005 0.0023 0.6136 0.6124 -0.2547
kion-text catboost grouped_most_popular_pers 171.4009 34.8893 6.6309 0.1353 10214.0938 0.0114 0.0383 0.0540 0.0220 0.0165 0.0125 0.0220 0.0236 0.0250 0.0220 0.0320 0.0374 0.0220 0.0404 0.0445 0.6524 0.7208 0.0000
kion-text catboost knn_score_avg 171.4009 34.8893 1.0416 1.2420 5313.0352 0.0076 0.0140 0.0235 0.0200 0.0077 0.0067 0.0200 0.0107 0.0116 0.0200 0.0149 0.0182 0.0200 0.0249 0.0275 0.6554 0.6963 0.0197
kion-text catboost linmap 171.4009 34.8893 1.7547 0.1522 5186.6523 0.0009 0.0071 0.0159 0.0020 0.0044 0.0047 0.0020 0.0040 0.0050 0.0020 0.0065 0.0097 0.0020 0.0099 0.0123 0.6879 0.7319 0.2330
kion-text catboost logreg_calib 171.4009 34.8893 3.3562 2.2930 5315.6719 0.0005 0.1330 0.1376 0.0005 0.0406 0.0225 0.0005 0.0333 0.0338 0.0005 0.0633 0.0653 0.0005 0.0498 0.0525 0.6624 0.6898 0.0655
kion-text catboost most_popular 171.4009 34.8893 0.0784 0.0515 5167.8203 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion-text catboost random 171.4009 34.8893 0.0000 0.0585 5171.0391 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0133
kion-text catboost stacking 171.4009 34.8893 3.5842 2.2587 5329.4375 0.0025 0.0161 0.0266 0.0110 0.0111 0.0085 0.0110 0.0086 0.0092 0.0110 0.0143 0.0175 0.0110 0.0218 0.0245 0.6477 0.7320 -0.0307
kion-text catboost stacking_plus 171.4009 34.8893 3.8943 0.5531 5200.8203 0.0051 0.0219 0.0443 0.0130 0.0124 0.0115 0.0130 0.0119 0.0144 0.0130 0.0183 0.0261 0.0130 0.0258 0.0307 0.6763 0.7510 0.1568
kion-text ease attention_knn 43.9044 3.5596 1.0282 1.2960 3441.5078 0.0046 0.0572 0.0864 0.0110 0.0202 0.0164 0.0110 0.0219 0.0255 0.0110 0.0349 0.0455 0.0110 0.0358 0.0430 0.6824 0.7493 0.1967
kion-text ease debiased_knn 43.9044 3.5596 1.1808 1.3481 3583.8750 0.0104 0.0353 0.0509 0.0195 0.0157 0.0118 0.0195 0.0208 0.0222 0.0195 0.0287 0.0338 0.0195 0.0349 0.0385 0.5562 0.6677 -0.6309
kion-text ease grouped_most_popular 43.9044 3.5596 0.1087 0.0468 3296.8477 0.0000 0.0009 0.0070 0.0000 0.0003 0.0016 0.0000 0.0004 0.0011 0.0000 0.0006 0.0030 0.0000 0.0005 0.0023 0.6136 0.6124 -0.2547
kion-text ease grouped_most_popular_pers 43.9044 3.5596 7.0530 0.1525 8342.9961 0.0114 0.0383 0.0540 0.0220 0.0165 0.0125 0.0220 0.0236 0.0250 0.0220 0.0320 0.0374 0.0220 0.0404 0.0445 0.6524 0.7208 0.0000
kion-text ease knn_score_avg 43.9044 3.5596 1.1769 1.6026 3440.4531 0.0038 0.0219 0.0480 0.0105 0.0116 0.0108 0.0105 0.0114 0.0144 0.0105 0.0172 0.0261 0.0105 0.0215 0.0270 0.6824 0.7498 0.1970
kion-text ease linmap 43.9044 3.5596 1.7459 0.1526 3312.6133 0.0068 0.0339 0.0663 0.0175 0.0171 0.0158 0.0175 0.0167 0.0202 0.0175 0.0260 0.0371 0.0175 0.0336 0.0409 0.7210 0.7829 0.4503
kion-text ease logreg_calib 43.9044 3.5596 3.8022 2.3889 3441.3594 0.0040 0.0192 0.0388 0.0105 0.0103 0.0093 0.0105 0.0102 0.0124 0.0105 0.0155 0.0222 0.0105 0.0203 0.0246 0.6832 0.7508 0.2020
kion-text ease most_popular 43.9044 3.5596 0.0796 0.0464 3296.3711 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion-text ease random 43.9044 3.5596 0.0000 0.0606 3296.6875 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0133
kion-text ease stacking 43.9044 3.5596 3.6674 2.0812 3455.0859 0.0046 0.0262 0.0487 0.0105 0.0123 0.0109 0.0105 0.0128 0.0155 0.0105 0.0193 0.0273 0.0105 0.0232 0.0284 0.6681 0.7459 0.1031
kion-text ease stacking_plus 43.9044 3.5596 3.8986 0.5207 3326.3438 0.0069 0.0288 0.0637 0.0175 0.0157 0.0157 0.0175 0.0155 0.0193 0.0175 0.0237 0.0356 0.0175 0.0323 0.0397 0.6907 0.7727 0.2514
kion-text two_tower attention_knn 126.1961 0.2234 1.0198 1.2714 2543.6484 0.0006 0.0080 0.0193 0.0010 0.0041 0.0053 0.0010 0.0028 0.0043 0.0010 0.0052 0.0098 0.0010 0.0065 0.0102 0.6522 0.5705 -0.0013
kion-text two_tower debiased_knn 126.1961 0.2234 1.0627 1.5083 2687.0156 0.0010 0.0047 0.0116 0.0025 0.0028 0.0031 0.0025 0.0025 0.0033 0.0025 0.0041 0.0066 0.0025 0.0062 0.0079 0.5767 0.5716 -0.4964
kion-text two_tower embedding_avg 126.1961 0.2234 0.4754 0.0661 2742.0156 0.0016 0.0085 0.0192 0.0040 0.0048 0.0052 0.0040 0.0041 0.0053 0.0040 0.0068 0.0107 0.0040 0.0098 0.0127 0.6207 0.5557 -0.2082
kion-text two_tower grouped_most_popular 126.1961 0.2234 0.1322 0.0510 2397.6641 0.0000 0.0009 0.0070 0.0000 0.0003 0.0016 0.0000 0.0004 0.0011 0.0000 0.0006 0.0030 0.0000 0.0005 0.0023 0.6136 0.6124 -0.2547
kion-text two_tower grouped_most_popular_pers 126.1961 0.2234 6.8677 0.1328 7443.8477 0.0114 0.0383 0.0540 0.0220 0.0165 0.0125 0.0220 0.0236 0.0250 0.0220 0.0320 0.0374 0.0220 0.0404 0.0445 0.6524 0.7208 0.0000
kion-text two_tower knn_score_avg 126.1961 0.2234 1.0686 1.3734 2542.3008 0.0016 0.0082 0.0194 0.0040 0.0047 0.0052 0.0040 0.0041 0.0054 0.0040 0.0067 0.0109 0.0040 0.0096 0.0126 0.6302 0.5588 -0.1454
kion-text two_tower linmap 126.1961 0.2234 1.7741 0.1499 2415.7656 0.0008 0.0062 0.0171 0.0035 0.0047 0.0054 0.0035 0.0028 0.0040 0.0035 0.0056 0.0096 0.0035 0.0093 0.0124 0.6908 0.5972 0.2518
kion-text two_tower logreg_calib 126.1961 0.2234 3.6105 2.3705 2544.4961 0.0014 0.0041 0.0070 0.0040 0.0023 0.0021 0.0040 0.0027 0.0030 0.0040 0.0040 0.0050 0.0040 0.0062 0.0070 0.6857 0.7206 0.2186
kion-text two_tower most_popular 126.1961 0.2234 0.0794 0.0495 2398.2344 0.0000 0.0002 0.0128 0.0000 0.0001 0.0022 0.0000 0.0000 0.0018 0.0000 0.0001 0.0049 0.0000 0.0001 0.0032 0.5000 0.5000 -1.0000
kion-text two_tower random 126.1961 0.2234 0.0000 0.0586 2396.5508 0.0003 0.0017 0.0032 0.0010 0.0010 0.0010 0.0010 0.0009 0.0011 0.0010 0.0015 0.0021 0.0010 0.0023 0.0030 0.4980 0.4975 -1.0133
kion-text two_tower stacking 126.1961 0.2234 3.4314 2.1009 2558.2266 0.0087 0.0371 0.0531 0.0205 0.0159 0.0126 0.0205 0.0215 0.0230 0.0205 0.0301 0.0357 0.0205 0.0385 0.0430 0.6373 0.7159 -0.0993
kion-text two_tower stacking_plus 126.1961 0.2234 4.2227 0.5926 2429.5547 0.0122 0.0407 0.0555 0.0230 0.0169 0.0130 0.0230 0.0249 0.0263 0.0230 0.0337 0.0390 0.0230 0.0422 0.0467 0.6511 0.7300 -0.0082
mind als attention_knn 47.8287 9.1353 9.0250 2.5968 7516.6758 0.0000 0.0106 0.0207 0.0000 0.0045 0.0043 0.0000 0.0032 0.0045 0.0000 0.0062 0.0098 0.0000 0.0069 0.0091 0.6018 0.6572 0.4325
mind als debiased_knn 47.8287 9.1353 9.3352 2.4838 7743.4727 0.0001 0.0080 0.0146 0.0005 0.0037 0.0034 0.0005 0.0026 0.0033 0.0005 0.0050 0.0073 0.0005 0.0061 0.0077 0.4822 0.5595 -1.2501
mind als embedding_avg 47.8287 9.1353 0.6978 0.7184 7675.7305 0.0002 0.0115 0.0262 0.0005 0.0046 0.0051 0.0005 0.0038 0.0055 0.0005 0.0068 0.0120 0.0005 0.0076 0.0106 0.6021 0.6572 0.4360
mind als grouped_most_popular 47.8287 9.1353 0.3492 0.7103 7304.6094 0.0009 0.0011 0.0016 0.0025 0.0007 0.0004 0.0025 0.0010 0.0010 0.0025 0.0014 0.0015 0.0025 0.0027 0.0028 0.5361 0.5288 -0.4928
mind als grouped_most_popular_pers 47.8287 9.1353 4.3203 0.9367 8540.7148 0.0030 0.0130 0.0211 0.0055 0.0046 0.0040 0.0055 0.0060 0.0069 0.0055 0.0088 0.0117 0.0055 0.0102 0.0120 0.5711 0.6297 0.0000
mind als knn_score_avg 47.8287 9.1353 10.5441 2.5040 7516.5039 0.0002 0.0114 0.0256 0.0005 0.0045 0.0049 0.0005 0.0038 0.0054 0.0005 0.0067 0.0117 0.0005 0.0075 0.0104 0.6022 0.6574 0.4382
mind als linmap 47.8287 9.1353 11.4164 0.7958 7308.7422 0.0006 0.0105 0.0207 0.0015 0.0038 0.0040 0.0015 0.0036 0.0048 0.0015 0.0061 0.0098 0.0015 0.0064 0.0088 0.6492 0.6915 1.0986
mind als logreg_calib 47.8287 9.1353 12.8180 4.0734 7533.2617 0.0011 0.0119 0.0211 0.0015 0.0051 0.0048 0.0015 0.0043 0.0053 0.0015 0.0074 0.0108 0.0015 0.0081 0.0106 0.5962 0.6496 0.3537
mind als most_popular 47.8287 9.1353 0.3215 0.7006 7302.3828 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind als random 47.8287 9.1353 0.0000 0.6586 7301.8711 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9659
mind als stacking 47.8287 9.1353 13.5839 3.5900 7524.5547 0.0010 0.0079 0.0197 0.0015 0.0042 0.0047 0.0015 0.0036 0.0050 0.0015 0.0059 0.0102 0.0015 0.0079 0.0107 0.5621 0.6398 -0.1263
mind als stacking_plus 47.8287 9.1353 13.1088 1.1194 7328.8633 0.0021 0.0094 0.0197 0.0030 0.0043 0.0044 0.0030 0.0049 0.0062 0.0030 0.0073 0.0110 0.0030 0.0092 0.0117 0.5679 0.6456 -0.0442
mind bpr attention_knn 40.7198 8.6624 10.0363 2.1909 6609.3125 0.0021 0.0087 0.0162 0.0025 0.0030 0.0032 0.0025 0.0039 0.0049 0.0025 0.0056 0.0085 0.0025 0.0056 0.0077 0.5552 0.5928 -0.2232
mind bpr debiased_knn 40.7198 8.6624 9.0772 2.1385 6779.0547 0.0013 0.0099 0.0170 0.0030 0.0040 0.0035 0.0030 0.0040 0.0048 0.0030 0.0066 0.0091 0.0030 0.0080 0.0098 0.5893 0.6124 0.2560
mind bpr embedding_avg 40.7198 8.6624 0.7225 0.7627 6699.9180 0.0009 0.0097 0.0187 0.0020 0.0039 0.0037 0.0020 0.0038 0.0049 0.0020 0.0063 0.0094 0.0020 0.0073 0.0092 0.5569 0.5932 -0.1997
mind bpr grouped_most_popular 40.7198 8.6624 0.3704 0.7973 6400.9805 0.0009 0.0011 0.0016 0.0025 0.0007 0.0004 0.0025 0.0010 0.0010 0.0025 0.0014 0.0015 0.0025 0.0027 0.0028 0.5361 0.5288 -0.4928
mind bpr grouped_most_popular_pers 40.7198 8.6624 4.5561 0.7177 7540.8828 0.0030 0.0130 0.0211 0.0055 0.0046 0.0040 0.0055 0.0060 0.0069 0.0055 0.0088 0.0117 0.0055 0.0102 0.0120 0.5711 0.6297 0.0000
mind bpr knn_score_avg 40.7198 8.6624 9.9885 2.1559 6626.0703 0.0014 0.0100 0.0186 0.0025 0.0040 0.0036 0.0025 0.0042 0.0052 0.0025 0.0066 0.0095 0.0025 0.0075 0.0093 0.5574 0.5938 -0.1930
mind bpr linmap 40.7198 8.6624 10.4493 0.8195 6403.7383 0.0022 0.0118 0.0190 0.0040 0.0048 0.0038 0.0040 0.0056 0.0063 0.0040 0.0082 0.0106 0.0040 0.0092 0.0108 0.5681 0.6021 -0.0424
mind bpr logreg_calib 40.7198 8.6624 11.6015 4.2916 6545.5938 0.0036 0.0113 0.0258 0.0050 0.0036 0.0044 0.0050 0.0057 0.0074 0.0050 0.0078 0.0129 0.0050 0.0087 0.0118 0.6194 0.6626 0.6797
mind bpr most_popular 40.7198 8.6624 0.3169 0.7135 7444.7266 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind bpr random 40.7198 8.6624 0.0000 0.7490 7314.2812 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9659
mind bpr stacking 40.7198 8.6624 16.4616 3.7304 6598.3320 0.0024 0.0107 0.0199 0.0040 0.0042 0.0044 0.0040 0.0052 0.0063 0.0040 0.0075 0.0111 0.0040 0.0085 0.0112 0.5460 0.6147 -0.3531
mind bpr stacking_plus 40.7198 8.6624 14.0913 1.1787 6346.5625 0.0024 0.0111 0.0195 0.0040 0.0046 0.0044 0.0040 0.0056 0.0065 0.0040 0.0081 0.0112 0.0040 0.0093 0.0117 0.5465 0.6159 -0.3452
mind catboost attention_knn 193.7190 52.8986 9.3356 2.4793 9942.3203 0.0013 0.0085 0.0247 0.0015 0.0033 0.0051 0.0015 0.0033 0.0053 0.0015 0.0053 0.0114 0.0015 0.0055 0.0096 0.6284 0.6539 0.8057
mind catboost debiased_knn 193.7190 52.8986 9.1467 2.4500 10145.2148 0.0002 0.0046 0.0114 0.0005 0.0015 0.0019 0.0005 0.0012 0.0022 0.0005 0.0023 0.0048 0.0005 0.0022 0.0037 0.5016 0.5452 -0.9781
mind catboost grouped_most_popular 193.7190 52.8986 0.3679 0.8098 9735.5195 0.0009 0.0011 0.0016 0.0025 0.0007 0.0004 0.0025 0.0010 0.0010 0.0025 0.0014 0.0015 0.0025 0.0027 0.0028 0.5361 0.5288 -0.4928
mind catboost grouped_most_popular_pers 193.7190 52.8986 4.4155 0.7930 10952.7656 0.0030 0.0130 0.0211 0.0055 0.0046 0.0040 0.0055 0.0060 0.0069 0.0055 0.0088 0.0117 0.0055 0.0102 0.0120 0.5711 0.6297 0.0000
mind catboost knn_score_avg 193.7190 52.8986 10.9492 2.5485 9931.3555 0.0000 0.0110 0.0281 0.0000 0.0045 0.0057 0.0000 0.0034 0.0055 0.0000 0.0063 0.0126 0.0000 0.0067 0.0109 0.6279 0.6538 0.7991
mind catboost linmap 193.7190 52.8986 10.9282 0.8130 9735.1523 0.0001 0.0040 0.0055 0.0005 0.0012 0.0009 0.0005 0.0012 0.0013 0.0005 0.0021 0.0025 0.0005 0.0020 0.0022 0.6497 0.6736 1.1057
mind catboost logreg_calib 193.7190 52.8986 12.2342 3.8030 9934.8242 0.0013 0.0082 0.0270 0.0015 0.0031 0.0055 0.0015 0.0032 0.0056 0.0015 0.0051 0.0122 0.0015 0.0053 0.0100 0.6317 0.6577 0.8523
mind catboost most_popular 193.7190 52.8986 0.3370 0.7806 9725.3398 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind catboost random 193.7190 52.8986 0.0000 0.8617 9733.3008 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9659
mind catboost stacking 193.7190 52.8986 13.3302 3.3133 9950.2500 0.0024 0.0122 0.0288 0.0040 0.0055 0.0060 0.0040 0.0057 0.0076 0.0040 0.0087 0.0146 0.0040 0.0100 0.0139 0.6035 0.6731 0.4567
mind catboost stacking_plus 193.7190 52.8986 13.0366 1.2460 9730.6836 0.0028 0.0098 0.0160 0.0045 0.0043 0.0038 0.0045 0.0051 0.0057 0.0045 0.0074 0.0097 0.0045 0.0087 0.0106 0.6119 0.6808 0.5745
mind ease attention_knn 111.3496 20.7813 9.1763 2.4178 8851.1680 0.0020 0.0122 0.0247 0.0020 0.0047 0.0051 0.0020 0.0049 0.0064 0.0020 0.0076 0.0123 0.0020 0.0076 0.0107 0.6093 0.6685 0.5379
mind ease debiased_knn 111.3496 20.7813 9.3001 2.5863 9272.8320 0.0025 0.0145 0.0281 0.0035 0.0059 0.0057 0.0035 0.0062 0.0078 0.0035 0.0096 0.0145 0.0035 0.0104 0.0135 0.5188 0.5992 -0.7351
mind ease grouped_most_popular 111.3496 20.7813 0.3572 0.7568 8864.7969 0.0009 0.0011 0.0016 0.0025 0.0007 0.0004 0.0025 0.0010 0.0010 0.0025 0.0014 0.0015 0.0025 0.0027 0.0028 0.5361 0.5288 -0.4928
mind ease grouped_most_popular_pers 111.3496 20.7813 4.3465 0.8170 9852.6484 0.0030 0.0130 0.0211 0.0055 0.0046 0.0040 0.0055 0.0060 0.0069 0.0055 0.0088 0.0117 0.0055 0.0102 0.0120 0.5711 0.6297 0.0000
mind ease knn_score_avg 111.3496 20.7813 10.3205 2.2092 9057.1641 0.0016 0.0133 0.0252 0.0020 0.0055 0.0052 0.0020 0.0052 0.0066 0.0020 0.0084 0.0128 0.0020 0.0088 0.0117 0.6089 0.6686 0.5315
mind ease linmap 111.3496 20.7813 10.5453 0.8794 8644.6055 0.0031 0.0157 0.0254 0.0050 0.0062 0.0052 0.0050 0.0071 0.0083 0.0050 0.0107 0.0142 0.0050 0.0118 0.0144 0.6849 0.7272 1.6013
mind ease logreg_calib 111.3496 20.7813 11.9347 3.8405 9063.1797 0.0020 0.0119 0.0233 0.0020 0.0046 0.0048 0.0020 0.0048 0.0062 0.0020 0.0075 0.0117 0.0020 0.0074 0.0104 0.6091 0.6671 0.5345
mind ease most_popular 111.3496 20.7813 0.3379 0.7722 8616.1055 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind ease random 111.3496 20.7813 0.0000 0.7755 8864.6016 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9659
mind ease stacking 111.3496 20.7813 13.0158 3.6355 8860.5430 0.0025 0.0119 0.0234 0.0040 0.0056 0.0054 0.0040 0.0056 0.0070 0.0040 0.0087 0.0129 0.0040 0.0104 0.0135 0.5833 0.6594 0.1723
mind ease stacking_plus 111.3496 20.7813 12.8164 1.2565 8858.9766 0.0031 0.0136 0.0245 0.0050 0.0059 0.0053 0.0050 0.0067 0.0079 0.0050 0.0099 0.0139 0.0050 0.0116 0.0145 0.6059 0.6793 0.4894
mind two_tower attention_knn 130.8965 7.9552 9.3064 2.2207 7078.3047 0.0013 0.0112 0.0180 0.0015 0.0037 0.0034 0.0015 0.0040 0.0049 0.0015 0.0064 0.0090 0.0015 0.0061 0.0079 0.6508 0.5574 1.1210
mind two_tower debiased_knn 130.8965 7.9552 9.4185 2.2951 7518.7773 0.0004 0.0038 0.0047 0.0015 0.0011 0.0009 0.0015 0.0013 0.0014 0.0015 0.0022 0.0026 0.0015 0.0025 0.0029 0.5231 0.5092 -0.6753
mind two_tower embedding_avg 130.8965 7.9552 0.7037 0.7176 7456.1562 0.0003 0.0087 0.0199 0.0010 0.0034 0.0039 0.0010 0.0029 0.0043 0.0010 0.0052 0.0093 0.0010 0.0057 0.0084 0.6520 0.5548 1.1379
mind two_tower grouped_most_popular 130.8965 7.9552 0.3439 0.6665 6878.2266 0.0009 0.0011 0.0016 0.0025 0.0007 0.0004 0.0025 0.0010 0.0010 0.0025 0.0014 0.0015 0.0025 0.0027 0.0028 0.5361 0.5288 -0.4928
mind two_tower grouped_most_popular_pers 130.8965 7.9552 4.4251 0.7399 8311.0625 0.0030 0.0130 0.0211 0.0055 0.0046 0.0040 0.0055 0.0060 0.0069 0.0055 0.0088 0.0117 0.0055 0.0102 0.0120 0.5711 0.6297 0.0000
mind two_tower knn_score_avg 130.8965 7.9552 10.6215 2.2233 7076.0781 0.0004 0.0085 0.0194 0.0015 0.0034 0.0037 0.0015 0.0029 0.0043 0.0015 0.0052 0.0091 0.0015 0.0060 0.0086 0.6525 0.5558 1.1448
mind two_tower linmap 130.8965 7.9552 10.6621 0.7556 6870.8008 0.0000 0.0069 0.0157 0.0000 0.0026 0.0030 0.0000 0.0020 0.0031 0.0000 0.0038 0.0069 0.0000 0.0037 0.0058 0.6456 0.5485 1.0481
mind two_tower logreg_calib 130.8965 7.9552 12.4910 3.8193 7306.1250 0.0016 0.0097 0.0130 0.0020 0.0034 0.0023 0.0020 0.0039 0.0042 0.0020 0.0060 0.0070 0.0020 0.0063 0.0069 0.6347 0.6074 0.8948
mind two_tower most_popular 130.8965 7.9552 0.3550 0.6945 7074.5898 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind two_tower random 130.8965 7.9552 0.0000 0.7069 6877.0625 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9659
mind two_tower stacking 130.8965 7.9552 13.5191 3.3059 7085.5273 0.0031 0.0131 0.0220 0.0050 0.0048 0.0047 0.0050 0.0064 0.0074 0.0050 0.0091 0.0126 0.0050 0.0102 0.0127 0.5587 0.6253 -0.1735
mind two_tower stacking_plus 130.8965 7.9552 12.9707 1.1508 7099.7109 0.0036 0.0127 0.0221 0.0060 0.0049 0.0048 0.0060 0.0067 0.0078 0.0060 0.0094 0.0130 0.0060 0.0111 0.0136 0.5606 0.6239 -0.1474
mind-text als attention_knn 48.1544 7.3015 8.1549 2.5962 7068.2500 0.0019 0.0106 0.0158 0.0045 0.0034 0.0027 0.0045 0.0049 0.0056 0.0045 0.0072 0.0091 0.0045 0.0085 0.0098 0.5522 0.6170 0.4545
mind-text als debiased_knn 48.1544 7.3015 8.2060 2.1040 7074.0312 0.0008 0.0053 0.0098 0.0025 0.0022 0.0019 0.0025 0.0024 0.0028 0.0025 0.0039 0.0052 0.0025 0.0054 0.0063 0.4821 0.5534 -1.4982
mind-text als embedding_avg 48.1544 7.3015 0.7113 0.6751 8071.6680 0.0011 0.0051 0.0104 0.0015 0.0018 0.0020 0.0015 0.0026 0.0032 0.0015 0.0037 0.0056 0.0015 0.0043 0.0057 0.5553 0.6196 0.5406
mind-text als grouped_most_popular 48.1544 7.3015 0.4184 0.6478 7701.8164 0.0000 0.0010 0.0012 0.0000 0.0005 0.0003 0.0000 0.0005 0.0005 0.0000 0.0008 0.0009 0.0000 0.0013 0.0013 0.5143 0.5091 -0.6021
mind-text als grouped_most_popular_pers 48.1544 7.3015 5.7435 0.7563 12864.8828 0.0018 0.0117 0.0197 0.0040 0.0046 0.0040 0.0040 0.0049 0.0059 0.0040 0.0079 0.0109 0.0040 0.0100 0.0122 0.5359 0.5903 0.0000
mind-text als knn_score_avg 48.1544 7.3015 9.5134 2.6325 7915.4727 0.0012 0.0071 0.0115 0.0035 0.0028 0.0022 0.0035 0.0033 0.0038 0.0035 0.0052 0.0067 0.0035 0.0068 0.0078 0.5548 0.6186 0.5274
mind-text als linmap 48.1544 7.3015 10.2948 0.7476 6719.3086 0.0011 0.0089 0.0130 0.0025 0.0029 0.0025 0.0025 0.0036 0.0041 0.0025 0.0056 0.0072 0.0025 0.0062 0.0076 0.5820 0.6098 1.2862
mind-text als logreg_calib 48.1544 7.3015 11.3066 3.4843 6864.3086 0.0028 0.0097 0.0143 0.0045 0.0029 0.0024 0.0045 0.0050 0.0056 0.0045 0.0068 0.0085 0.0045 0.0077 0.0089 0.5497 0.6120 0.3864
mind-text als most_popular 48.1544 7.3015 0.3022 0.6518 7700.9062 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind-text als random 48.1544 7.3015 0.0000 0.6047 7700.3789 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9324
mind-text als stacking 48.1544 7.3015 12.5522 3.2577 6933.6758 0.0013 0.0096 0.0153 0.0035 0.0034 0.0030 0.0035 0.0039 0.0046 0.0035 0.0063 0.0086 0.0035 0.0078 0.0096 0.5387 0.6109 0.0779
mind-text als stacking_plus 48.1544 7.3015 13.0170 1.1605 6682.8008 0.0013 0.0100 0.0147 0.0035 0.0037 0.0030 0.0035 0.0041 0.0046 0.0035 0.0067 0.0084 0.0035 0.0087 0.0102 0.5482 0.6169 0.3435
mind-text bpr attention_knn 37.9555 7.6447 8.5823 2.1643 7179.6211 0.0001 0.0112 0.0194 0.0005 0.0040 0.0039 0.0005 0.0035 0.0045 0.0005 0.0063 0.0094 0.0005 0.0063 0.0086 0.5569 0.5802 0.5874
mind-text bpr debiased_knn 37.9555 7.6447 7.8581 2.1694 7392.3711 0.0011 0.0065 0.0139 0.0025 0.0035 0.0034 0.0025 0.0030 0.0038 0.0025 0.0051 0.0076 0.0025 0.0073 0.0092 0.5707 0.5785 0.9705
mind-text bpr embedding_avg 37.9555 7.6447 0.6626 0.6951 7314.8359 0.0011 0.0060 0.0119 0.0025 0.0030 0.0027 0.0025 0.0026 0.0033 0.0025 0.0045 0.0065 0.0025 0.0063 0.0079 0.5484 0.5721 0.3481
mind-text bpr grouped_most_popular 37.9555 7.6447 0.3551 0.6878 6963.8477 0.0000 0.0010 0.0012 0.0000 0.0005 0.0003 0.0000 0.0005 0.0005 0.0000 0.0008 0.0009 0.0000 0.0013 0.0013 0.5143 0.5091 -0.6021
mind-text bpr grouped_most_popular_pers 37.9555 7.6447 5.7690 0.8312 12107.1328 0.0018 0.0117 0.0197 0.0040 0.0046 0.0040 0.0040 0.0049 0.0059 0.0040 0.0079 0.0109 0.0040 0.0100 0.0122 0.5359 0.5903 0.0000
mind-text bpr knn_score_avg 37.9555 7.6447 9.1438 2.2199 7178.6172 0.0011 0.0064 0.0112 0.0025 0.0032 0.0027 0.0025 0.0027 0.0032 0.0025 0.0047 0.0063 0.0025 0.0066 0.0078 0.5516 0.5740 0.4398
mind-text bpr linmap 37.9555 7.6447 9.7073 0.8330 6980.3203 0.0006 0.0048 0.0101 0.0025 0.0024 0.0022 0.0025 0.0018 0.0024 0.0025 0.0034 0.0052 0.0025 0.0052 0.0065 0.5488 0.5726 0.3602
mind-text bpr logreg_calib 37.9555 7.6447 10.3383 3.7843 7180.8164 0.0004 0.0052 0.0069 0.0015 0.0019 0.0015 0.0015 0.0019 0.0020 0.0015 0.0031 0.0038 0.0015 0.0037 0.0043 0.5932 0.6411 1.5985
mind-text bpr most_popular 37.9555 7.6447 0.2994 0.6571 6962.3789 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind-text bpr random 37.9555 7.6447 0.0000 0.7209 6961.9766 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9324
mind-text bpr stacking 37.9555 7.6447 12.0198 3.2753 7194.0234 0.0024 0.0110 0.0189 0.0060 0.0048 0.0042 0.0060 0.0051 0.0060 0.0060 0.0081 0.0111 0.0060 0.0115 0.0138 0.5563 0.6158 0.5689
mind-text bpr stacking_plus 37.9555 7.6447 12.2948 1.2154 6994.5703 0.0017 0.0091 0.0166 0.0045 0.0043 0.0037 0.0045 0.0040 0.0050 0.0045 0.0068 0.0095 0.0045 0.0098 0.0118 0.5509 0.6144 0.4201
mind-text catboost attention_knn 171.7204 46.2960 7.8612 2.1945 10211.0234 0.0006 0.0067 0.0265 0.0020 0.0023 0.0052 0.0020 0.0020 0.0043 0.0020 0.0037 0.0108 0.0020 0.0042 0.0085 0.5649 0.5963 0.8084
mind-text catboost debiased_knn 171.7204 46.2960 7.9090 2.2884 10425.4062 0.0016 0.0055 0.0061 0.0030 0.0019 0.0012 0.0030 0.0029 0.0030 0.0030 0.0042 0.0044 0.0030 0.0053 0.0056 0.4947 0.5423 -1.1471
mind-text catboost grouped_most_popular 171.7204 46.2960 0.3479 0.7424 9987.2695 0.0000 0.0010 0.0012 0.0000 0.0005 0.0003 0.0000 0.0005 0.0005 0.0000 0.0008 0.0009 0.0000 0.0013 0.0013 0.5143 0.5091 -0.6021
mind-text catboost grouped_most_popular_pers 171.7204 46.2960 5.7401 0.7850 15133.2422 0.0018 0.0117 0.0197 0.0040 0.0046 0.0040 0.0040 0.0049 0.0059 0.0040 0.0079 0.0109 0.0040 0.0100 0.0122 0.5359 0.5903 0.0000
mind-text catboost knn_score_avg 171.7204 46.2960 9.8443 2.3159 10210.8945 0.0005 0.0129 0.0149 0.0005 0.0043 0.0028 0.0005 0.0056 0.0059 0.0005 0.0085 0.0094 0.0005 0.0094 0.0102 0.5717 0.6044 1.0004
mind-text catboost linmap 171.7204 46.2960 9.7246 0.8203 10017.7734 0.0000 0.0029 0.0149 0.0000 0.0007 0.0029 0.0000 0.0007 0.0023 0.0000 0.0013 0.0060 0.0000 0.0009 0.0041 0.6168 0.6459 2.2556
mind-text catboost logreg_calib 171.7204 46.2960 10.4956 3.6424 10220.8008 0.0010 0.0129 0.0160 0.0010 0.0043 0.0030 0.0010 0.0058 0.0062 0.0010 0.0086 0.0099 0.0010 0.0096 0.0107 0.5700 0.6034 0.9513
mind-text catboost most_popular 171.7204 46.2960 0.3063 0.6686 9985.5430 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind-text catboost random 171.7204 46.2960 0.0000 0.7844 9984.7617 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9324
mind-text catboost stacking 171.7204 46.2960 12.0156 3.3473 10235.0859 0.0027 0.0127 0.0183 0.0060 0.0053 0.0043 0.0060 0.0061 0.0068 0.0060 0.0094 0.0116 0.0060 0.0128 0.0148 0.5830 0.6419 1.3148
mind-text catboost stacking_plus 171.7204 46.2960 12.2015 1.2572 10035.6328 0.0017 0.0092 0.0154 0.0040 0.0043 0.0038 0.0040 0.0041 0.0048 0.0040 0.0068 0.0092 0.0040 0.0095 0.0115 0.6266 0.6723 2.5298
mind-text ease attention_knn 100.0943 17.0103 7.8901 2.2677 8642.3711 0.0045 0.0206 0.0256 0.0085 0.0081 0.0053 0.0085 0.0106 0.0112 0.0085 0.0155 0.0174 0.0085 0.0201 0.0217 0.5509 0.6146 0.4202
mind-text ease debiased_knn 100.0943 17.0103 8.5348 2.1674 9099.4766 0.0015 0.0080 0.0132 0.0025 0.0028 0.0030 0.0025 0.0037 0.0043 0.0025 0.0054 0.0077 0.0025 0.0064 0.0082 0.5180 0.5874 -0.4978
mind-text ease grouped_most_popular 100.0943 17.0103 0.3525 0.6891 8673.8281 0.0000 0.0010 0.0012 0.0000 0.0005 0.0003 0.0000 0.0005 0.0005 0.0000 0.0008 0.0009 0.0000 0.0013 0.0013 0.5143 0.5091 -0.6021
mind-text ease grouped_most_popular_pers 100.0943 17.0103 5.7277 0.8308 13589.2031 0.0018 0.0117 0.0197 0.0040 0.0046 0.0040 0.0040 0.0049 0.0059 0.0040 0.0079 0.0109 0.0040 0.0100 0.0122 0.5359 0.5903 0.0000
mind-text ease knn_score_avg 100.0943 17.0103 9.1733 2.2315 8886.7969 0.0021 0.0084 0.0154 0.0040 0.0034 0.0034 0.0040 0.0041 0.0049 0.0040 0.0062 0.0088 0.0040 0.0079 0.0099 0.5626 0.6253 0.7446
mind-text ease linmap 100.0943 17.0103 9.8861 0.8666 8444.9219 0.0019 0.0121 0.0200 0.0040 0.0044 0.0040 0.0040 0.0051 0.0061 0.0040 0.0080 0.0110 0.0040 0.0094 0.0117 0.6417 0.6949 2.9516
mind-text ease logreg_calib 100.0943 17.0103 10.1586 3.5722 8886.6953 0.0010 0.0105 0.0177 0.0020 0.0041 0.0039 0.0020 0.0043 0.0052 0.0020 0.0069 0.0097 0.0020 0.0077 0.0100 0.5577 0.6184 0.6094
mind-text ease most_popular 100.0943 17.0103 0.2989 0.7566 8424.8203 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind-text ease random 100.0943 17.0103 0.0000 0.7343 8673.5547 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9324
mind-text ease stacking 100.0943 17.0103 12.8236 3.3787 8660.6367 0.0020 0.0094 0.0169 0.0040 0.0038 0.0036 0.0040 0.0044 0.0054 0.0040 0.0068 0.0097 0.0040 0.0088 0.0107 0.5625 0.6367 0.7433
mind-text ease stacking_plus 100.0943 17.0103 12.3943 1.2293 8701.4258 0.0033 0.0124 0.0235 0.0055 0.0050 0.0048 0.0055 0.0061 0.0075 0.0055 0.0090 0.0132 0.0055 0.0111 0.0140 0.6241 0.6878 2.4613
mind-text two_tower attention_knn 119.8733 7.3883 8.1667 2.1529 7150.9570 0.0002 0.0040 0.0151 0.0010 0.0014 0.0028 0.0010 0.0013 0.0026 0.0010 0.0023 0.0063 0.0010 0.0028 0.0054 0.6131 0.5282 2.1524
mind-text two_tower debiased_knn 119.8733 7.3883 8.2935 2.3244 7365.0703 0.0000 0.0044 0.0063 0.0000 0.0017 0.0013 0.0000 0.0015 0.0017 0.0000 0.0026 0.0032 0.0000 0.0027 0.0032 0.5147 0.5050 -0.5911
mind-text two_tower embedding_avg 119.8733 7.3883 0.6691 0.6592 7281.0625 0.0010 0.0106 0.0155 0.0010 0.0035 0.0026 0.0010 0.0043 0.0049 0.0010 0.0066 0.0083 0.0010 0.0066 0.0077 0.6008 0.5051 1.8109
mind-text two_tower grouped_most_popular 119.8733 7.3883 0.3646 0.6374 6936.4609 0.0000 0.0010 0.0012 0.0000 0.0005 0.0003 0.0000 0.0005 0.0005 0.0000 0.0008 0.0009 0.0000 0.0013 0.0013 0.5143 0.5091 -0.6021
mind-text two_tower grouped_most_popular_pers 119.8733 7.3883 6.2025 0.7696 12077.6250 0.0018 0.0117 0.0197 0.0040 0.0046 0.0040 0.0040 0.0049 0.0059 0.0040 0.0079 0.0109 0.0040 0.0100 0.0122 0.5359 0.5903 0.0000
mind-text two_tower knn_score_avg 119.8733 7.3883 9.4299 2.1302 7149.1445 0.0005 0.0105 0.0151 0.0005 0.0035 0.0026 0.0005 0.0037 0.0043 0.0005 0.0061 0.0077 0.0005 0.0060 0.0070 0.6055 0.5081 1.9412
mind-text two_tower linmap 119.8733 7.3883 10.1742 0.7658 6951.9844 0.0007 0.0085 0.0129 0.0020 0.0023 0.0022 0.0020 0.0034 0.0040 0.0020 0.0052 0.0069 0.0020 0.0053 0.0067 0.6302 0.5063 2.6308
mind-text two_tower logreg_calib 119.8733 7.3883 10.1877 3.5358 7151.4531 0.0010 0.0076 0.0158 0.0010 0.0024 0.0030 0.0010 0.0029 0.0039 0.0010 0.0044 0.0075 0.0010 0.0040 0.0061 0.5797 0.5939 1.2223
mind-text two_tower most_popular 119.8733 7.3883 0.3120 0.6263 6936.4609 0.0000 0.0092 0.0122 0.0000 0.0033 0.0020 0.0000 0.0023 0.0027 0.0000 0.0046 0.0055 0.0000 0.0040 0.0044 0.5000 0.5000 -1.0000
mind-text two_tower random 119.8733 7.3883 0.0000 0.6653 6936.4531 0.0009 0.0019 0.0035 0.0020 0.0010 0.0009 0.0020 0.0013 0.0015 0.0020 0.0019 0.0025 0.0020 0.0031 0.0036 0.5024 0.5033 -0.9324
mind-text two_tower stacking 119.8733 7.3883 12.4158 3.2545 7164.6523 0.0024 0.0110 0.0167 0.0060 0.0047 0.0039 0.0060 0.0050 0.0057 0.0060 0.0080 0.0103 0.0060 0.0112 0.0132 0.5599 0.5932 0.6710
mind-text two_tower stacking_plus 119.8733 7.3883 13.0696 1.1640 6965.1914 0.0022 0.0102 0.0167 0.0055 0.0045 0.0039 0.0055 0.0046 0.0054 0.0055 0.0075 0.0100 0.0055 0.0106 0.0128 0.5599 0.5955 0.6711
ml-1m als attention_knn 8.3393 0.0819 0.2378 0.3577 790.3086 0.0084 0.0405 0.0743 0.2210 0.2211 0.2071 0.2210 0.1503 0.1226 0.2210 0.2225 0.2159 0.2210 0.3468 0.3653 0.6934 0.8108 -0.1215
ml-1m als debiased_knn 8.3393 0.0819 0.2501 0.3526 831.5234 0.0073 0.0361 0.0639 0.2075 0.2069 0.1886 0.2075 0.1424 0.1126 0.2075 0.2109 0.1993 0.2075 0.3340 0.3506 0.6391 0.7977 -0.3681
ml-1m als embedding_avg 8.3393 0.0819 0.0442 0.0240 747.4453 0.0082 0.0420 0.0741 0.2155 0.2274 0.2031 0.2155 0.1564 0.1238 0.2155 0.2287 0.2154 0.2155 0.3526 0.3700 0.6924 0.8114 -0.1261
ml-1m als grouped_most_popular 8.3393 0.0819 0.0242 0.0211 739.7344 0.0002 0.0259 0.0326 0.0080 0.1544 0.1049 0.0080 0.0718 0.0463 0.0080 0.1342 0.1082 0.0080 0.2037 0.2118 0.6347 0.6209 -0.3881
ml-1m als grouped_most_popular_pers 8.3393 0.0819 0.1157 0.0209 740.7344 0.0119 0.0457 0.0779 0.2415 0.2254 0.1954 0.2415 0.1542 0.1218 0.2415 0.2306 0.2125 0.2415 0.3717 0.3832 0.7202 0.8228 0.0000
ml-1m als knn_score_avg 8.3393 0.0819 0.2750 0.3639 784.1953 0.0084 0.0420 0.0744 0.2215 0.2275 0.2029 0.2215 0.1572 0.1239 0.2215 0.2299 0.2161 0.2215 0.3570 0.3747 0.6930 0.8118 -0.1234
ml-1m als linmap 8.3393 0.0819 0.3311 0.0342 751.5508 0.0127 0.0520 0.0903 0.3525 0.2821 0.2520 0.3525 0.2128 0.1703 0.3525 0.2955 0.2740 0.3525 0.4601 0.4745 0.7229 0.8404 0.0123
ml-1m als logreg_calib 8.3393 0.0819 1.3648 0.5838 791.1055 0.0082 0.0417 0.0763 0.2220 0.2231 0.2084 0.2220 0.1522 0.1237 0.2220 0.2256 0.2181 0.2220 0.3542 0.3732 0.6919 0.8122 -0.1282
ml-1m als most_popular 8.3393 0.0819 0.0211 0.0208 737.9258 0.0010 0.0071 0.0109 0.0460 0.0483 0.0390 0.0460 0.0210 0.0141 0.0460 0.0436 0.0391 0.0460 0.0837 0.0925 0.5000 0.5000 -1.0000
ml-1m als random 8.3393 0.0819 0.0000 0.0246 734.1094 0.0013 0.0066 0.0139 0.0505 0.0517 0.0522 0.0505 0.0266 0.0197 0.0505 0.0509 0.0519 0.0505 0.1000 0.1169 0.5033 0.5020 -0.9849
ml-1m als stacking 8.3393 0.0819 1.1240 0.5168 792.3281 0.0089 0.0449 0.0784 0.2170 0.2380 0.2122 0.2170 0.1616 0.1304 0.2170 0.2375 0.2241 0.2170 0.3636 0.3795 0.7132 0.8339 -0.0316
ml-1m als stacking_plus 8.3393 0.0819 1.0199 0.1465 752.7148 0.0154 0.0552 0.0943 0.3795 0.2880 0.2579 0.3795 0.2193 0.1765 0.3795 0.3051 0.2831 0.3795 0.4826 0.4954 0.7346 0.8430 0.0657
ml-1m bpr attention_knn 6.2964 0.0826 0.2505 0.3945 801.9648 0.0077 0.0403 0.0699 0.2235 0.2260 0.2034 0.2235 0.1578 0.1259 0.2235 0.2277 0.2145 0.2235 0.3476 0.3630 0.6880 0.6459 -0.1461
ml-1m bpr debiased_knn 6.2964 0.0826 0.2515 0.3747 844.6016 0.0067 0.0331 0.0602 0.2010 0.1988 0.1787 0.2010 0.1384 0.1072 0.2010 0.2028 0.1898 0.2010 0.3178 0.3359 0.6756 0.6310 -0.2025
ml-1m bpr embedding_avg 6.2964 0.0826 0.0483 0.0268 763.0508 0.0072 0.0374 0.0654 0.2190 0.2192 0.1943 0.2190 0.1540 0.1201 0.2190 0.2235 0.2072 0.2190 0.3470 0.3627 0.6859 0.6401 -0.1558
ml-1m bpr grouped_most_popular 6.2964 0.0826 0.0241 0.0214 756.9805 0.0002 0.0259 0.0326 0.0080 0.1544 0.1049 0.0080 0.0718 0.0463 0.0080 0.1342 0.1082 0.0080 0.2037 0.2118 0.6347 0.6209 -0.3881
ml-1m bpr grouped_most_popular_pers 6.2964 0.0826 0.1176 0.0224 757.3047 0.0119 0.0457 0.0779 0.2415 0.2254 0.1954 0.2415 0.1542 0.1218 0.2415 0.2306 0.2125 0.2415 0.3717 0.3832 0.7202 0.8228 0.0000
ml-1m bpr knn_score_avg 6.2964 0.0826 0.2361 0.3661 800.0352 0.0071 0.0369 0.0651 0.2175 0.2185 0.1940 0.2175 0.1532 0.1199 0.2175 0.2223 0.2065 0.2175 0.3453 0.3611 0.6864 0.6409 -0.1536
ml-1m bpr linmap 6.2964 0.0826 0.3232 0.0322 770.5273 0.0110 0.0470 0.0818 0.2815 0.2543 0.2294 0.2815 0.1846 0.1487 0.2815 0.2607 0.2449 0.2815 0.3980 0.4123 0.6984 0.6540 -0.0987
ml-1m bpr logreg_calib 6.2964 0.0826 1.2660 0.5741 810.8516 0.0060 0.0340 0.0656 0.1730 0.1908 0.1867 0.1730 0.1244 0.1060 0.1730 0.1900 0.1906 0.1730 0.3005 0.3180 0.6903 0.6854 -0.1356
ml-1m bpr most_popular 6.2964 0.0826 0.0238 0.0178 756.9414 0.0010 0.0071 0.0109 0.0460 0.0483 0.0390 0.0460 0.0210 0.0141 0.0460 0.0436 0.0391 0.0460 0.0837 0.0925 0.5000 0.5000 -1.0000
ml-1m bpr random 6.2964 0.0826 0.0000 0.0279 754.4023 0.0013 0.0066 0.0139 0.0505 0.0517 0.0522 0.0505 0.0266 0.0197 0.0505 0.0509 0.0519 0.0505 0.1000 0.1169 0.5033 0.5020 -0.9849
ml-1m bpr stacking 6.2964 0.0826 1.0975 0.5081 811.4336 0.0075 0.0399 0.0709 0.2020 0.2300 0.2039 0.2020 0.1552 0.1249 0.2020 0.2280 0.2132 0.2020 0.3420 0.3565 0.6982 0.8190 -0.1001
ml-1m bpr stacking_plus 6.2964 0.0826 1.0585 0.1631 773.4844 0.0100 0.0469 0.0807 0.2560 0.2522 0.2255 0.2560 0.1762 0.1431 0.2560 0.2555 0.2391 0.2560 0.3916 0.4036 0.7018 0.8208 -0.0836
ml-1m catboost attention_knn 44.5077 9.2662 0.2545 0.3689 1550.2852 0.0019 0.0195 0.0448 0.1055 0.1218 0.1476 0.1055 0.0608 0.0649 0.1055 0.1118 0.1352 0.1055 0.1898 0.2095 0.6306 0.6758 -0.4068
ml-1m catboost debiased_knn 44.5077 9.2662 0.2832 0.3610 1591.1992 0.0017 0.0083 0.0205 0.0890 0.0720 0.0723 0.0890 0.0480 0.0350 0.0890 0.0772 0.0758 0.0890 0.1409 0.1612 0.4950 0.7263 -1.0228
ml-1m catboost grouped_most_popular 44.5077 9.2662 0.0226 0.0184 1503.9023 0.0002 0.0259 0.0326 0.0080 0.1544 0.1049 0.0080 0.0718 0.0463 0.0080 0.1342 0.1082 0.0080 0.2037 0.2118 0.6347 0.6209 -0.3881
ml-1m catboost grouped_most_popular_pers 44.5077 9.2662 0.1140 0.0209 1506.4883 0.0119 0.0457 0.0779 0.2415 0.2254 0.1954 0.2415 0.1542 0.1218 0.2415 0.2306 0.2125 0.2415 0.3717 0.3832 0.7202 0.8228 0.0000
ml-1m catboost knn_score_avg 44.5077 9.2662 0.2381 0.3799 1548.2812 0.0023 0.0317 0.0504 0.1000 0.2088 0.1794 0.1000 0.1387 0.1140 0.1000 0.1971 0.1836 0.1000 0.2639 0.2728 0.6270 0.6746 -0.4233
ml-1m catboost linmap 44.5077 9.2662 0.3282 0.0316 1510.6133 0.0193 0.0618 0.0887 0.4795 0.3326 0.2535 0.4795 0.2669 0.1861 0.4795 0.3527 0.2931 0.4795 0.5396 0.5462 0.6497 0.7168 -0.3200
ml-1m catboost logreg_calib 44.5077 9.2662 1.2827 0.6004 1552.2305 0.0024 0.0266 0.0483 0.1150 0.1687 0.1627 0.1150 0.1079 0.0922 0.1150 0.1675 0.1664 0.1150 0.2618 0.2742 0.6315 0.6798 -0.4030
ml-1m catboost most_popular 44.5077 9.2662 0.0220 0.0204 1502.4727 0.0010 0.0071 0.0109 0.0460 0.0483 0.0390 0.0460 0.0210 0.0141 0.0460 0.0436 0.0391 0.0460 0.0837 0.0925 0.5000 0.5000 -1.0000
ml-1m catboost random 44.5077 9.2662 0.0000 0.0252 1505.9570 0.0013 0.0066 0.0139 0.0505 0.0517 0.0522 0.0505 0.0266 0.0197 0.0505 0.0509 0.0519 0.0505 0.1000 0.1169 0.5033 0.5020 -0.9849
ml-1m catboost stacking 44.5077 9.2662 1.1212 0.5168 1556.1992 0.0044 0.0366 0.0654 0.1460 0.2212 0.2026 0.1460 0.1431 0.1206 0.1460 0.2110 0.2042 0.1460 0.3008 0.3136 0.6617 0.8130 -0.2654
ml-1m catboost stacking_plus 44.5077 9.2662 0.9853 0.1414 1516.2852 0.0127 0.0570 0.0929 0.3745 0.3015 0.2571 0.3745 0.2287 0.1758 0.3745 0.3164 0.2846 0.3745 0.4914 0.5032 0.6646 0.8137 -0.2525
ml-1m ease attention_knn 1.6225 0.4901 0.2563 0.3688 952.1445 0.0083 0.0419 0.0774 0.2225 0.2302 0.2162 0.2225 0.1601 0.1318 0.2225 0.2306 0.2248 0.2225 0.3475 0.3667 0.6985 0.8158 -0.0986
ml-1m ease debiased_knn 1.6225 0.4901 0.2656 0.3722 994.0664 0.0069 0.0339 0.0622 0.2130 0.2171 0.1964 0.2130 0.1529 0.1212 0.2130 0.2198 0.2062 0.2130 0.3349 0.3506 0.6150 0.7938 -0.4775
ml-1m ease grouped_most_popular 1.6225 0.4901 0.0230 0.0194 909.9922 0.0002 0.0259 0.0326 0.0080 0.1544 0.1049 0.0080 0.0718 0.0463 0.0080 0.1342 0.1082 0.0080 0.2037 0.2118 0.6347 0.6209 -0.3881
ml-1m ease grouped_most_popular_pers 1.6225 0.4901 0.1149 0.0209 909.3477 0.0119 0.0457 0.0779 0.2415 0.2254 0.1954 0.2415 0.1542 0.1218 0.2415 0.2306 0.2125 0.2415 0.3717 0.3832 0.7202 0.8228 0.0000
ml-1m ease knn_score_avg 1.6225 0.4901 0.2370 0.3746 951.1406 0.0092 0.0443 0.0771 0.2300 0.2411 0.2157 0.2300 0.1700 0.1362 0.2300 0.2434 0.2291 0.2300 0.3703 0.3855 0.6970 0.8157 -0.1054
ml-1m ease linmap 1.6225 0.4901 0.3387 0.0349 913.0859 0.0153 0.0558 0.0970 0.3790 0.2943 0.2639 0.3790 0.2261 0.1816 0.3790 0.3111 0.2889 0.3790 0.4853 0.4988 0.7315 0.8430 0.0515
ml-1m ease logreg_calib 1.6225 0.4901 1.3540 0.6036 954.0312 0.0082 0.0416 0.0761 0.2160 0.2275 0.2125 0.2160 0.1563 0.1290 0.2160 0.2280 0.2211 0.2160 0.3461 0.3627 0.6888 0.8125 -0.1425
ml-1m ease most_popular 1.6225 0.4901 0.0222 0.0196 909.1055 0.0010 0.0071 0.0109 0.0460 0.0483 0.0390 0.0460 0.0210 0.0141 0.0460 0.0436 0.0391 0.0460 0.0837 0.0925 0.5000 0.5000 -1.0000
ml-1m ease random 1.6225 0.4901 0.0000 0.0236 907.9805 0.0013 0.0066 0.0139 0.0505 0.0517 0.0522 0.0505 0.0266 0.0197 0.0505 0.0509 0.0519 0.0505 0.1000 0.1169 0.5033 0.5020 -0.9849
ml-1m ease stacking 1.6225 0.4901 1.0797 0.5192 953.2422 0.0092 0.0476 0.0808 0.2150 0.2509 0.2228 0.2150 0.1711 0.1392 0.2150 0.2481 0.2337 0.2150 0.3692 0.3829 0.7221 0.8376 0.0086
ml-1m ease stacking_plus 1.6225 0.4901 0.9800 0.1469 913.2930 0.0172 0.0567 0.0972 0.4045 0.2973 0.2662 0.4045 0.2325 0.1865 0.4045 0.3185 0.2945 0.4045 0.5019 0.5143 0.7402 0.8440 0.0907
ml-1m two_tower attention_knn 15.4160 0.0672 0.2396 0.3822 1321.8281 0.0051 0.0326 0.0560 0.1765 0.1826 0.1604 0.1765 0.1198 0.0908 0.1765 0.1813 0.1693 0.1765 0.2824 0.3018 0.6581 0.7103 -0.2818
ml-1m two_tower debiased_knn 15.4160 0.0672 0.2955 0.3916 1362.7461 0.0025 0.0164 0.0290 0.0670 0.0867 0.0827 0.0670 0.0528 0.0397 0.0670 0.0856 0.0839 0.0670 0.1408 0.1575 0.5881 0.6645 -0.5997
ml-1m two_tower embedding_avg 15.4160 0.0672 0.0447 0.0269 1283.0156 0.0042 0.0306 0.0556 0.1555 0.1843 0.1709 0.1555 0.1208 0.0980 0.1555 0.1812 0.1753 0.1555 0.2766 0.2938 0.6549 0.7095 -0.2963
ml-1m two_tower grouped_most_popular 15.4160 0.0672 0.0229 0.0194 1277.1602 0.0002 0.0259 0.0326 0.0080 0.1544 0.1049 0.0080 0.0718 0.0463 0.0080 0.1342 0.1082 0.0080 0.2037 0.2118 0.6347 0.6209 -0.3881
ml-1m two_tower grouped_most_popular_pers 15.4160 0.0672 0.1203 0.0211 1279.0781 0.0119 0.0457 0.0779 0.2415 0.2254 0.1954 0.2415 0.1542 0.1218 0.2415 0.2306 0.2125 0.2415 0.3717 0.3832 0.7202 0.8228 0.0000
ml-1m two_tower knn_score_avg 15.4160 0.0672 0.2413 0.3608 1319.8281 0.0052 0.0326 0.0565 0.1760 0.1914 0.1713 0.1760 0.1274 0.1010 0.1760 0.1908 0.1794 0.1760 0.2964 0.3101 0.6557 0.7100 -0.2929
ml-1m two_tower linmap 15.4160 0.0672 0.3283 0.0321 1280.7852 0.0148 0.0516 0.0832 0.3550 0.2676 0.2326 0.3550 0.2006 0.1570 0.3550 0.2833 0.2578 0.3550 0.4575 0.4690 0.6737 0.7284 -0.2110
ml-1m two_tower logreg_calib 15.4160 0.0672 1.3016 0.5813 1322.7344 0.0074 0.0333 0.0580 0.2190 0.1910 0.1703 0.2190 0.1343 0.1041 0.2190 0.1981 0.1840 0.2190 0.3200 0.3357 0.6569 0.7105 -0.2873
ml-1m two_tower most_popular 15.4160 0.0672 0.0215 0.0189 1275.7461 0.0010 0.0071 0.0109 0.0460 0.0483 0.0390 0.0460 0.0210 0.0141 0.0460 0.0436 0.0391 0.0460 0.0837 0.0925 0.5000 0.5000 -1.0000
ml-1m two_tower random 15.4160 0.0672 0.0000 0.0241 1273.9648 0.0013 0.0066 0.0139 0.0505 0.0517 0.0522 0.0505 0.0266 0.0197 0.0505 0.0509 0.0519 0.0505 0.1000 0.1169 0.5033 0.5020 -0.9849
ml-1m two_tower stacking 15.4160 0.0672 1.3400 0.5713 1325.6914 0.0064 0.0365 0.0641 0.1940 0.2212 0.1961 0.1940 0.1492 0.1195 0.1940 0.2185 0.2039 0.1940 0.3242 0.3366 0.6813 0.8088 -0.1768
ml-1m two_tower stacking_plus 15.4160 0.0672 1.2236 0.1679 1284.4180 0.0118 0.0515 0.0883 0.2995 0.2642 0.2351 0.2995 0.1881 0.1496 0.2995 0.2722 0.2533 0.2995 0.4275 0.4400 0.6867 0.8110 -0.1522