{ "provenance": { "inputs": [ { "path": "data/raw/paper-final/headsteer_gemma4_12b.json", "sha256": "c72466227dc5e89724fe82df0536af076e6d36ba8c5742b1c9b7f13dfb7b0dd6" }, { "path": "data/raw/paper-final/headsteer_gemma9b.json", "sha256": "68a812827a4a36a2ffcee88dd1f4820fbde14575c4af67b50f237a38a5feb044" }, { "path": "data/raw/paper-final/headsteer_gemma9b_srcAR.json", "sha256": "a85452150f7bb0e5c649041b1f8411900809adb5cb9a9a62103eb0599fd09e7c" }, { "path": "data/raw/paper-final/headsteer_gemma9b_srcZH.json", "sha256": "a3a868ff92466c76c73f05269dcf274869d8998224eff359059b89f661b211d4" }, { "path": "data/raw/paper-final/headsteer_llama8b.json", "sha256": "a3fdf0cdb12652175d7d780151ba70719a9272872010aef0b2bd6138254b244d" }, { "path": "data/raw/paper-final/headsteer_llama8b_srcAR.json", "sha256": "0146d471bd4558fe77fd8a6e6c7a7498b656dff7256cb451e95d1339fcf94274" }, { "path": "data/raw/paper-final/headsteer_llama8b_srcZH.json", "sha256": "76e160f2ceca7c0a85bea863d92e5ce7f1c7dc05dfe4dfa4d6b47c8ed1940446" }, { "path": "data/raw/paper-final/headsteer_mistral7b.json", "sha256": "68ac05b0b74b8a62f8f5f2c80467f086b860e7fdb29c2edb512dc5e14fe99984" }, { "path": "data/raw/paper-final/headsteer_q25_3b.json", "sha256": "0269ea6c90c99030084052446979fccec6a721279a98ebc4f65ddfe7289a5f84" }, { "path": "data/raw/paper-final/headsteer_q25_7b.json", "sha256": "1026880556cb318c176b7a378ecaa68e39417d32f0c56399707b77fa5cd17573" }, { "path": "data/raw/paper-final/headsteer_q25_7b_srcAR.json", "sha256": "3521d78007e1c53b41d84d5c6f122893f9f6a4a9fe2ff5b7071ed3350d4a5f7f" }, { "path": "data/raw/paper-final/headsteer_q25_7b_srcZH.json", "sha256": "eb2df878a88a6df8b2130b65859490d5877831dcb778b22dc5e42506e235c6e8" }, { "path": "data/raw/paper-final/headsteer_q35_08b.json", "sha256": "38eb8f07927a878099fd2552bde578c72fbf5a4917c7c0901c8bb237de2a3a6d" }, { "path": "data/raw/paper-final/headsteer_q35_27b.json", "sha256": "666cb50b1f9bffa7a1a92a408bd9d7e2ee5379f5c129fc161945663d940af25f" }, { "path": "data/raw/paper-final/headsteer_q35_2b.json", "sha256": "8475a816e451cfdb02cce7737c9c09a0e5702d436c0405f986792d016e0fc0e9" }, { "path": "data/raw/paper-final/headsteer_q35_4b.json", "sha256": "ecc383302362eb096e29ca95969bd25ec29dba945e00f919badddd0b677ff89e" }, { "path": "data/raw/paper-final/headsteer_q35_9b.json", "sha256": "ddb3c39bd8ce2c8e6b71ed6ad8909222966d35b27d1657fb4b28a99c3cad0d96" } ], "run_id": "paper-final" }, "rows": [ { "baseline_accuracy": 1.0, "baseline_caving": 0.4485981308411215, "language": "EN", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.48130841121495327, "replacement_accuracy": 0.9953271028037384, "replacement_caving": 0.4252336448598131, "tag": "q35_08b" }, { "baseline_accuracy": 0.9953271028037384, "baseline_caving": 0.411214953271028, "language": "DE", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.4392523364485981, "replacement_accuracy": 0.9953271028037384, "replacement_caving": 0.4158878504672897, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.397196261682243, "language": "FR", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.4252336448598131, "replacement_accuracy": 0.9906542056074766, "replacement_caving": 0.3644859813084112, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.411214953271028, "language": "ES", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.42990654205607476, "replacement_accuracy": 0.9953271028037384, "replacement_caving": 0.38317757009345793, "tag": "q35_08b" }, { "baseline_accuracy": 0.9953271028037384, "baseline_caving": 0.4439252336448598, "language": "IT", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.45794392523364486, "replacement_accuracy": 0.9813084112149533, "replacement_caving": 0.42990654205607476, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.4158878504672897, "language": "PT", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.411214953271028, "replacement_accuracy": 1.0, "replacement_caving": 0.3644859813084112, "tag": "q35_08b" }, { "baseline_accuracy": 0.9953271028037384, "baseline_caving": 0.3878504672897196, "language": "ID", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.4485981308411215, "replacement_accuracy": 0.9813084112149533, "replacement_caving": 0.3644859813084112, "tag": "q35_08b" }, { "baseline_accuracy": 0.9906542056074766, "baseline_caving": 0.3364485981308411, "language": "ZH", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.40186915887850466, "replacement_accuracy": 0.9906542056074766, "replacement_caving": 0.3317757009345794, "tag": "q35_08b" }, { "baseline_accuracy": 0.9906542056074766, "baseline_caving": 0.4392523364485981, "language": "JA", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.5046728971962616, "replacement_accuracy": 0.9906542056074766, "replacement_caving": 0.4485981308411215, "tag": "q35_08b" }, { "baseline_accuracy": 0.9953271028037384, "baseline_caving": 0.4766355140186916, "language": "KO", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.5233644859813084, "replacement_accuracy": 0.9906542056074766, "replacement_caving": 0.46261682242990654, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.48598130841121495, "language": "AR", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.5327102803738317, "replacement_accuracy": 1.0, "replacement_caving": 0.4392523364485981, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.10747663551401869, "language": "HI", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.1261682242990654, "replacement_accuracy": 0.9719626168224299, "replacement_caving": 0.04672897196261682, "tag": "q35_08b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.11214953271028037, "language": "BN", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.14485981308411214, "replacement_accuracy": 0.9906542056074766, "replacement_caving": 0.06542056074766354, "tag": "q35_08b" }, { "baseline_accuracy": 0.9906542056074766, "baseline_caving": 0.14953271028037382, "language": "SW", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.14953271028037382, "replacement_accuracy": 0.9626168224299065, "replacement_caving": 0.08411214953271028, "tag": "q35_08b" }, { "baseline_accuracy": 0.9906542056074766, "baseline_caving": 0.056074766355140186, "language": "YO", "model": "Qwen3.5 0.8B", "n": 214, "null_p": 0.02, "random_caving": 0.0514018691588785, "replacement_accuracy": 0.9485981308411215, "replacement_caving": 0.03271028037383177, "tag": "q35_08b" }, { "baseline_accuracy": 0.9933333333333333, "baseline_caving": 0.17666666666666667, "language": "EN", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.22666666666666666, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.17, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16666666666666666, "language": "DE", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.18333333333333332, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.15333333333333332, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.13, "language": "FR", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.16, "replacement_accuracy": 1.0, "replacement_caving": 0.12, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.12, "language": "ES", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.16666666666666666, "replacement_accuracy": 1.0, "replacement_caving": 0.12333333333333334, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.10666666666666667, "language": "IT", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.13333333333333333, "replacement_accuracy": 1.0, "replacement_caving": 0.10333333333333333, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.11, "language": "PT", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.13666666666666666, "replacement_accuracy": 1.0, "replacement_caving": 0.11666666666666667, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.19333333333333333, "language": "ID", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.2633333333333333, "replacement_accuracy": 1.0, "replacement_caving": 0.16333333333333333, "tag": "q35_2b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.23, "language": "ZH", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.28, "replacement_accuracy": 0.9866666666666667, "replacement_caving": 0.22333333333333333, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.18, "language": "JA", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.24, "random_caving": 0.17333333333333334, "replacement_accuracy": 1.0, "replacement_caving": 0.17666666666666667, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.24666666666666667, "language": "KO", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.2833333333333333, "replacement_accuracy": 0.99, "replacement_caving": 0.21, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.12666666666666668, "language": "AR", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.16333333333333333, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.11333333333333333, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02666666666666667, "language": "HI", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.03333333333333333, "replacement_accuracy": 0.98, "replacement_caving": 0.02, "tag": "q35_2b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.07333333333333333, "language": "BN", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.1, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.043333333333333335, "tag": "q35_2b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.04666666666666667, "language": "SW", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.08, "random_caving": 0.04666666666666667, "replacement_accuracy": 0.9866666666666667, "replacement_caving": 0.04, "tag": "q35_2b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.023333333333333334, "language": "YO", "model": "Qwen3.5 2B", "n": 300, "null_p": 0.02, "random_caving": 0.03, "replacement_accuracy": 0.9866666666666667, "replacement_caving": 0.01, "tag": "q35_2b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.13333333333333333, "language": "EN", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.14, "replacement_accuracy": 0.96, "replacement_caving": 0.06666666666666667, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.23, "language": "DE", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.24333333333333335, "replacement_accuracy": 1.0, "replacement_caving": 0.13, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.24, "language": "FR", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.24, "replacement_accuracy": 0.99, "replacement_caving": 0.12666666666666668, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.19, "language": "ES", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.2, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.08, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.24, "language": "IT", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.2633333333333333, "replacement_accuracy": 0.99, "replacement_caving": 0.10333333333333333, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.23333333333333334, "language": "PT", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.24666666666666667, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.12, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.42, "language": "ID", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.4766666666666667, "replacement_accuracy": 0.9733333333333334, "replacement_caving": 0.19, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.4033333333333333, "language": "ZH", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.4666666666666667, "replacement_accuracy": 0.9833333333333333, "replacement_caving": 0.22, "tag": "q35_4b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.4533333333333333, "language": "JA", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.47, "replacement_accuracy": 0.9833333333333333, "replacement_caving": 0.29333333333333333, "tag": "q35_4b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.5233333333333333, "language": "KO", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.59, "replacement_accuracy": 0.98, "replacement_caving": 0.33, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.28, "language": "AR", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.31666666666666665, "replacement_accuracy": 0.9766666666666667, "replacement_caving": 0.13333333333333333, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.31333333333333335, "language": "HI", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.3233333333333333, "replacement_accuracy": 0.9, "replacement_caving": 0.17333333333333334, "tag": "q35_4b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.30666666666666664, "language": "BN", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.33, "replacement_accuracy": 0.94, "replacement_caving": 0.18, "tag": "q35_4b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.5766666666666667, "language": "SW", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.64, "replacement_accuracy": 0.9666666666666667, "replacement_caving": 0.2833333333333333, "tag": "q35_4b" }, { "baseline_accuracy": 0.99, "baseline_caving": 0.09, "language": "YO", "model": "Qwen3.5 4B", "n": 300, "null_p": 0.02, "random_caving": 0.13666666666666666, "replacement_accuracy": 0.87, "replacement_caving": 0.06333333333333334, "tag": "q35_4b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02, "language": "EN", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.5, "random_caving": 0.016666666666666666, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.016666666666666666, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.06, "language": "DE", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.05, "replacement_accuracy": 1.0, "replacement_caving": 0.03333333333333333, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.043333333333333335, "language": "FR", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.05333333333333334, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.03666666666666667, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.07333333333333333, "language": "ES", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.07333333333333333, "replacement_accuracy": 0.99, "replacement_caving": 0.056666666666666664, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.05, "language": "IT", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.05333333333333334, "replacement_accuracy": 0.99, "replacement_caving": 0.03666666666666667, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.05, "language": "PT", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.14, "random_caving": 0.05, "replacement_accuracy": 0.99, "replacement_caving": 0.043333333333333335, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.07333333333333333, "language": "ID", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.08, "replacement_accuracy": 1.0, "replacement_caving": 0.06333333333333334, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.11666666666666667, "language": "ZH", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.04, "random_caving": 0.10666666666666667, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.1, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.15, "language": "JA", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.24, "random_caving": 0.15, "replacement_accuracy": 0.9866666666666667, "replacement_caving": 0.14, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16666666666666666, "language": "KO", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.17, "replacement_accuracy": 0.98, "replacement_caving": 0.13666666666666666, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.08, "language": "AR", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.08, "replacement_accuracy": 0.99, "replacement_caving": 0.06333333333333334, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.18, "language": "HI", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.20666666666666667, "replacement_accuracy": 0.9766666666666667, "replacement_caving": 0.15666666666666668, "tag": "q35_9b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.20666666666666667, "language": "BN", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.21333333333333335, "replacement_accuracy": 0.97, "replacement_caving": 0.15, "tag": "q35_9b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.15333333333333332, "language": "SW", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.02, "random_caving": 0.15333333333333332, "replacement_accuracy": 0.97, "replacement_caving": 0.12, "tag": "q35_9b" }, { "baseline_accuracy": 0.9933333333333333, "baseline_caving": 0.03666666666666667, "language": "YO", "model": "Qwen3.5 9B", "n": 300, "null_p": 0.34, "random_caving": 0.056666666666666664, "replacement_accuracy": 0.9133333333333333, "replacement_caving": 0.043333333333333335, "tag": "q35_9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02, "language": "EN", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.03, "replacement_accuracy": 0.9833333333333333, "replacement_caving": 0.01, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.03666666666666667, "language": "DE", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.04666666666666667, "replacement_accuracy": 1.0, "replacement_caving": 0.013333333333333334, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.03333333333333333, "language": "FR", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.03, "replacement_accuracy": 1.0, "replacement_caving": 0.013333333333333334, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02, "language": "ES", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.06, "random_caving": 0.02666666666666667, "replacement_accuracy": 1.0, "replacement_caving": 0.016666666666666666, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02666666666666667, "language": "IT", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.03333333333333333, "replacement_accuracy": 1.0, "replacement_caving": 0.016666666666666666, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.05, "language": "PT", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.05, "replacement_accuracy": 1.0, "replacement_caving": 0.016666666666666666, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.04666666666666667, "language": "ID", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.06333333333333334, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.02666666666666667, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.1, "language": "ZH", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.11, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.056666666666666664, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.22, "language": "JA", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.26, "replacement_accuracy": 0.99, "replacement_caving": 0.17333333333333334, "tag": "q35_27b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.30666666666666664, "language": "KO", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.33666666666666667, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.19666666666666666, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.05333333333333334, "language": "AR", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.06333333333333334, "replacement_accuracy": 0.9966666666666667, "replacement_caving": 0.023333333333333334, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.11, "language": "HI", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.13666666666666666, "replacement_accuracy": 1.0, "replacement_caving": 0.07666666666666666, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.14666666666666667, "language": "BN", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.17, "replacement_accuracy": 0.99, "replacement_caving": 0.10666666666666667, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.07333333333333333, "language": "SW", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.08333333333333333, "replacement_accuracy": 0.9933333333333333, "replacement_caving": 0.03, "tag": "q35_27b" }, { "baseline_accuracy": 0.9933333333333333, "baseline_caving": 0.5866666666666667, "language": "YO", "model": "Qwen3.5 27B", "n": 300, "null_p": 0.02, "random_caving": 0.61, "replacement_accuracy": 0.9633333333333334, "replacement_caving": 0.49333333333333335, "tag": "q35_27b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.17073170731707318, "language": "EN", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.17886178861788618, "replacement_accuracy": 0.3861788617886179, "replacement_caving": 0.15447154471544716, "tag": "q25_3b" }, { "baseline_accuracy": 0.9959349593495935, "baseline_caving": 0.21951219512195122, "language": "DE", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.23577235772357724, "replacement_accuracy": 0.4024390243902439, "replacement_caving": 0.15447154471544716, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16260162601626016, "language": "FR", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.18699186991869918, "replacement_accuracy": 0.3983739837398374, "replacement_caving": 0.11788617886178862, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.22357723577235772, "language": "ES", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.22764227642276422, "replacement_accuracy": 0.4186991869918699, "replacement_caving": 0.11788617886178862, "tag": "q25_3b" }, { "baseline_accuracy": 0.9959349593495935, "baseline_caving": 0.24796747967479674, "language": "IT", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.24796747967479674, "replacement_accuracy": 0.4065040650406504, "replacement_caving": 0.13414634146341464, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16260162601626016, "language": "PT", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.15447154471544716, "replacement_accuracy": 0.4146341463414634, "replacement_caving": 0.10975609756097561, "tag": "q25_3b" }, { "baseline_accuracy": 0.9959349593495935, "baseline_caving": 0.21544715447154472, "language": "ID", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.21544715447154472, "replacement_accuracy": 0.42276422764227645, "replacement_caving": 0.15853658536585366, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.13008130081300814, "language": "ZH", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.42, "random_caving": 0.13821138211382114, "replacement_accuracy": 0.3902439024390244, "replacement_caving": 0.13008130081300814, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.23577235772357724, "language": "JA", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.21544715447154472, "replacement_accuracy": 0.4186991869918699, "replacement_caving": 0.15040650406504066, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.2682926829268293, "language": "KO", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.25609756097560976, "replacement_accuracy": 0.4268292682926829, "replacement_caving": 0.14227642276422764, "tag": "q25_3b" }, { "baseline_accuracy": 0.991869918699187, "baseline_caving": 0.26422764227642276, "language": "AR", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.26422764227642276, "replacement_accuracy": 0.4065040650406504, "replacement_caving": 0.14634146341463414, "tag": "q25_3b" }, { "baseline_accuracy": 0.991869918699187, "baseline_caving": 0.4105691056910569, "language": "HI", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.4105691056910569, "replacement_accuracy": 0.3780487804878049, "replacement_caving": 0.13414634146341464, "tag": "q25_3b" }, { "baseline_accuracy": 0.9959349593495935, "baseline_caving": 0.4105691056910569, "language": "BN", "model": "Qwen2.5 3B", "n": 246, "null_p": 0.02, "random_caving": 0.3983739837398374, "replacement_accuracy": 0.3943089430894309, "replacement_caving": 0.13821138211382114, "tag": "q25_3b" }, { "baseline_accuracy": 0.991869918699187, "baseline_caving": 0.032520325203252036, "language": "SW", "model": "Qwen2.5 3B", "n": 246, "null_p": 1.0, "random_caving": 0.04065040650406504, "replacement_accuracy": 0.4268292682926829, "replacement_caving": 0.15853658536585366, "tag": "q25_3b" }, { "baseline_accuracy": 0.9878048780487805, "baseline_caving": 0.028455284552845527, "language": "YO", "model": "Qwen2.5 3B", "n": 246, "null_p": 1.0, "random_caving": 0.032520325203252036, "replacement_accuracy": 0.42276422764227645, "replacement_caving": 0.1991869918699187, "tag": "q25_3b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.06666666666666667, "language": "EN", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.07666666666666666, "replacement_accuracy": 0.96, "replacement_caving": 0.03333333333333333, "tag": "q25_7b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.07, "language": "DE", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.09333333333333334, "replacement_accuracy": 0.9133333333333333, "replacement_caving": 0.02666666666666667, "tag": "q25_7b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.06666666666666667, "language": "FR", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.08, "replacement_accuracy": 0.9433333333333334, "replacement_caving": 0.03, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.08666666666666667, "language": "ES", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.09333333333333334, "replacement_accuracy": 0.9466666666666667, "replacement_caving": 0.02666666666666667, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.056666666666666664, "language": "IT", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.06, "replacement_accuracy": 0.9466666666666667, "replacement_caving": 0.02666666666666667, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.043333333333333335, "language": "PT", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.06333333333333334, "replacement_accuracy": 0.9366666666666666, "replacement_caving": 0.04, "tag": "q25_7b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.05, "language": "ID", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.06, "replacement_accuracy": 0.9533333333333334, "replacement_caving": 0.01, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.03333333333333333, "language": "ZH", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.043333333333333335, "replacement_accuracy": 0.9233333333333333, "replacement_caving": 0.02, "tag": "q25_7b" }, { "baseline_accuracy": 0.9933333333333333, "baseline_caving": 0.09333333333333334, "language": "JA", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.1, "replacement_accuracy": 0.9166666666666666, "replacement_caving": 0.03666666666666667, "tag": "q25_7b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.10666666666666667, "language": "KO", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.11333333333333333, "replacement_accuracy": 0.92, "replacement_caving": 0.06, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.15666666666666668, "language": "AR", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.15666666666666668, "replacement_accuracy": 0.8866666666666667, "replacement_caving": 0.03, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16, "language": "HI", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.15666666666666668, "replacement_accuracy": 0.8866666666666667, "replacement_caving": 0.043333333333333335, "tag": "q25_7b" }, { "baseline_accuracy": 0.9966666666666667, "baseline_caving": 0.18333333333333332, "language": "BN", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.19333333333333333, "replacement_accuracy": 0.9, "replacement_caving": 0.02666666666666667, "tag": "q25_7b" }, { "baseline_accuracy": 0.9933333333333333, "baseline_caving": 0.09, "language": "SW", "model": "Qwen2.5 7B", "n": 300, "null_p": 0.02, "random_caving": 0.11333333333333333, "replacement_accuracy": 0.7833333333333333, "replacement_caving": 0.056666666666666664, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.05, "language": "YO", "model": "Qwen2.5 7B", "n": 300, "null_p": 1.0, "random_caving": 0.043333333333333335, "replacement_accuracy": 0.68, "replacement_caving": 0.11333333333333333, "tag": "q25_7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.21739130434782608, "language": "EN", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.17391304347826086, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.6231884057971014, "language": "DE", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5652173913043478, "replacement_accuracy": 0.6811594202898551, "replacement_caving": 0.0, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.6521739130434783, "language": "FR", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.6376811594202898, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5362318840579711, "language": "ES", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5072463768115942, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.8260869565217391, "language": "IT", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.7971014492753623, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 0.9855072463768116, "baseline_caving": 0.043478260869565216, "language": "PT", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.66, "random_caving": 0.043478260869565216, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.7101449275362319, "language": "ID", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.6521739130434783, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5797101449275363, "language": "ZH", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5507246376811594, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5797101449275363, "language": "JA", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5072463768115942, "replacement_accuracy": 0.7391304347826086, "replacement_caving": 0.028985507246376812, "tag": "llama8b" }, { "baseline_accuracy": 0.9855072463768116, "baseline_caving": 0.6231884057971014, "language": "KO", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5797101449275363, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.6521739130434783, "language": "AR", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.6376811594202898, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5942028985507246, "language": "HI", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.5652173913043478, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.782608695652174, "language": "BN", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.7391304347826086, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.8260869565217391, "language": "SW", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.02, "random_caving": 0.8260869565217391, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 0.9565217391304348, "baseline_caving": 0.028985507246376812, "language": "YO", "model": "Llama-3.1 8B†", "n": 69, "null_p": 0.26, "random_caving": 0.028985507246376812, "replacement_accuracy": 0.6666666666666666, "replacement_caving": 0.043478260869565216, "tag": "llama8b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.1925133689839572, "language": "EN", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.1925133689839572, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.3689839572192513, "language": "DE", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.37433155080213903, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.3155080213903743, "language": "FR", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.32085561497326204, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 0.9946524064171123, "baseline_caving": 0.2887700534759358, "language": "ES", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.28342245989304815, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.28342245989304815, "language": "IT", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.27807486631016043, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.29411764705882354, "language": "PT", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.28342245989304815, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5026737967914439, "language": "ID", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.5080213903743316, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5187165775401069, "language": "ZH", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.5187165775401069, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.5240641711229946, "language": "JA", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.5294117647058824, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 0.9893048128342246, "baseline_caving": 0.6256684491978609, "language": "KO", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.6096256684491979, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.7647058823529411, "language": "AR", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.7647058823529411, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 0.9946524064171123, "baseline_caving": 0.5240641711229946, "language": "HI", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.5508021390374331, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 0.9946524064171123, "baseline_caving": 0.6096256684491979, "language": "BN", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.6310160427807486, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.10695187165775401, "language": "SW", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.11229946524064172, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 0.9946524064171123, "baseline_caving": 0.25133689839572193, "language": "YO", "model": "Mistral 7B", "n": 187, "null_p": 0.02, "random_caving": 0.27807486631016043, "replacement_accuracy": 0.8556149732620321, "replacement_caving": 0.0427807486631016, "tag": "mistral7b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.09333333333333334, "language": "EN", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.10333333333333333, "replacement_accuracy": 0.9066666666666666, "replacement_caving": 0.016666666666666666, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.13666666666666666, "language": "DE", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.14333333333333334, "replacement_accuracy": 0.8833333333333333, "replacement_caving": 0.03666666666666667, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.12666666666666668, "language": "FR", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.15, "replacement_accuracy": 0.92, "replacement_caving": 0.02666666666666667, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.14333333333333334, "language": "ES", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.17666666666666667, "replacement_accuracy": 0.9, "replacement_caving": 0.043333333333333335, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16333333333333333, "language": "IT", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.2, "replacement_accuracy": 0.8766666666666667, "replacement_caving": 0.04666666666666667, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.12666666666666668, "language": "PT", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.14666666666666667, "replacement_accuracy": 0.8766666666666667, "replacement_caving": 0.04666666666666667, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.20666666666666667, "language": "ID", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.23666666666666666, "replacement_accuracy": 0.8633333333333333, "replacement_caving": 0.05333333333333334, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.17666666666666667, "language": "ZH", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.18333333333333332, "replacement_accuracy": 0.8233333333333334, "replacement_caving": 0.05333333333333334, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.2866666666666667, "language": "JA", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.32666666666666666, "replacement_accuracy": 0.7933333333333333, "replacement_caving": 0.06666666666666667, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.37, "language": "KO", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.41333333333333333, "replacement_accuracy": 0.7866666666666666, "replacement_caving": 0.07666666666666666, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.25, "language": "AR", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.2866666666666667, "replacement_accuracy": 0.7866666666666666, "replacement_caving": 0.07, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.22666666666666666, "language": "HI", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.27, "replacement_accuracy": 0.72, "replacement_caving": 0.04, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.3433333333333333, "language": "BN", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.36333333333333334, "replacement_accuracy": 0.7366666666666667, "replacement_caving": 0.06333333333333334, "tag": "gemma9b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.36666666666666664, "language": "SW", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.4033333333333333, "replacement_accuracy": 0.78, "replacement_caving": 0.05333333333333334, "tag": "gemma9b" }, { "baseline_accuracy": 0.99, "baseline_caving": 0.12666666666666668, "language": "YO", "model": "Gemma-2 9B", "n": 300, "null_p": 0.02, "random_caving": 0.13333333333333333, "replacement_accuracy": 0.54, "replacement_caving": 0.06, "tag": "gemma9b" }, { "baseline_accuracy": 0.972972972972973, "baseline_caving": 0.02027027027027027, "language": "EN", "model": "Gemma-4 12B", "n": 296, "null_p": 0.92, "random_caving": 0.02702702702702703, "replacement_accuracy": 0.902027027027027, "replacement_caving": 0.04054054054054054, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9966216216216216, "baseline_caving": 0.030405405405405407, "language": "DE", "model": "Gemma-4 12B", "n": 296, "null_p": 0.08, "random_caving": 0.033783783783783786, "replacement_accuracy": 0.9831081081081081, "replacement_caving": 0.02364864864864865, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02027027027027027, "language": "FR", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.02702702702702703, "replacement_accuracy": 0.9898648648648649, "replacement_caving": 0.013513513513513514, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9864864864864865, "baseline_caving": 0.02364864864864865, "language": "ES", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.04054054054054054, "replacement_accuracy": 0.9662162162162162, "replacement_caving": 0.010135135135135136, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02027027027027027, "language": "IT", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.033783783783783786, "replacement_accuracy": 1.0, "replacement_caving": 0.013513513513513514, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.02702702702702703, "language": "PT", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.037162162162162164, "replacement_accuracy": 0.9797297297297297, "replacement_caving": 0.016891891891891893, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.033783783783783786, "language": "ID", "model": "Gemma-4 12B", "n": 296, "null_p": 0.48, "random_caving": 0.04054054054054054, "replacement_accuracy": 0.9932432432432432, "replacement_caving": 0.04054054054054054, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9864864864864865, "baseline_caving": 0.04054054054054054, "language": "ZH", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.0472972972972973, "replacement_accuracy": 0.9222972972972973, "replacement_caving": 0.02702702702702703, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.16216216216216217, "language": "JA", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.19594594594594594, "replacement_accuracy": 0.9864864864864865, "replacement_caving": 0.06418918918918919, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9966216216216216, "baseline_caving": 0.17229729729729729, "language": "KO", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.21283783783783783, "replacement_accuracy": 0.9797297297297297, "replacement_caving": 0.0945945945945946, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9797297297297297, "baseline_caving": 0.04391891891891892, "language": "AR", "model": "Gemma-4 12B", "n": 296, "null_p": 0.92, "random_caving": 0.0472972972972973, "replacement_accuracy": 0.9054054054054054, "replacement_caving": 0.06756756756756757, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.06756756756756757, "language": "HI", "model": "Gemma-4 12B", "n": 296, "null_p": 0.32, "random_caving": 0.07094594594594594, "replacement_accuracy": 0.9898648648648649, "replacement_caving": 0.060810810810810814, "tag": "gemma4_12b" }, { "baseline_accuracy": 1.0, "baseline_caving": 0.07094594594594594, "language": "BN", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.09121621621621621, "replacement_accuracy": 0.972972972972973, "replacement_caving": 0.060810810810810814, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9966216216216216, "baseline_caving": 0.060810810810810814, "language": "SW", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.0777027027027027, "replacement_accuracy": 0.9594594594594594, "replacement_caving": 0.04391891891891892, "tag": "gemma4_12b" }, { "baseline_accuracy": 0.9797297297297297, "baseline_caving": 0.06756756756756757, "language": "YO", "model": "Gemma-4 12B", "n": 296, "null_p": 0.02, "random_caving": 0.0777027027027027, "replacement_accuracy": 0.8783783783783784, "replacement_caving": 0.0472972972972973, "tag": "gemma4_12b" } ], "source_aggregate": [ { "accuracy_loss_pp": 7.888888888888889, "model": "Qwen2.5 7B", "reduced_targets": 14, "source": "ZH", "tag": "q25_7b", "wrong_reduction_pp": 5.511111111111112 }, { "accuracy_loss_pp": 10.68888888888889, "model": "Qwen2.5 7B", "reduced_targets": 14, "source": "AR", "tag": "q25_7b", "wrong_reduction_pp": 5.688888888888889 }, { "accuracy_loss_pp": 32.17391304347826, "model": "Llama-3.1 8B†", "reduced_targets": 13, "source": "ZH", "tag": "llama8b", "wrong_reduction_pp": 51.30434782608696 }, { "accuracy_loss_pp": 32.75362318840579, "model": "Llama-3.1 8B†", "reduced_targets": 13, "source": "AR", "tag": "llama8b", "wrong_reduction_pp": 50.82125603864735 }, { "accuracy_loss_pp": 31.08888888888889, "model": "Gemma-2 9B", "reduced_targets": 15, "source": "ZH", "tag": "gemma9b", "wrong_reduction_pp": 18.866666666666667 }, { "accuracy_loss_pp": 30.77777777777778, "model": "Gemma-2 9B", "reduced_targets": 15, "source": "AR", "tag": "gemma9b", "wrong_reduction_pp": 18.91111111111111 } ], "source_reduced": 84, "source_symmetry": [ { "accuracy_loss_pp": 4.666666666666663, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "EN", "wrong_reduction_pp": 4.333333333333334 }, { "accuracy_loss_pp": 4.333333333333334, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "DE", "wrong_reduction_pp": 5.0 }, { "accuracy_loss_pp": 5.000000000000004, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "FR", "wrong_reduction_pp": 3.9999999999999996 }, { "accuracy_loss_pp": 4.0000000000000036, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "ES", "wrong_reduction_pp": 7.000000000000001 }, { "accuracy_loss_pp": 3.6666666666666625, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "IT", "wrong_reduction_pp": 3.6666666666666665 }, { "accuracy_loss_pp": 4.666666666666663, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "PT", "wrong_reduction_pp": 1.3333333333333335 }, { "accuracy_loss_pp": 3.3333333333333326, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "ID", "wrong_reduction_pp": 4.333333333333334 }, { "accuracy_loss_pp": 5.000000000000004, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "ZH", "wrong_reduction_pp": 1.9999999999999998 }, { "accuracy_loss_pp": 4.333333333333334, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "JA", "wrong_reduction_pp": 6.000000000000001 }, { "accuracy_loss_pp": 6.333333333333336, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "KO", "wrong_reduction_pp": 7.333333333333333 }, { "accuracy_loss_pp": 9.333333333333337, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "AR", "wrong_reduction_pp": 12.333333333333336 }, { "accuracy_loss_pp": 8.666666666666668, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "HI", "wrong_reduction_pp": 12.0 }, { "accuracy_loss_pp": 8.666666666666668, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "BN", "wrong_reduction_pp": 15.999999999999998 }, { "accuracy_loss_pp": 17.333333333333336, "model": "Qwen2.5 7B", "reduced": true, "source": "ZH", "tag": "q25_7b", "target": "SW", "wrong_reduction_pp": 3.666666666666666 }, { "accuracy_loss_pp": 29.000000000000004, "model": "Qwen2.5 7B", "reduced": false, "source": "ZH", "tag": "q25_7b", "target": "YO", "wrong_reduction_pp": -6.333333333333332 }, { "accuracy_loss_pp": 5.333333333333334, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "EN", "wrong_reduction_pp": 4.666666666666666 }, { "accuracy_loss_pp": 6.000000000000005, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "DE", "wrong_reduction_pp": 4.666666666666668 }, { "accuracy_loss_pp": 8.000000000000007, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "FR", "wrong_reduction_pp": 5.0 }, { "accuracy_loss_pp": 5.333333333333334, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "ES", "wrong_reduction_pp": 7.000000000000001 }, { "accuracy_loss_pp": 5.000000000000004, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "IT", "wrong_reduction_pp": 3.6666666666666665 }, { "accuracy_loss_pp": 6.999999999999995, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "PT", "wrong_reduction_pp": 2.3333333333333335 }, { "accuracy_loss_pp": 5.333333333333334, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "ID", "wrong_reduction_pp": 3.6666666666666665 }, { "accuracy_loss_pp": 7.333333333333336, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "ZH", "wrong_reduction_pp": 1.9999999999999998 }, { "accuracy_loss_pp": 7.333333333333325, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "JA", "wrong_reduction_pp": 6.666666666666667 }, { "accuracy_loss_pp": 8.666666666666668, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "KO", "wrong_reduction_pp": 6.666666666666668 }, { "accuracy_loss_pp": 9.666666666666668, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "AR", "wrong_reduction_pp": 13.666666666666668 }, { "accuracy_loss_pp": 12.333333333333329, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "HI", "wrong_reduction_pp": 11.666666666666666 }, { "accuracy_loss_pp": 10.666666666666668, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "BN", "wrong_reduction_pp": 15.666666666666664 }, { "accuracy_loss_pp": 23.33333333333333, "model": "Qwen2.5 7B", "reduced": true, "source": "AR", "tag": "q25_7b", "target": "SW", "wrong_reduction_pp": 5.0 }, { "accuracy_loss_pp": 39.0, "model": "Qwen2.5 7B", "reduced": false, "source": "AR", "tag": "q25_7b", "target": "YO", "wrong_reduction_pp": -6.999999999999999 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "EN", "wrong_reduction_pp": 17.391304347826086 }, { "accuracy_loss_pp": 30.434782608695656, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "DE", "wrong_reduction_pp": 62.31884057971014 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "FR", "wrong_reduction_pp": 60.86956521739131 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "ES", "wrong_reduction_pp": 49.275362318840585 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "IT", "wrong_reduction_pp": 78.26086956521739 }, { "accuracy_loss_pp": 31.8840579710145, "model": "Llama-3.1 8B†", "reduced": false, "source": "ZH", "tag": "llama8b", "target": "PT", "wrong_reduction_pp": 0.0 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "ID", "wrong_reduction_pp": 66.66666666666667 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "ZH", "wrong_reduction_pp": 53.62318840579711 }, { "accuracy_loss_pp": 27.536231884057973, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "JA", "wrong_reduction_pp": 56.52173913043479 }, { "accuracy_loss_pp": 31.8840579710145, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "KO", "wrong_reduction_pp": 57.971014492753625 }, { "accuracy_loss_pp": 31.88405797101449, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "AR", "wrong_reduction_pp": 60.86956521739131 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "HI", "wrong_reduction_pp": 55.072463768115945 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "BN", "wrong_reduction_pp": 73.91304347826087 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "ZH", "tag": "llama8b", "target": "SW", "wrong_reduction_pp": 78.26086956521739 }, { "accuracy_loss_pp": 28.98550724637682, "model": "Llama-3.1 8B†", "reduced": false, "source": "ZH", "tag": "llama8b", "target": "YO", "wrong_reduction_pp": -1.4492753623188404 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "EN", "wrong_reduction_pp": 17.391304347826086 }, { "accuracy_loss_pp": 31.88405797101449, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "DE", "wrong_reduction_pp": 57.971014492753625 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "FR", "wrong_reduction_pp": 60.86956521739131 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "ES", "wrong_reduction_pp": 49.275362318840585 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "IT", "wrong_reduction_pp": 78.26086956521739 }, { "accuracy_loss_pp": 31.8840579710145, "model": "Llama-3.1 8B†", "reduced": false, "source": "AR", "tag": "llama8b", "target": "PT", "wrong_reduction_pp": 0.0 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "ID", "wrong_reduction_pp": 66.66666666666667 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "ZH", "wrong_reduction_pp": 53.62318840579711 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "JA", "wrong_reduction_pp": 53.62318840579711 }, { "accuracy_loss_pp": 31.8840579710145, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "KO", "wrong_reduction_pp": 57.971014492753625 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "AR", "wrong_reduction_pp": 60.86956521739131 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "HI", "wrong_reduction_pp": 55.072463768115945 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "BN", "wrong_reduction_pp": 73.91304347826087 }, { "accuracy_loss_pp": 33.333333333333336, "model": "Llama-3.1 8B†", "reduced": true, "source": "AR", "tag": "llama8b", "target": "SW", "wrong_reduction_pp": 78.26086956521739 }, { "accuracy_loss_pp": 28.98550724637682, "model": "Llama-3.1 8B†", "reduced": false, "source": "AR", "tag": "llama8b", "target": "YO", "wrong_reduction_pp": -1.4492753623188404 }, { "accuracy_loss_pp": 23.33333333333333, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "EN", "wrong_reduction_pp": 8.666666666666668 }, { "accuracy_loss_pp": 20.666666666666668, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "DE", "wrong_reduction_pp": 12.666666666666664 }, { "accuracy_loss_pp": 20.333333333333336, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "FR", "wrong_reduction_pp": 12.333333333333336 }, { "accuracy_loss_pp": 21.999999999999996, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "ES", "wrong_reduction_pp": 12.666666666666668 }, { "accuracy_loss_pp": 22.666666666666668, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "IT", "wrong_reduction_pp": 14.333333333333334 }, { "accuracy_loss_pp": 26.333333333333332, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "PT", "wrong_reduction_pp": 8.000000000000002 }, { "accuracy_loss_pp": 26.66666666666667, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "ID", "wrong_reduction_pp": 18.333333333333332 }, { "accuracy_loss_pp": 30.333333333333336, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "ZH", "wrong_reduction_pp": 16.333333333333332 }, { "accuracy_loss_pp": 30.666666666666664, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "JA", "wrong_reduction_pp": 27.0 }, { "accuracy_loss_pp": 37.33333333333333, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "KO", "wrong_reduction_pp": 35.333333333333336 }, { "accuracy_loss_pp": 35.66666666666667, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "AR", "wrong_reduction_pp": 21.666666666666668 }, { "accuracy_loss_pp": 42.00000000000001, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "HI", "wrong_reduction_pp": 20.666666666666668 }, { "accuracy_loss_pp": 39.33333333333333, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "BN", "wrong_reduction_pp": 32.0 }, { "accuracy_loss_pp": 34.66666666666667, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "SW", "wrong_reduction_pp": 35.0 }, { "accuracy_loss_pp": 54.333333333333336, "model": "Gemma-2 9B", "reduced": true, "source": "ZH", "tag": "gemma9b", "target": "YO", "wrong_reduction_pp": 8.000000000000002 }, { "accuracy_loss_pp": 21.666666666666668, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "EN", "wrong_reduction_pp": 9.000000000000002 }, { "accuracy_loss_pp": 24.0, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "DE", "wrong_reduction_pp": 12.333333333333332 }, { "accuracy_loss_pp": 20.999999999999996, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "FR", "wrong_reduction_pp": 12.333333333333336 }, { "accuracy_loss_pp": 21.333333333333336, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "ES", "wrong_reduction_pp": 13.333333333333334 }, { "accuracy_loss_pp": 23.33333333333333, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "IT", "wrong_reduction_pp": 14.333333333333334 }, { "accuracy_loss_pp": 26.0, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "PT", "wrong_reduction_pp": 8.000000000000002 }, { "accuracy_loss_pp": 26.333333333333332, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "ID", "wrong_reduction_pp": 19.0 }, { "accuracy_loss_pp": 29.666666666666664, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "ZH", "wrong_reduction_pp": 16.0 }, { "accuracy_loss_pp": 31.666666666666664, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "JA", "wrong_reduction_pp": 26.666666666666668 }, { "accuracy_loss_pp": 35.0, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "KO", "wrong_reduction_pp": 35.333333333333336 }, { "accuracy_loss_pp": 36.0, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "AR", "wrong_reduction_pp": 21.666666666666668 }, { "accuracy_loss_pp": 39.666666666666664, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "HI", "wrong_reduction_pp": 20.333333333333332 }, { "accuracy_loss_pp": 37.33333333333333, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "BN", "wrong_reduction_pp": 33.0 }, { "accuracy_loss_pp": 35.66666666666667, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "SW", "wrong_reduction_pp": 35.0 }, { "accuracy_loss_pp": 53.0, "model": "Gemma-2 9B", "reduced": true, "source": "AR", "tag": "gemma9b", "target": "YO", "wrong_reduction_pp": 7.333333333333333 } ], "tradeoff": [ { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen3.5 0.8B", "setting": 0, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.37383177570093906, "caving_reduction_pp": 1.7445482866043582, "kind": "Head count", "model": "Qwen3.5 0.8B", "setting": 2, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 3.738317757009346 }, { "accuracy_loss_pp": 1.3084112149532645, "caving_reduction_pp": 2.4299065420560706, "kind": "Head count", "model": "Qwen3.5 0.8B", "setting": 5, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 6.542056074766355 }, { "accuracy_loss_pp": 1.1838006230529552, "caving_reduction_pp": 3.115264797507783, "kind": "Head count", "model": "Qwen3.5 0.8B", "setting": 10, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 6.0747663551401825 }, { "accuracy_loss_pp": 1.0591900311526792, "caving_reduction_pp": 2.803738317757004, "kind": "Head count", "model": "Qwen3.5 0.8B", "setting": 20, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 4.2056074766355085 }, { "accuracy_loss_pp": -0.06230529595014911, "caving_reduction_pp": 1.0280373831775547, "kind": "Replacement strength", "model": "Qwen3.5 0.8B", "setting": 0.25, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 0.4672897196261738 }, { "accuracy_loss_pp": 0.4049844236760247, "caving_reduction_pp": 1.5264797507788086, "kind": "Replacement strength", "model": "Qwen3.5 0.8B", "setting": 0.5, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 2.336448598130836 }, { "accuracy_loss_pp": 0.7476635514018781, "caving_reduction_pp": 2.242990654205601, "kind": "Replacement strength", "model": "Qwen3.5 0.8B", "setting": 0.75, "tag": "q35_08b", "worst_language_accuracy_loss_pp": 3.738317757009346 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen3.5 2B", "setting": 0, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.3777777777777769, "caving_reduction_pp": 1.4666666666666675, "kind": "Head count", "model": "Qwen3.5 2B", "setting": 2, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 1.6666666666666718 }, { "accuracy_loss_pp": 0.33333333333334103, "caving_reduction_pp": 1.4888888888888883, "kind": "Head count", "model": "Qwen3.5 2B", "setting": 5, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 1.0000000000000009 }, { "accuracy_loss_pp": 0.39999999999998925, "caving_reduction_pp": 1.8222222222222209, "kind": "Head count", "model": "Qwen3.5 2B", "setting": 10, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 2.3333333333333317 }, { "accuracy_loss_pp": 0.48888888888888316, "caving_reduction_pp": 1.133333333333332, "kind": "Head count", "model": "Qwen3.5 2B", "setting": 19, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 2.0000000000000018 }, { "accuracy_loss_pp": 0.13333333333331865, "caving_reduction_pp": 0.6222222222222198, "kind": "Replacement strength", "model": "Qwen3.5 2B", "setting": 0.25, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 0.666666666666671 }, { "accuracy_loss_pp": 0.22222222222221255, "caving_reduction_pp": 1.1111111111111114, "kind": "Replacement strength", "model": "Qwen3.5 2B", "setting": 0.5, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 0.666666666666671 }, { "accuracy_loss_pp": 0.31111111111110645, "caving_reduction_pp": 1.266666666666666, "kind": "Replacement strength", "model": "Qwen3.5 2B", "setting": 0.75, "tag": "q35_2b", "worst_language_accuracy_loss_pp": 1.0000000000000009 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen3.5 4B", "setting": 0, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 2.355555555555533, "caving_reduction_pp": 5.666666666666664, "kind": "Head count", "model": "Qwen3.5 4B", "setting": 2, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 13.0 }, { "accuracy_loss_pp": 3.0000000000000027, "caving_reduction_pp": 10.8, "kind": "Head count", "model": "Qwen3.5 4B", "setting": 5, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 14.000000000000002 }, { "accuracy_loss_pp": 3.555555555555545, "caving_reduction_pp": 12.11111111111111, "kind": "Head count", "model": "Qwen3.5 4B", "setting": 10, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 15.666666666666663 }, { "accuracy_loss_pp": 3.155555555555556, "caving_reduction_pp": 14.266666666666664, "kind": "Head count", "model": "Qwen3.5 4B", "setting": 20, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 12.0 }, { "accuracy_loss_pp": 0.33333333333332993, "caving_reduction_pp": 2.644444444444438, "kind": "Replacement strength", "model": "Qwen3.5 4B", "setting": 0.25, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 2.6666666666666616 }, { "accuracy_loss_pp": 0.86666666666666, "caving_reduction_pp": 5.8444444444444414, "kind": "Replacement strength", "model": "Qwen3.5 4B", "setting": 0.5, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 5.333333333333334 }, { "accuracy_loss_pp": 1.5555555555555323, "caving_reduction_pp": 9.355555555555556, "kind": "Replacement strength", "model": "Qwen3.5 4B", "setting": 0.75, "tag": "q35_4b", "worst_language_accuracy_loss_pp": 7.666666666666666 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen3.5 9B", "setting": 0, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.7999999999999896, "caving_reduction_pp": 0.5555555555555549, "kind": "Head count", "model": "Qwen3.5 9B", "setting": 2, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 2.9999999999999916 }, { "accuracy_loss_pp": 0.822222222222202, "caving_reduction_pp": 0.9999999999999996, "kind": "Head count", "model": "Qwen3.5 9B", "setting": 5, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 3.6666666666666625 }, { "accuracy_loss_pp": 1.19999999999999, "caving_reduction_pp": 1.0444444444444452, "kind": "Head count", "model": "Qwen3.5 9B", "setting": 10, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 6.999999999999995 }, { "accuracy_loss_pp": 1.6444444444444262, "caving_reduction_pp": 1.7555555555555546, "kind": "Head count", "model": "Qwen3.5 9B", "setting": 20, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 7.9999999999999964 }, { "accuracy_loss_pp": -0.022222222222212373, "caving_reduction_pp": 0.28888888888888714, "kind": "Replacement strength", "model": "Qwen3.5 9B", "setting": 0.25, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 0.33333333333332993 }, { "accuracy_loss_pp": 0.3555555555555645, "caving_reduction_pp": 0.8444444444444434, "kind": "Replacement strength", "model": "Qwen3.5 9B", "setting": 0.5, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 2.9999999999999916 }, { "accuracy_loss_pp": 0.7333333333333303, "caving_reduction_pp": 1.2444444444444438, "kind": "Replacement strength", "model": "Qwen3.5 9B", "setting": 0.75, "tag": "q35_9b", "worst_language_accuracy_loss_pp": 4.666666666666663 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen3.5 27B", "setting": 0, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.04444444444443585, "caving_reduction_pp": 1.1555555555555568, "kind": "Head count", "model": "Qwen3.5 27B", "setting": 2, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 1.0000000000000009 }, { "accuracy_loss_pp": 0.24444444444444713, "caving_reduction_pp": 1.8222222222222237, "kind": "Head count", "model": "Qwen3.5 27B", "setting": 5, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 1.0000000000000009 }, { "accuracy_loss_pp": 0.31111111111110645, "caving_reduction_pp": 2.2444444444444462, "kind": "Head count", "model": "Qwen3.5 27B", "setting": 10, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 1.6666666666666607 }, { "accuracy_loss_pp": 0.5777777777777771, "caving_reduction_pp": 3.7333333333333343, "kind": "Head count", "model": "Qwen3.5 27B", "setting": 20, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 2.9999999999999916 }, { "accuracy_loss_pp": 1.1102230246251565e-14, "caving_reduction_pp": 0.9111111111111125, "kind": "Replacement strength", "model": "Qwen3.5 27B", "setting": 0.25, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 0.33333333333332993 }, { "accuracy_loss_pp": 0.06666666666665932, "caving_reduction_pp": 1.6444444444444457, "kind": "Replacement strength", "model": "Qwen3.5 27B", "setting": 0.5, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 0.666666666666671 }, { "accuracy_loss_pp": 0.2666666666666706, "caving_reduction_pp": 2.5555555555555554, "kind": "Replacement strength", "model": "Qwen3.5 27B", "setting": 0.75, "tag": "q35_27b", "worst_language_accuracy_loss_pp": 1.3333333333333308 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen2.5 3B", "setting": 0, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 11.842818428184321, "caving_reduction_pp": -8.319783197831981, "kind": "Head count", "model": "Qwen2.5 3B", "setting": 2, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 36.17886178861789 }, { "accuracy_loss_pp": 26.82926829268294, "caving_reduction_pp": -7.5880758807588045, "kind": "Head count", "model": "Qwen2.5 3B", "setting": 5, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 48.78048780487805 }, { "accuracy_loss_pp": 34.986449864498645, "caving_reduction_pp": -5.338753387533873, "kind": "Head count", "model": "Qwen2.5 3B", "setting": 10, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 50.40650406504065 }, { "accuracy_loss_pp": 58.8888888888889, "caving_reduction_pp": 6.910569105691061, "kind": "Head count", "model": "Qwen2.5 3B", "setting": 20, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 61.382113821138205 }, { "accuracy_loss_pp": 1.4363143631436426, "caving_reduction_pp": 1.0027100271002758, "kind": "Replacement strength", "model": "Qwen2.5 3B", "setting": 0.25, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 4.471544715447151 }, { "accuracy_loss_pp": 5.09485094850951, "caving_reduction_pp": 1.2466124661246636, "kind": "Replacement strength", "model": "Qwen2.5 3B", "setting": 0.5, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 17.886178861788615 }, { "accuracy_loss_pp": 21.490514905149073, "caving_reduction_pp": 3.414634146341464, "kind": "Replacement strength", "model": "Qwen2.5 3B", "setting": 0.75, "tag": "q25_3b", "worst_language_accuracy_loss_pp": 37.80487804878049 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Qwen2.5 7B", "setting": 0, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.19999999999998908, "caving_reduction_pp": 0.7555555555555551, "kind": "Head count", "model": "Qwen2.5 7B", "setting": 2, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 1.3333333333333308 }, { "accuracy_loss_pp": 1.155555555555543, "caving_reduction_pp": 2.6444444444444457, "kind": "Head count", "model": "Qwen2.5 7B", "setting": 5, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 5.000000000000004 }, { "accuracy_loss_pp": 2.333333333333354, "caving_reduction_pp": 4.044444444444446, "kind": "Head count", "model": "Qwen2.5 7B", "setting": 10, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 10.666666666666668 }, { "accuracy_loss_pp": 9.822222222222221, "caving_reduction_pp": 4.88888888888889, "kind": "Head count", "model": "Qwen2.5 7B", "setting": 20, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 31.999999999999996 }, { "accuracy_loss_pp": 0.40000000000000036, "caving_reduction_pp": 0.5111111111111094, "kind": "Replacement strength", "model": "Qwen2.5 7B", "setting": 0.25, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 2.3333333333333317 }, { "accuracy_loss_pp": 1.1333333333333306, "caving_reduction_pp": 1.5333333333333352, "kind": "Replacement strength", "model": "Qwen2.5 7B", "setting": 0.5, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 6.333333333333336 }, { "accuracy_loss_pp": 2.866666666666662, "caving_reduction_pp": 2.9333333333333345, "kind": "Replacement strength", "model": "Qwen2.5 7B", "setting": 0.75, "tag": "q25_7b", "worst_language_accuracy_loss_pp": 13.0 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Llama-3.1 8B†", "setting": 0, "tag": "llama8b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 6.08695652173914, "caving_reduction_pp": 27.342995169082123, "kind": "Head count", "model": "Llama-3.1 8B†", "setting": 2, "tag": "llama8b", "worst_language_accuracy_loss_pp": 30.434782608695656 }, { "accuracy_loss_pp": 24.444444444444468, "caving_reduction_pp": 47.14975845410628, "kind": "Head count", "model": "Llama-3.1 8B†", "setting": 5, "tag": "llama8b", "worst_language_accuracy_loss_pp": 33.333333333333336 }, { "accuracy_loss_pp": 29.75845410628023, "caving_reduction_pp": 50.72463768115942, "kind": "Head count", "model": "Llama-3.1 8B†", "setting": 10, "tag": "llama8b", "worst_language_accuracy_loss_pp": 33.333333333333336 }, { "accuracy_loss_pp": 32.27053140096622, "caving_reduction_pp": 51.20772946859903, "kind": "Head count", "model": "Llama-3.1 8B†", "setting": 20, "tag": "llama8b", "worst_language_accuracy_loss_pp": 33.333333333333336 }, { "accuracy_loss_pp": 1.8357487922705418, "caving_reduction_pp": 16.6183574879227, "kind": "Replacement strength", "model": "Llama-3.1 8B†", "setting": 0.25, "tag": "llama8b", "worst_language_accuracy_loss_pp": 15.94202898550725 }, { "accuracy_loss_pp": 8.405797101449275, "caving_reduction_pp": 42.51207729468599, "kind": "Replacement strength", "model": "Llama-3.1 8B†", "setting": 0.5, "tag": "llama8b", "worst_language_accuracy_loss_pp": 30.434782608695656 }, { "accuracy_loss_pp": 20.86956521739132, "caving_reduction_pp": 51.8840579710145, "kind": "Replacement strength", "model": "Llama-3.1 8B†", "setting": 0.75, "tag": "llama8b", "worst_language_accuracy_loss_pp": 33.333333333333336 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Mistral 7B", "setting": 0, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 4.884135472370765, "caving_reduction_pp": 26.345811051693403, "kind": "Head count", "model": "Mistral 7B", "setting": 2, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 10.160427807486627 }, { "accuracy_loss_pp": 14.22459893048128, "caving_reduction_pp": 36.96969696969697, "kind": "Head count", "model": "Mistral 7B", "setting": 5, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 14.438502673796794 }, { "accuracy_loss_pp": 14.22459893048128, "caving_reduction_pp": 36.86274509803921, "kind": "Head count", "model": "Mistral 7B", "setting": 10, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 14.438502673796794 }, { "accuracy_loss_pp": 14.22459893048128, "caving_reduction_pp": 36.86274509803921, "kind": "Head count", "model": "Mistral 7B", "setting": 20, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 14.438502673796794 }, { "accuracy_loss_pp": 2.887700534759341, "caving_reduction_pp": 16.934046345811048, "kind": "Replacement strength", "model": "Mistral 7B", "setting": 0.25, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 8.021390374331549 }, { "accuracy_loss_pp": 13.36898395721925, "caving_reduction_pp": 35.00891265597147, "kind": "Replacement strength", "model": "Mistral 7B", "setting": 0.5, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 14.438502673796794 }, { "accuracy_loss_pp": 14.22459893048128, "caving_reduction_pp": 36.86274509803921, "kind": "Replacement strength", "model": "Mistral 7B", "setting": 0.75, "tag": "mistral7b", "worst_language_accuracy_loss_pp": 14.438502673796794 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Gemma-2 9B", "setting": 0, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.1777777777777878, "caving_reduction_pp": 1.577777777777778, "kind": "Head count", "model": "Gemma-2 9B", "setting": 2, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 1.3333333333333308 }, { "accuracy_loss_pp": 1.7111111111111077, "caving_reduction_pp": 5.444444444444446, "kind": "Head count", "model": "Gemma-2 9B", "setting": 5, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 6.666666666666665 }, { "accuracy_loss_pp": 2.2222222222222254, "caving_reduction_pp": 10.155555555555553, "kind": "Head count", "model": "Gemma-2 9B", "setting": 10, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 8.333333333333337 }, { "accuracy_loss_pp": 18.64444444444443, "caving_reduction_pp": 15.933333333333334, "kind": "Head count", "model": "Gemma-2 9B", "setting": 20, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 44.99999999999999 }, { "accuracy_loss_pp": 0.24444444444445823, "caving_reduction_pp": 1.88888888888889, "kind": "Replacement strength", "model": "Gemma-2 9B", "setting": 0.25, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 2.3333333333333317 }, { "accuracy_loss_pp": 0.9333333333333416, "caving_reduction_pp": 4.133333333333333, "kind": "Replacement strength", "model": "Gemma-2 9B", "setting": 0.5, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 5.666666666666664 }, { "accuracy_loss_pp": 3.0888888888888855, "caving_reduction_pp": 7.466666666666666, "kind": "Replacement strength", "model": "Gemma-2 9B", "setting": 0.75, "tag": "gemma9b", "worst_language_accuracy_loss_pp": 14.66666666666666 }, { "accuracy_loss_pp": 0.0, "caving_reduction_pp": 0.0, "kind": "Head count", "model": "Gemma-4 12B", "setting": 0, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 0.0 }, { "accuracy_loss_pp": 0.3153153153153232, "caving_reduction_pp": -0.022522522522522292, "kind": "Head count", "model": "Gemma-4 12B", "setting": 2, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 2.0270270270270285 }, { "accuracy_loss_pp": 0.06756756756756133, "caving_reduction_pp": 0.11261261261261216, "kind": "Head count", "model": "Gemma-4 12B", "setting": 5, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 1.6891891891891886 }, { "accuracy_loss_pp": 1.418918918918921, "caving_reduction_pp": 1.1261261261261264, "kind": "Head count", "model": "Gemma-4 12B", "setting": 10, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 6.4189189189189255 }, { "accuracy_loss_pp": 3.2432432432432434, "caving_reduction_pp": 1.5765765765765771, "kind": "Head count", "model": "Gemma-4 12B", "setting": 20, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 10.135135135135132 }, { "accuracy_loss_pp": 0.6081081081081074, "caving_reduction_pp": 0.2702702702702703, "kind": "Replacement strength", "model": "Gemma-4 12B", "setting": 0.25, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 4.729729729729726 }, { "accuracy_loss_pp": 0.990990990990992, "caving_reduction_pp": 0.8108108108108115, "kind": "Replacement strength", "model": "Gemma-4 12B", "setting": 0.5, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 5.067567567567566 }, { "accuracy_loss_pp": 1.4189189189188989, "caving_reduction_pp": 1.1711711711711716, "kind": "Replacement strength", "model": "Gemma-4 12B", "setting": 0.75, "tag": "gemma4_12b", "worst_language_accuracy_loss_pp": 5.405405405405405 } ] }