* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 1, "n_threads_batch": 1, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000001, "speed_pp": 0.000000, "t_tg": 433.842865, "speed_tg": 4.720603, "t": 433.842865, "speed": 4.720603}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_0 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 2, "n_threads_batch": 2, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 217.284943, "speed_tg": 9.425411, "t": 217.284943, "speed": 9.425411}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_1 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 4, "n_threads_batch": 4, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000001, "speed_pp": 0.000000, "t_tg": 109.303223, "speed_tg": 18.736868, "t": 109.303223, "speed": 18.736868}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_2 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 8, "n_threads_batch": 8, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 55.407543, "speed_tg": 36.962475, "t": 55.407543, "speed": 36.962475}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_3 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 16, "n_threads_batch": 16, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000001, "speed_pp": 0.000000, "t_tg": 28.686203, "speed_tg": 71.393204, "t": 28.686205, "speed": 71.393204}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_4 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 24, "n_threads_batch": 24, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 22.302263, "speed_tg": 91.829247, "t": 22.302263, "speed": 91.829247}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_5 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 32, "n_threads_batch": 32, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 17.844374, "speed_tg": 114.770065, "t": 17.844374, "speed": 114.770065}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_6 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 40, "n_threads_batch": 40, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 15.705319, "speed_tg": 130.401672, "t": 15.705319, "speed": 130.401672}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_7 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 48, "n_threads_batch": 48, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 14.033323, "speed_tg": 145.938339, "t": 14.033323, "speed": 145.938339}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_8 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 56, "n_threads_batch": 56, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 13.051740, "speed_tg": 156.913940, "t": 13.051740, "speed": 156.913940}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9
To display your profiling results:
###########################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
###########################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_9 #
###########################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 64, "n_threads_batch": 64, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 11.463755, "speed_tg": 178.650024, "t": 11.463755, "speed": 178.650024}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10
To display your profiling results:
############################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
############################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_10 #
############################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 72, "n_threads_batch": 72, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 12.634808, "speed_tg": 162.091904, "t": 12.634808, "speed": 162.091904}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11
To display your profiling results:
############################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
############################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_11 #
############################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 80, "n_threads_batch": 80, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 10.574624, "speed_tg": 193.671188, "t": 10.574624, "speed": 193.671188}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12
To display your profiling results:
############################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
############################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_12 #
############################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 88, "n_threads_batch": 88, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 11.334876, "speed_tg": 180.681290, "t": 11.334876, "speed": 180.681290}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13
To display your profiling results:
############################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
############################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_13 #
############################################################################################################################################################################################################################################
* [MAQAO] Info: Detected 1 Lprof instances in ip-172-31-35-140.ec2.internal.
If this is incorrect, rerun with number-processes-per-node=X
{"n_kv_max": 16384, "n_batch": 2048, "n_ubatch": 512, "flash_attn": -1, "is_pp_shared": 0, "n_gpu_layers": -1, "n_threads": 96, "n_threads_batch": 96, "pp": 0, "tg": 128, "pl": 16, "n_kv": 2048, "t_pp": 0.000000, "speed_pp": nan, "t_tg": 11.109416, "speed_tg": 184.348129, "t": 11.109416, "speed": 184.348129}
Your experiment path is /home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14
To display your profiling results:
############################################################################################################################################################################################################################################
# LEVEL | REPORT | COMMAND #
############################################################################################################################################################################################################################################
# Functions | Cluster-wide | maqao lprof -df xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Functions | Per-node | maqao lprof -df -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Functions | Per-process | maqao lprof -df -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Functions | Per-thread | maqao lprof -df -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Loops | Cluster-wide | maqao lprof -dl xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Loops | Per-node | maqao lprof -dl -dn xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Loops | Per-process | maqao lprof -dl -dp xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
# Loops | Per-thread | maqao lprof -dl -dt xp=/home/eoseret/Tools/QaaS/qaas_runs/ip-172-31-35-140.ec2.internal/Q8/TG/TG128_B16_Q8/llama.cpp/run/oneview_runs/multicore/gcc_2/maqao_2025-11-26_15-03-18/tools/lprof_npsu_run_14 #
############################################################################################################################################################################################################################################
