不能上山。

因为磐安高佬山受地理环境限制，交通不便，公共交通只到山脚下，想要游览山顶必须步行或者乘坐观光车上山，但是观光车也只能到达山中部的停车场，无法直接到达山顶。

因此，40坐大巴不能直接上山。