武当山不能随便去的主要原因是路途遥远。武当山海拔1612米，山路崎岖艰险，需要有足够的体力和毅力才能到达山顶。此外，武当山四周山形千姿百态，景色优美，蕴含着浓厚的自然灵气。山上还有药王庙、碧霞丹君庙、真武庙等道教庙宇，展现着武当道教和太极养生文化。因此，如果不能克服困难并真正欣赏和体验这些文化和自然景观，就不能随便去武当山。