将窗外的小蜂窝是否要清除是需要考虑多方面因素的。首先，当蜜蜂对人们无害时，如果期望收获蜂蜜或者促进花草植物的生长，清除蜂窝显然不是一个好的选择。

然而，如果您或者附近的居民对蜜蜂过敏，或者蜂窝建立在易激怒的地方（如出入口），清除蜂窝可能是比较明智的选择。

此外，如果蜂窝建立在居住区或公共场所，消防、警方或者防疫部门的规章可能要求清除蜂窝，以确保公共安全。总之，清除蜂窝还是要根据具体情况考虑，谨慎做出决定。