需要与担保人协商解除协议。

一般来说，解除担保协议需要经过两个步骤，首先需要与借款人协商解除，如果借款人同意解除，则需要向担保人提出申请。

如果担保人同意解除，则需要进行书面协议签署，否则需要通过法律途径进行解除。

需要注意的是，担保协议的解除可能会产生一定的违约金或其他费用，需要提前了解清楚。