法律依据~《合同法》第190条规定，借款合同是借款人向贷款人借款人借款，到期返还借款并支付利息的合同。另外还规定，自然人之间的借款合同对对利息没有约定，或者约定不明确的，视为不支付利息。换句话说，即便你朋友起诉到法院，法院是不会支持的。
第二，从情理上讲，你朋友能拿出20万给你那么久，占用了快四年，他损失至少是五年定期存款利息，暂且按照每年五个点计算，找你要四万真的是不多，也真的该给，你去看看现在融资成本有多高。
第一种情况，当时确实没有约定，并且你提出来要给利息，但是你朋友当时跟你关系好过现在并且一口说道不用不用，那现在回过头要给，要的也不过分，如果你手头紧张，商量下，看看能不能给三万或者两万。第二种情况，没有确定，双方也没有提利息的事，我觉得可能是你朋友碍于情面不好意思提出来，以为你是懂事之人，但从你现在的表现看，确实有点不懂事，现在人家家里人可能有意见，提出要利息完全正当！建议再难也要给，再请人家吃顿大餐。第三种情况，你曾经也不计代价帮助过这个朋友，付出过很多，如果这种情况，你跟他当面锣对面鼓掰扯一下，如果大度一点，摔点钱不在来往即可。