第十六条依法确定给单位和个人使用的国有林地或承包经营的集体林地，有下列情形之一的，由县级以上林业主管部门或发包单位收回或变更林地使用权或承包经营权： 

　　（一）无特殊原因，连续两年荒芜的； 

　　（二）未经批准，用于非林业生产建设的。 

在你收获后，他可以收回。

如一时不能收获，你应与他协商，支付租金。