Le bail de résidence secondaire n'est soumis à aucune règle légale en matière de durée de sorte qu'il doit être respecté jusqu'à son terme, sauf accord des parties ou sauf clause contractuelle expresse. Ceci dit, la destination de résidence principale ou secondaire est une question de fait à apprécier par le juge. Il se pourrait donc, si c'est le cas, que vous puissiez soutenir qu'en réalité c'est bien un bail de résidence principale. Cependant, même dans ce cas, la loi ne prévoit pas la possibilité pour le locataire de résilier anticipativement, sauf clause expresse dans le contrat.
Vous devrez donc rester jusqu'au bout, à moins de vous arranger avec votre propriétaire.