Hrad Lipý byl založen rodem Ronovců koncem 13. století v údolí řeky Ploučnice, která na svém středním toku vytváří celou řadu romantických meandrů a slepých ramen. První písemná zmínka pochází z roku 1277, kdy se po hradě píše Čeněk z Lipé. Osudy hradu jsou úzce spjaty s historií města, které pravděpodobně nechal vystavět nejslavnější z rodu Rohovců, Jindřich z Lipé. Jindřich z Lipé roku 1319 prodává zdejší slibně se rozvíjející panství svým příbuzným Berkům z Dubé, ti hrad drží až do husitských válek.

Roku 1426 byl hrad a město dobit vojsky Jana Roháče z Dubé. Lipá poté slouží husitským vojskům jako nejsevernější základna k jejich výpadům do Lužice. Správy hradu a města se ujímají husitští hejtmani. Na sklonku husitských válek hrad opanoval Zikmund Děčínský z Vartenberka, následně vypukl další konflikt, který vstoupil do dějin jako lužicko-vartenberská válka, během níž byl hrad s městem roku 1444 obsazen, tentokrát vojskem lužického Šestiměstí a poté předán Jindřichovi Berkovi z Dubé.

V 16. století byl hrad přestavěn na zámek. Roku 1502 dochází k dělení Berkovského majetku na čtyři díly. Město Lipá i hrad jsou rozděleny na čtvrtiny, část tohoto majetku postupně získává rod Vartenberků. V 16. století tedy na hradě sídlí dva rody, a tak tomu je až do roku 1591, kdy paní Kunhuta Berkovna skupuje druhou polovinu hradu. Posledním z Berků, který na hradě sídlil, byl pan Adam Berka, vnuk paní Kunhuty. Umírá roku 1607. Zámek v Lipé se nakrátko dostává do držení saského rodu Salhauzenů. Těm je však majetek roku 1620 zabaven pro účast na stavovském povstání.

Po bitvě na Bílé hoře zámek a město skupuje jako konfiskáty vojevůdce Albrecht z Valdštejna, ten přesouvá správu panství na Nový Zámek v nedalekých Zahrádkách. Hrad Lipý přestává být sídlem šlechty a pomalu chátrá, ale ještě roku 1778, při manévrech "bramborové války", zde poobědval císař Josef II. se svými generály Laudonem a Lascym, tím však slavná historie hradu Lipý končí.

V roce 1820 vypukl ve městě ničivý požár, který zachvátil i staré panské sídlo. V 19. století je chátrající areál hradu pronajímán a poté přestaven na továrnu, rafinérii cukru. Za německé okupace byla sice snaha hrad opravit a zpřístupnit, ale práce byly pro nedostatek peněz zastaveny. V únoru roku 1957 je hlavní zámecká budova z příkazu Národního výboru odstřelena. Celý areál poté řadu let pustne a upadá v zapomnění.

V roce 1992 je zahájen rozsáhlý archeologický průzkum, ten přinesl překvapující poznatky o počátcích osídlení České Lípy a stavebně historickém vývoji tohoto panského sídla. Současně probíhají práce na rehabilitaci celého areálu.

Dominantou hradu je mohutná hradba s renesančním oknem a dvě branské věže. Na nádvoří si návštěvníci mohou prohlédnout základy útočiště věže, takzvaného bergfritu, ten patří spolu se základy středověkého srubu a pece k nejstarší vývojové fázi hradu odkryté archeologickým průzkumem. Z hlavní zámecké budovy se zachovaly unikátní gotické sklepy druhé poloviny 14. století, které jsou nádhernou ukázkou stavebního umění dřívějších mistrů.

Od června roku 2003 je hrad přístupný široké veřejnosti. V současné době je pro návštěvníky připraven prohlídkový okruh, který umožňuje prohlídku nádvoří s prezentací pozůstatků hradní architektury, návštěvu unikátních hradních sklepení s drobnou ukázkou archeologických nálezů, jediné dochované stavby hradu Lipý - branské věže kde je instalována expozice připomínající život na hradě Lipý na přelomu 19. a 20. století. Prohlídka je s odborným výkladem průvodce.

V těsném sousedství se nachází Centrum textilního tisku, muzeální expozice, která nabízí návštěvníkům možnost seznámit se interaktivní formou s historií kartounkářství v České Lípě a možnostmi potiskování textilu.

Za pozornost bezesporu stojí také budova půvabného renesančního letohrádku, zvaného Červený dům, postavený Jiřím Jetřichem Berkou roku 1583 na místě bývalého předhradí a také nedaleký kostel Sv. Kříže, spojovaný s účastí parléřovské stavební huti.

Hrad Lipý se nalézá v historickém centru města a je součástí městské památkové zóny, nádvoří hradu slouží také jako scéna pod širým nebem pro kulturní akce.