Zusammen mit dem Nachbardorf Palasa gilt Dhërmi als nördlichstes Dorf in Albanien mit griechischer sprechende Bevölkerung, die hier sogar die Mehrheit stellt. Sie sprechen einen lokalen griechischen Dialekt und beherrschen auch Albanisch. Die Bevölkerung ist großteils orthodox. Ihre Herkunft ist nicht geklärt, wie Sie Albanisch benutzen, wan ihre Angehörigen trauern oder während der Hochzeitsfeier.
Die ersten Besiedler des Gebiets von Himara waren in der Antike die Chaonier, die 214 v. Chr. von den Makedonen unter Philipp V. von Makedonien angegriffen und erobert wurden. Nach dem Untergang des Römischen Reichs folgten wechselvolle Jahre: unter den Bulgaren, unter den Balsha, kurze Zeit unter den Arabern (Al-Evra) und später unter den Normannen. Das Gebiet – damals viel dichter besiedelt als heute – genoss eine gewisse Unabhängigkeit von der osmanischen Zentralmacht. 1797 band Tepelenli Ali Pascha das Gebiet unter seiner Herrschaft ein. 1912 wurde Dhërmi Teil des neuen albanischen Staates. Doch im März 1914 erklärte sich die Region als autonom. In den 1960er Jahren wurden einzelne touristische Einrichtungen für die kommunistische Elite des Landes erbaut. Nach 1990 emigrierte der Großteil der Einwohner nach Griechenland.
In den letzten Jahren wurde die touristische Infrastruktur von Dhërmi stetig ausgebaut, und die Zahl der Urlauber vor allem aus den anderen Teilen des Landes, doch auch aus den Nachbarländern, steigt laufend. Es handelt sich primär um Badetouristen, die das klare Meer schätzen. Außerdem wurden alle Verbindungsstraßen von Dhërmi nach Vlora und Saranda erneuert und ausgebaut.
In Dhërmi soll es 31 Kirchen und Klosterbauten geben, die zum Teil mit aufwendigen Fresken ausgestattet sind. Einige können noch heute besucht werden, obwohl sie zum Teil in schlechtem baulichen Zustand sind. Zu den berühmtesten zählt die Marienkirche (alb. Shën Mëri) aus dem 13. und 14. Jahrhundert, die Kirche der Hypapante (Ipapandia) aus dem 18. Jahrhundert und Shën Stefani mit Bauteilen aus verschiedenen Epochen.
