Jugoistočno od centra grada, formirala se mahala Lipa. Postoji predanje da je hadži Džafer sagradio džamiju i usadio lipu pod kojom su ljudi hladovali i da je po toj lipi mahala dobila naziv. U tom slučaju, nameće se pitanje kako se mahala zvala ranije. Moguće je, da je bila neka lipa prije formiranja naselja pokojoj je dobilo naziv.U svakom slučaju, toponim nedvojbeno ukazuje da je naselje dobilo naziv po lipi.
Nije poznato kada se formirao džemat ovog naselja. Predpostavlja se da se na mjestu današnje hadži džaferove džamije nalazio mesdžid još u vremenu Časne džamije u 16. stoljeću. Džamija na Lipi se prvi put spominje negdje krajem osmanske vlasti, kao Hadži Džaferdžamija. Inače, džamija je uobičajenog mahalskog tipa, veoma skromnih dimenzija, i ne zadovaoljava potrebe naraslog džemata koji broji oko 800 domaćinstava.Mnoge džematlije ovog džemata klanjaju džuma-namaze pa i bajram-namaze u susjednoj Šarenoj Džamiji.
Kao što je bio slučaj i sa ostalim džamijama, zbog društveno historijskih prilika nakon pada osmanske vlasti, i ova džamija je došla do ruševnog stanja. Srušena je u potpunosti 1935. godine a na njenom mjestu izgrađena je nova džamija, drvene konstrukcije i popunom od cigle. Ponovo je obnavljena 1966. a svečano je otvorena 1967. godine. Tijekom vremena napravljeni su još neki zahvati. Neposredno, poslije rata izgrađena je veranda u koju su ugrađeni obrađeni drveni stubovi koji su držali mahfil u Bijeloj džamiji. Veranda koristi kao zaštita ulaza u džamiju, mjesto gdje džematlije sjede dok čekaju namaz a budući da je zastrta koristi i za klanjače džumom i bajramima.
Svojevremeno su se u džamiji obavljal noćni namazi jer se stanovništvo Lipe, uglavnom bavilo poljoprivredom. Kasnije kada je poljoprivreda prestala biti glavna djelatnost počelo se klanjati svih pet dnevnih namaza. Od kako se pamti, u džamiji su se klanjale džume-namazi i bajram-namazi.
Nedavno je džamija stavljena na listu zaštićenih kulturno-historijskih spomenika što predstavlja pomalo problem za džematlije. Bilo kakvi zahvati na džamiji su zabranjeni bez dozvole Zavoda za zaštitu spomenika a džamija dolazi u sve trošnije stanje. Budući da svojom veličinom ne zadovoljava potrebe džemata, sve češće se govori o gradnji nove i veće džamije na drugoj lokaciji. Ovim bi stara džamija ostavljena na milost i nemilost zubu vremena i Zavodu za zaštitu kulturno-historijskih spomenika. Kada će se sjetititi i staviti je na listu restauracije ostaje da se vidi.U savakom slučaju, ona je već sada u veoma trošnom stanju. Već su džematlije zabrinute da bi materijal koji otpada sa munare mogao nekoga i ozlijediti.
Pokrenuta je zajednička inicijativa Medžlisa i Općine prema Federalnom ministarstvu za prostorno uređenje u cilju njene obnove. Ostaje da se čeka.
Poznati imamai koji su službovali u ovoj džamiji su imami iz familija Grbešić i Naimkadić. U toku Drugog svjetskog rata, imamsku dužnost je obavljao Halil ef. Pezelj. Poslije Drugog svjetskog rata, dugo je imamsku dužnost u ovom džematu obavljao Hasib ef. Čamdžić. Iza njega, 1990. godine, dolazi Omer ef. Spahić gdje ostaje kao imam sve do 2012. godine kada je penzionisan. Na njegovo mjesto je došao mladi imam, svršenik FIN-a u Sarajevu, Muhidin ef. Topčagić.
Današnji glavni imam džemata Lipa je Miralem ef. Golać.
