Obec je uvedena v seznamu obcí olomouckého biskupství z roku 1063.
Roku 1321 obec vlastnil Jindřich z Lipé.
V roce 1436 byly Olbramovice povýšeny na městečko a byly jim přiděleny dva výroční trhy. Třetí trh byl městečku přidělen za Maxmiliána II. roku 1576. Dalším významným právem, které obec roku 1440 získala, bylo právo hrdelní. Hrdelní soud zde trval až do roku 1729, kdy byl z nařízení císaře Karla VI. zrušen a obec byla přičleněna k hrdelnímu soudu v Moravském Krumlově.Za pánů z Mírova byla v obci, ve druhé třetině 16. století vystavěna renesanční radnice. Ve stejném období byl v pozdně gotickém stylu přestavěn i farní kostel sv. Jakuba Většího. Obyvatelstvo bylo převážně německé. Vinařství v obci má svou tradici, o čemž svědčí listiny uložené ve znojemském archívu – např. osvobození Vilémem z Pernštejna od vinného desátku z roku 1827, právo udělené roku 1596 Jiřím Hodickým z Hodic šenkovat domácí vína. V roce 1827 přichází do obce jako do svého prvého působiště významný vlastenecký kněz, sběratel lidových písní, pan František Sušil. Působí zde 8 let. Roku 1908 byla vystavěna národní škola, kde byla, na žádost českých rodičů, roku 1918 otevřena první česká třída. Druhá budova školy byla vystavěna v letech 1931 – 1933. Po druhé světové válce a odsunu sudetských němců byla obec z 50% osídlena volyňskými Čechy. V roce 1947 byly obce Babice, Lidměřice, Želovice a Olbramovice sloučeny pod jeden název – Olbramovice.
