Pravděpodobně nejzajímavější památkou na území obce je toleranční kostel. Jeho historie je spjata s tzv. Tolerančním patentem císaře Josefa II. z roku 1781. Ten ukončil dlouholeté pronásledování protestantů. Rok po zveřejnění tohoto patentu se ustanovuje na tehdejší Hrubé Lhotě evangelický sbor. Bohoslužby se nejprve konaly ve stodole Jiřího Fabiána. Později byl ze silných smrkových klád postaven dřevěný kostel. První bohoslužby se v něm konaly v roce 1783.
Kostel je prostý, nevytápěný, bez umělého osvětlení, bez věže. Celá stavba je kryty šindelem. Je chráněn státní památkovou péčí, a to jako jediný kostel s původními základními rysy tolerančních kostelů. Kostel je doposud v provozu a konají se v něm každonedělní bohoslužby a další obřady. Historii kostela mapuje kniha Dřevěný toleranční kostel ve Velké Lhotě Kateřiny a Pavla Křivohlavých (2003).
V letech 1875-1895 zde působil autor Broučků Jan Karafiát. Pobyt tohoto kazale připomíná i pamětní deska na budově fary. Jeho jméno nese i naučná stezka zbudovaná v posledních letech. Začíná ve Valašském Meziříčí, pokračuje přes Velkou Lhotu směrem k přehradě Bystřička, kde končí. Zde na ni navazuje druhá naučná stezka Klenov–Dušná.