Jako, że wymienniki cieplne mają służyć albo ogrzewaniu, albo chłodzeniu konkretnego środowiska, ważne jest, by były one budowane z odpowiedniego materiału. Najczęściej dba się o to, żeby było to tworzywo będące dobrym przewodnikiem ciepła. Dodatkowo, można stosować rozwiązania pomagające w zwiększeniu powierzchni wymiany ciepła. Najczęściej w tym celu wykorzystuje się, tak zwane, ożebrowanie wymienników.
Powszechnie wykorzystywane materiały na wymienniki cieplne to różnorodne metale. Grzejniki mogą być wykonane ze stali lub aluminium. Chłodnice często muszą być produkowane z nieco twardszych i bardziej wytrzymałych metali. Bardzo ważne jest to, żeby wszystkie one były odporne na czynniki zewnętrzne. Muszą być na tyle solidne, żeby żadna substancja nie przedostała się na zewnątrz. Dzięki temu, całość może prawidłowo funkcjonować.
Oprócz tego, powszechnie stosowane materiały do produkcji wymienników cieplnych to blacha mosiężna lub miedziana. Wszelkie mocne i nieprzepuszczalne tworzywa są dobre do tego, by tworzyć z nich systemy rur i konkretne urządzenia umożliwiające wymianę ciepłą. Wysoka temperatura topnienia i łatwość przewodzenia cieplnego to ich najważniejsze właściwości.
Dobór materiałów do tworzenia określonego wymiennika cieplnego zależy od tego, jaką konkretną funkcję ma on pełnić. Inne będą tworzywa, z których wykonuje się urządzenia wypełniane substancją o wysokiej temperaturze, a odmienne będą te służące do chłodzenia. Dzięki temu, mamy pewność, że całość będzie działa sprawnie i nie ulegnie zbyt szybkiemu zniszczeniu.