После рендера Вы решили сложить слои, но бывает ситуация, когда края слоя черные или другого цвета. Это цвет заднего фона на котором рендерился объект. На границе слоя образуются пиксельные "зубчики".
Есть два способа:
1. Первый простой но в анимации не всегда помогает. Ведь задний фон может меняться. В настройках камеры в шейп ноде, в разделе Environment укажите цвет фона и зубцы перекрасятся в цвет фона.