Я думаю так:
Если чел знает, что "поход налево" не нравится его половине и все равно идет - это и есть поступок, который причиняет боль близкому. Это не есть хорошо. Это и есть измена.
Если оба считают такие походы нормой - то нет и измены. Просто они ТАК решили.
Тут важно, чтобы ОБА понимали, что они хотят, а чего нет. И УВАЖАЛИ мнение и желания друг друга. В противном случае - ЗАЧЕМ быть вместе?

Особое место - "походы налево" из полной семьи. Т.к. тут уже не только мнение двоих. Мнение детей у нас редко спрашивают, но ведь и пренебрегать им не стоит.