Родился в селе Мошны Малороссийской губернии Российской империи, ныне Черкасского района Черкасской области Украины. Детские годы провел в имении родителей. Учился в Нежинской, затем Киевской гимназиях, потом — в реальном училище в Москве. В 1879 году Яровой поступил в Московское училище живописи, ваяния и зодчества, где учился под руководством профессора С. С. Сорокина, и в 1888 году его окончил. Был также учеником Ильи Репина. В 1890 году учился в Австрии и Италии. Участник выставок Московского товарищества художников и Товарищества передвижных художественных выставок. Также был участником Киевского общества художественных выставок (1887—1900) и Московского союза художников (1909—1911). Из учеников самого Михаила Михайловича известен Бонгарт Сергей Романович. Работы художника находятся в Императорском Московском Румянцевском музее (дар К.Т. Солдатенкова), частных коллекциях в России и зарубежном.