当冬天雨刮器被冻住时，可以尝试以下步骤：

1. 保持温暖：在刮水器冻住的情况下，强行启动可能会损坏刮水器。因此，需要等待环境温度上升，通常需要几个小时。可以通过打开车内的暖风空调来提高车内温度。

2. 使用温水：在等待期间，可以用温水浇在刮水器上，但不要使用热水，以免损坏刮水器。

3. 手动处理：当环境温度上升到一定程度时，可以手动清理挡风玻璃上的冰雪。使用刮雪工具时，应避免过度用力，以免刮伤玻璃或刮水器受损。

如果尝试以上步骤后仍然无法使用刮水器，建议寻求专业帮助。不要尝试使用蛮力或使用错误的方法来解冻，这可能会导致更严重的损坏。