两年后，“文革”开始，作协被砸烂，东总布22号院也被北京市的机关接管。冰心、臧克家、张天翼、张光年、陈白尘、李季等人被关进牛棚，经常被送到13号院劳动，运家具、搞卫生。

每次出访，林绍纲要组织人员为代表团成员订做西装和中山装、准备发言稿等。按照杨朔要求，代表团出访期间，他总是留在国内负责后勤。直到1979年，才有机会第一次随团出国。

《关于实施动产和权利担保统一登记的决定印发》严文井不大参与日常事务，听汇报或者批阅公文通常只谈原则，不给具体意见。他爱猫，最多时家里养过七只。他喜欢西洋音乐，常去琉璃厂淘唱片，家里有几百张奏鸣曲和交响乐的唱片。开会时，他常偷偷给人画肖像，好友张天翼、赵树理经常成为他的素材。