본관은 경주(慶州). 자는 경춘(京春), 호는 귤산(橘山)ㆍ묵농(默農). 이조판서 계조(啓朝)의 아들이다. 1841년(헌종 7) 정시문과에 급제, 예문관검열ㆍ규장각대교를 거쳐 1845년 동지사의 서장관으로 청나라에 다녀와 의주부윤ㆍ함경도관찰사를 지냈다.

고종 초에 좌의정에까지 올랐으나 흥선대원군과 반목하여 1865년(고종 2)에 수원유수로 좌천되었다. 그러나 그해 말 다시 영중추부사로 전임되어 『대전회통』 편찬의 총재관이 되었다. 1873년 흥선대원군이 실각하자 곧 영의정이 되었고, 영중추부사로 서임되었다. 흥선대원군과 반목, 대립하였고, 세자책봉문제의 이면에서 일본과 결탁, 청나라 정부에 작용하였으며, 1875년 주청사(奏請使)의 정사로 청나라에 가서 이홍장(李鴻章)을 방문, 회견하고 세자책봉을 공작하였다.

1879년 영의정으로 있으면서 청나라 북양대신 이홍장으로부터 영국ㆍ프랑스ㆍ독일ㆍ미국과 통상수호하여 일본을 견제, 러시아를 방지하라는 요지의 서한을 받았다. 1880년 치사하여 봉조하가 되었으나 1881년 그의 개화를 반대하는 유생 신섭(申)의 강력한 상소로 거제도에 유배되었다가 곧 풀려났다.

1882년 전권대신으로서 일본변리공사 하나부사(花房義質)와 제물포조약에 조인하였다. 학문에도 능하여 『임하필기(林下筆記)』ㆍ『가오고략(嘉梧藁略)』ㆍ『귤산문고』를 남겼으며, 예서에 능하였다.