발생할 수 있는 도덕적 문제

자율 시스템이 실패할 때 누가 책임을 질 것인가?

일레인 헤르츠버그는 2018년 3월 18일 밤 애리조나주 템페에서 자율주행 우버차에 치여 사망했다. 헤르츠버그는 자전거를 타고 길을 건너던 중 자율모드로 운행하던 차량이 자신의 움직이는 몸을 피해야 할 대상으로 정확하게 분류하지 못했다. 자율주행차를 감시하는 임무를 맡은 백업 안전운전사 라파엘라 바스케스는 허즈버그가 길을 건너는 것을 보지 못했다. 우버는 사고와 허즈버그의 사망에 이어 9개월 만에 공용도로에서 차량 테스트를 재개했고, 이후 모든 범죄사실이 무혐의 처리됐다. 2년여가 지난 지금도 자율주행차 안전운전자 바스케스는 차량 과실치사 혐의를 계속 받고 있다. 우리 세계에 더 많은 자율적이고 인공지능 시스템이 작동하면서 책임과 책임의 문제를 해결해야 할 필요성이 분명해졌다. 다만 우버 자율주행 사고 결과가 앞에 놓여 있는 것의 전조라면 우려할 만한 원인이 있다. 라파엘라 바스케스만 책임지는 것이 적절한가? 기술을 개발하고 배치한 배우 우버도, 애초에 시험이 실시되도록 허용했던 애리조나 주도 책임지지 않을 것인가? 특히 바스케스는 '루프 속의 인간'으로, 백업 드라이버로서의 역할은 자율적이긴 하지만 반드시 100% 정확하지는 않았다고 했다. 그러한 역할은 점점 더 흔해지고 있는데, 인간들은 자동화된 기술의 "어려운 가장자리를 매끄럽게 넘어야 한다"는 것이다. 학자들은 미디어 플랫폼에서 온라인 배달 서비스에 이르기까지 지능형 시스템이 "지능적으로" 운영되도록 하는 데 필요한 무수한 형태의 인간 노동력을 계속 문서화하고 있다. 동시에 인간을 루프에 묶어 두는 원칙은 안전성과 책임성을 보장하고, 인적 기관을 강화하기 위한 방안으로 자주 요구되고 있다. 예를 들어, 인체 기관과 감시의 중요성은 AI 시스템 통제에 관한 유럽연합 백서의 핵심 주제다. 그러나 백업과 감독자로서 인간으로서의 역학관계는 기계가 할 수 있는 일의 용량과 능력을 지속적으로 과대평가하고 기술이 우리 세계에서 효과적으로 작동하도록 하는 데 있어 인간의 중요한 역할을 과소평가하는 오랜 자동화의 역사 속에서 공존하고 있다. 인간의 감시는 미래의 인공지능 시스템이 인간의 존엄성과 기본권을 강화하도록 보장하는 중요한 단계지만, 그것은 간단한 해결책이 아니다; 인간이 어떻게 "루프"에 위치하는지 그리고 그들이 행동할 수 있는 권한을 부여받는지 혹은 박탈당하는지 여부가 매우 중요하다. 인간과 인공지능의 협업을 위한 올바른 설계와 인증 방법을 찾는 것은 인공지능 시스템의 책임 있는 혁신과 정부가 직면한 주요 과제 중 하나가 될 것이다. 이러한 과제들 중 많은 것들이 새로운 것이 아니다. 미래의 위험을 예상하는 것에 관해서는 자동화의 역사에서 배울 것이 많다. 예를 들어, 20세기 초부터 인간 자동화 시스템의 역학을 개선해 온 항공의 안전에 중요한 산업을 생각해 보자. 우리가 이 역사의 일부분을 조사함으로써 무엇을 배울 수 있을까? 나와 내 동료가 이 주제에 대한 연구 프로젝트를 시작했을 때, 우리는 일종의 시범 자율 시스템으로 삼은 항공 오토파일럿의 도입으로 미국의 맥락에서 책임과 책임의 개념이 어떻게 바뀌었는지 이해하는데 관심이 있었다. 법정 사례와 항공사고를 둘러싼 공식 정부 및 보도 내용을 검토해 항공 오토파일럿 관련 사고 이력을 살펴봤다. 우리는 분석을 통해 법적 책임과 책임에 대한 개념이 기술의 진보와 보조를 맞추지 못했다는 결과적 패턴을 발견했다. 물론 법률학자들은 법원과 정치가 혁신에 뒤처지는 경향이 있는 방법에 대해 지적해 왔지만, 우리의 연구 결과는 그러한 지연의 특별한 결과를 부각시켰다. 비행에 대한 통제가 점점 자동화된 시스템으로 옮겨지는 동안, 비행에 대한 책임은 조종사의 수치에 집중되어 있었다. 자동화된 시스템들이 더 많이 의존되고 있는 동안, 가장 가까운 인간 운영자들은 소위 말하는 "완벽한" 기술의 사고와 단점 때문에 비난을 받고 있었다. 책임의 귀속성과 시스템에 대한 물리적 통제가 복잡한 시스템 전체에 걸쳐, 그리고 시공간에서 복수의 행위자에 걸쳐 실제로 어떻게 분배 되었는가는 상당한 불일치가 있었다. 우리는 이것을 도덕적 구렁텅이 영역이라고 불렀는데, 이는 복잡하고 고도로 자동화된 또는 자율적인 시스템에 위태로운 통제와 책임의 분산에 주의를 환기하는 방법으로서, 때로는 불공평할 때도 있다. "자동차의 구불구불한 구역이 충돌 시 충격의 힘을 흡수하도록 설계되었듯이, 고도로 복잡하고 자동화된 시스템에 있는 인간은 전체 시스템이 오작동할 때 도덕적, 법적 책임의 타격을 받는 단순한 구성 요소가 될 수도 있다." 도덕적 구렁텅이 구역이라는 개념은 희생양에 대해 말하는 화려한 방법 그 이상이다. 이 용어는 규제에서 벗어날 수 있는 잠재적 해악과 실패 모드에 대해 말하기 위한 언어를 제공한다. 이 용어는 복잡한 자동화 및 자율 시스템의 실패에 대한 책임이 실제 통제가 제한된 인간 운영자에게 잘못 귀속되는 특정한 방식에 주의를 환기하기 위한 것이다. 이와 같이 기술적 구성요소는 결함이 없고 논란의 여지가 없는 상태로 유지되는 반면, 인간 운영자는 약한 고리로서 고립된다. 인간 운전자를 보호하기 위해 만들어진 자동차의 크럼플 존과 달리 도덕적인 크럼플 존은 이 역동성을 역전시켜 인간 운전자의 희생으로 무결점 기술에 대한 인식을 그대로 유지할 수 있게 한다. 이 연구는 1979년 스리마일섬 원자력 발전소의 부분적인 용융과 2009년 에어버스 에어 프랑스 사고를 포함한 도덕적인 구렁텅이 구역의 다른 역사적 사례들을 조사했다. 각각의 경우, 인간의 실수와 운영자의 감독 실패에 초점을 맞춘 일반적인 서술과 설명이 있었다. 그러나 이러한 실패의 본질은 기술적 시스템의 한계와 수십 년 동안의 인적 요인 연구의 맥락에서 볼 때 다른 빛을 띤다. 예를 들어 제어실 운영자가 발전소 운영을 감시할 책임이 있는 동안 부분적인 핵 용해의 경우 제어실 표시장치 설계는 시스템의 모든 물리적 조건을 적절하게 나타내지 못했다. 인간 운영자는 고장자의 일부에 대한 정보를 가지고 있지 않았고 확인할 수 없었다.es 발전소 다른 곳에서 발생한다. 에어버스 추락사고의 경우 조종사들이 저지른 치명적인 오류 중 하나가 자동화에 대한 의존도가 높아지면서 발생한 것일 가능성이 가장 높다. 두 사고는 모두 리산느 베인브리지가 "자동화의 아이러니"라고 부른 것을 강조한다. 실제로 자동화는 인간의 실수를 제거하지 않는다. 대신에 새로운 종류의 오류의 기회를 만들어낸다. 높은 주의가 필요한 기술 분야라는 점에는 아무도 이견이 없을 것이다.