Computing and Moral Responsibility: Stanford Encyclopedia of Philosophy

Computing and Moral Responsibility

Introduction

도덕적 책임(moral responsibility)에 관한 전통적인 철학적 논의는 도덕적 행위의 인간적 요소에 집중했습니다. 도덕적 책임을 어떻게 부여할 것인가는 잘 정의되고 직접적인 결과를 낳는 행위를 수행하는 인간 행위자에 관해 기술해 왔습니다. 점차 기술화되어 가는 오늘날의 사회에서 인간 행동을 기술적 인공물 없이 이해하기는 어려우며, 도덕적 책임감을 부여하는 것은 점차 복잡해지고 있습니다(요나스 1984; 웰버스 2009).1 우리가 상호작용하는 인공물은 우리의 결정과 어떻게 그 결정을 내리는지에 영향을 미칩니다(라튀르 1992). 그들은 특정한 인간의 지각 과정, 행위, 태도를 설득하고, 촉진하고, 가능하게 하며, 제한하고, 단념시키고, 금지합니다. 예를 들어, 인터넷 검색 엔진은 정보를 특정 순서로 제시하여 우선권을 부여하며, 인터넷 사용자가 보는 것에 영향을 미칩니다. 베어벡이 지적한 것처럼, 기술적 인공물은 “능동적 매개자”로 “세계에서 사람들의 존재를 능동적으로 공동 형성한다. 그들의 지각과 행위, 경험과 존재를 말이다” (2006, 364쪽). 능동적 매개자인 그들은 인간 행위의 성격을 바꾸고 그 결과로 어떻게 도덕적 책임을 나눌 것인가에 관한 전통적인 개념에 도전합니다(요나스 1984; 존슨 2001).

컴퓨터는 도덕적 책임에서 기술의 역할을 이해하는 데 있어 특별한 사례를 제시합니다. 기술이 매일의 활동에 점차 통합되어 가고, 더 많은 의사 결정 과정을 자동화하고 사람들이 소통하고 관계 맺는 방식을 변화시켜 가면서, 그들은 도덕적 책임 기인이라는 원래부터 문제적인 일을 더 복잡하게 만듭니다. 컴퓨터 기술이 더 일상생활에 침투할수록, 기술의 복잡성과 그 가능성의 확장은 새로운 종류의 질문을 제기하게 됩니다. 인터넷에 올라온 정보에는 누가 책임을 져야 하는가? 전자 기록이 없어지거나 오류가 발생한 경우 누구 책임일까요? 컴퓨터 기술 개발자는 생산물의 의도치 않은 결과에 관해 얼마만큼, 또 언제까지 책임을 져야 할까요? 컴퓨터 기술이 점차 복잡해져 가고 자율성이 커져가는 상황에서, 인간은 기술의 행위에 관해 여전히 책임을 져야 할까요?

1. Challenges to moral responsibility

도덕적 책임은 인간 행위와 그 결과에 관한 것입니다. 일반적으로 한 사람이나 집단은 그들의 자발적 행위가 비난하거나 칭찬할만한 도덕적으로 유의한 결과를 일으키는 경우 도덕적으로 책임을 집니다. 따라서, 우리는 물에 빠진 사람을 보았을 때 물속에 뛰어들어 다른 사람을 구하려고 한 사람의 도덕적 책임에 관해 숙고합니다. 만약 그 사람이 물에서 사람을 건졌다면 우리는 그를 칭찬할 것이고, 그가 도움을 거절했으면 비난할 것입니다. 도덕적 책임을 부여하는 것은 사람이나 집단(주체)과 주체의 행위의 영향을 받은 누군가 또는 무엇(대상) 사이를 연결 짓는 것입니다. 이것은 후향적으로도, 전향적으로도 이뤄질 수 있습니다. 때로 책임 부여는 사고에서 잘못한 것이 누구이며 누가 처벌받아야 하는지를 설명합니다. 또, 한 사람이 미래에 만족시켜야 할 책무와 의무를 결정하고 무엇을 해야 할지에 관해 전향적으로 따져 볼 수도 있습니다.

그러나, 도덕적 책임을 적절하게 부여하는 것이 항상 명확하지는 않습니다. 한편 개념은 다양한 의미를 지니고 있으며, 도덕적 책임을 다른 종류의 책임과 나누는 것은 무엇인지에 관한 논쟁은 계속되고 있습니다(하르트 1968). 이 개념은 얽혀 있고, 때로 설명 책임(accountability), 법적 책임(liability), 비난 가능성, 역할 책임, 인과성의 개념과 중첩되곤 합니다. 도덕적 책임의 기인을 보장하는 조건이 무엇인지에 관한 의견도 다릅니다. 자유 의지를 가진 행위자가 요청되는지 아닌지, 인간 만이 도덕적 책임을 부여받는 유일한 존재인지와 같은 문제에서 말이죠.

반면, 주체와 대상을 직접적으로 연결 짓기가 어려울 때가 있습니다. 인간 행동에 복잡성이 끼어든 경우인데요, 특히 오늘날의 기술 사회에서 자주 나타납니다. 개인과 기관은 일반적으로 사회기술적 시스템 속에서 행위하며, 그들의 수행은 인간과 기술 요소로 나뉩니다. 두 요소는 상호 의존적인 방식으로 영향을 미칩니다. 증가하는 기술적 복잡성은 누구, 또는 무엇의 ‘책임인가’를 정하는 것을 더 어렵게 만듭니다. 무언가 잘못되었을 때, 예상 결과에 관한 후향적 설명에 있어 시스템이 복잡할수록, 책임 부여는 더 어려워지게 됩니다(존슨과 파워스 2005).

컴퓨터 기술이 점차 퍼지면서, 어떤 도덕적 책임을 수반하며 어떻게 부여하는 것이 적절한지에 관하여 여러 난문이 제기되고 있습니다. 컴퓨터가 책임 부여를 어떻게 복잡하게 만드는지를 설명하기 위해, 우리는 누군가가 책임이 있다는 것의 의미 밑에 깔린 조건들을 따져보아야 합니다. 관련 문제에 관해 철학적 논쟁이 계속되고 있지만, 대부분의 도덕적 책임에 관한 분석은 다음 세 가지 조건을 공유하고 있습니다(에셸먼 2009; 요나스 1984).

  1. 사람과 행위의 결과 사이에 인과적 연결이 있어야 한다. 사건의 결과를 통제할 수 있었다면, 그 사람이 모든 책임을 진다.
  2. 주체는 행위의 결과에 관한 지식을 가지고 있으며, 그 가능성을 따져볼 수 있어야 한다. 행위가 해를 입힐 수 있다는 것을 알지 못한 경우 우리는 비난을 면하곤 한다.
  3. 주체는 특정한 방식으로 행위할 자유를 가지고 있어야 한다. 즉, 자신의 행위가 전적으로 외압에 의해 결정된 경우 그 결과 발생한 책임에 관해서는 책임을 묻지 않는다.

세 조건을 자세히 살펴, 컴퓨터가 각 조건의 설명을 어떻게 복잡하게 만들 수 있는지 보겠습니다.

1.1 Causal contribution

특정 사건에서 한 사람이 도덕적 책임을 진다는 것은, 그가 사건에 어떤 영향을 미칠 수 있었음을 의미합니다. 다르게 행동할 수 없어 사건을 피할 수 없었거나, 통제할 수 없는 사건이 사고로 이어진 경우 사고에 관해 그 사람을 비난하는 것은 잘못입니다.

그러나, 컴퓨터 기술은 사람의 행위와 사건의 결과 사이의 인과적 연결을 애매하게 만듭니다. 컴퓨터가 관련된 사고의 사건 연쇄를 쫒다 보면 여러 방향으로 퍼지게 되며, 하나의 오류나 재난의 결과인 경우는 드뭅니다. 기술적 사고는 보통 컴퓨터 시스템의 개발, 활용, 유지에 관여한 여러 사람들의 실수, 오해, 부주의의 누적이 낳은 산물이며, 여기에는 설계자, 엔지니어, 기술자, 단속자, 관리자, 사용자, 제조자, 판매자, 전매자, 정책 입안자 등이 포함됩니다.

기술의 개발과 배치에 다양한 행위자가 기여하고 있다는 것을 ‘많은 뱃사공’의 문제라고 부릅니다(프리드먼 1990; 니센바움 1994; 요나스 1984). 컴퓨터와 관해 많은 뱃사공의 문제에서 자주 논의되는 문제 중 하나는 오작동한 방사선 치료 기계 테락-25(Therac-25)의 사례입니다(레베슨과 터너 1993; 레베슨 1995). 이 컴퓨터로 통제되는 기계는 암 환자의 방사선 및 X선 치료를 위해 설계되었습니다. 1980년대, 2년 동안 기계는 6명의 환자에게 방사선을 과다 조사하였으며, 그중 세 명이 결국 사망하였습니다. 이 사고는 여러 요소의 조합의 결과였습니다. 소프트웨어 오류, 불충분한 검사와 품질 보증, 신뢰성에 관한 과장된 주장, 잘못된 인터페이스 설계, 소프트웨어 설계에 관한 과도한 신뢰, 사고 보고에 관한 불충분한 조사와 추적 등 말입니다. 그럼에도 불구하고, 사건을 분석하면서 레베슨과 터너는 한 사람을 비난하기는 어렵다고 결론 내립니다. 관련된 모두의 행위 또는 부주의는 다른 기여 요인처럼 치명적인 것으로 입증되지 않았습니다. 이 사례에서 누구도 도덕적 책임이 없다는 것은 아닙니다(니센바움 1994; 고터반 2001). 여러 행위자들이 다 다르게 행위할 수 있었습니다. 하지만 후향적으로 답하고 결과를 정정할 적절한 사람을 정하기는 어렵습니다.

많은 뱃사공의 문제에 더하여, 컴퓨터가 사람과 행위 결과 사이에 만들어 내는 시간적, 물리적 거리는 행위와 사건 사이의 인과적 연결을 흐리게 만듭니다(프리드먼 1990). 컴퓨터 기술은 인간 행동의 시공간을 연장합니다. 소셜 미디어와 통신 기술로 사람들은 세계 반대편의 사람들과 소통합니다. 위성과 발전된 통신 기술은 미 공군이 미국에 위치한 통제실에서 아프가니스탄의 원격 조종 드론을 날릴 수 있게 합니다. 이런 기술은 사람들이 먼 거리에서 행위할 수 있게 하지만, 이 원격성은 원 행위와 그 귀결을 분리시킵니다(웰버스 2009). 사람이 기계적 인공물을 통해 수천 킬로미터 바깥에서 행위를 수행하면, 사람들이 영향을 받는지도 모르며 결과를 직접적, 부분적으로 경험하지도 않게 됩니다. 이것은 그 사람이 느끼는 책임감을 줄이며, 행위의 중요성을 온전히 이해하지 못하게 만듭니다. 비슷하게, 자동 의사 결정 시스템의 설계자는 결정이 내려지기에 앞서 어떻게 결정을 내릴지를 정하지만, 그 결정이 개인에게 어떻게 영향을 미치게 되는지 볼 일은 잘 없습니다. 그들의 시스템 프로그래밍은 몇 년 뒤에 사람들에게 영향을 미치겠지요.

많은 뱃사공의 문제와 기술 활용의 거리두기 효과는 기술적 인공물의 중재 역할이 도덕적 책임에 혼란을 가져오는 것을 잘 보여줍니다. 기술적 인공물은 창조자와 사용자의 다양한 의도를 모아 옵니다. 사람들은 세계에 어떤 영향을 미치고자 기술을 만들고 적용합니다. 주로 관리자나 고객의 요청에 의해 인터넷 여과 장치를 개발하는 소프트웨어 개발자는 사용자가 특정한 내용을 열람하는 것을 막아 사용자가 읽고 읽지 못하는 것에 영향을 미칩니다. 소프트웨어에는 개발자, 관리자, 고객의 다양한 의도가 기입되어 있습니다. 그것은 특정한 입력이 주어졌을 때 어떤 정보가 적절한지의 개념에 따라 행동할 준비를 하고 있습니다(프리드먼 1997). 인공물의 인과적 효과와 그것이 인간 행동을 어떻게 제약하고 가능하게 하는지를 보지 않고 도덕적 책임을 부여할 수는 없습니다. 하지만, 기술적 인공물이 인간 행위를 결정하는 것은 아닙니다. 그것은 누가 어떻게 어떤 맥락에서 사용하던 동일한 수단과 작동을 가져오는 고립된 도구가 아닙니다. 그것은 해석적 유연성을 지닙니다(바이커 등 1987).2 비록 기술의 설계가 행위의 조건을 제시하지만, 행위의 형태와 수단은 인간 행위자가 기술을 특정 맥락에서 어떻게 사용할 것인가 결정한 결과로 나타나게 됩니다. 사람들은 기술을 설계자가 예측하지 못했던 방식으로 활용하곤 합니다. 이 해석적 유연성은 설계자가 기술 활용의 모든 가능한 결과를 예측하기 어렵게 만듭니다. 컴퓨터 기술의 중재 역할은 행위와 결과의 인과적 연결을 후향적으로 추적하는 것을 복잡하게 만들지만, 전향적 책임 탐색도 어렵기는 마찬가지입니다.

1.2 Considering the consequences

컴퓨터 기술이 사람들의 세계 인지와 경험을 형성함에 따라, 그들은 도덕적 책임 기인의 두 번째 조건에 영향을 미칩니다. 적절한 결정을 내리기 위해 사람은 행위 결정에 관하여 숙고할 수 있어야 합니다. 그는 자신의 행위가 불러올 위험과 손해를 인지해야 합니다. 행위가 해를 끼칠 것이라는 점을 알 방법이 없던 사람에게 책임을 묻는 것은 부당합니다.

한편으로 컴퓨터 기술은 사용자들이 행위나 선택의 귀결에 관해 생각하도록 돕습니다. 그들은 자료와 정보를 획득하고, 저장하며, 조직하고, 분석하도록 돕습니다(주버프 1982). 예를 들어, 군대나 구조대가 사용하는 원거리 조종 로봇의 장점 하나는, 로봇을 사용하지 않았다면 얻을 수 없는 정보를 조종자에게 준다는 점입니다. 조종자가 “다음 언덕 너머”나 “다음 골목 돌아서”를 볼 수 있게 만들어, 조종자가 특정한 전략적 결정의 결과를 성찰할 수 있도록 도와줍니다(미국 국방성 2009).

다른 한편으로 컴퓨터의 사용은 사용자의 행위 결과를 이해하고 숙고하는 능력을 제한합니다. 복잡한 기술은 오류에서 자유로울 수 없으나, 인터페이스 뒤로 자동화된 과정을 점차 숨겨가고 있습니다(반 데르 호벤 2002). 사용자는 컴퓨터가 수행하는 여러 계산의 일부만을 보며, 대부분의 계산이 어떻게 수행되는지는 알지 못합니다. 그들은 컴퓨터 화면의 정보에 기초하여 가정, 모형, 이론의 일부만을 이해합니다.

많은 컴퓨터 시스템의 불투명성은 정보의 타당성, 적절성을 따져보는 것을 방해하여 사용자가 적절한 결정을 내리지 못하게 만듭니다. 사람들은 정확한 자동화 시스템에 너무 많이 의존하거나 덜 의존하거나 하는 경향이 있습니다(커밍스 2004; 파라수라만과 릴레이 1997). 예를 들어 거짓 경보율이 높아 자동화를 신뢰하지 못한다면, 한 사람이 책임 있게 행위하는 능력은 저해됩니다. 테락 25 사례에서, 한 기계 조종자는 기계가 암호화된 오류 메시지를 너무 많이 제시하는 것에 익숙해져 환자 안전에 적절하게 관여하지 못했다고 고백했습니다. 그는 메시지를 무시했고, 따라서 기계가 환자에게 과용량을 조사할 때 알아차리지 못했습니다. 자동화 시스템을 너무 신뢰하는 것도 똑같이 재앙을 가져올 수 있습니다. 1988년 미사일 순양함 U.S.S. 빈센즈는 이란 민간 항공기를 격추하여, 탑승해 있던 290명의 승객을 모두 죽였습니다. 여객기를 군용 비행기가 공격하는 것으로 오인했기 때문입니다(그레이 1997). 순양함은 자동적으로 날아오는 미사일과 적 항공기를 추적할 수 있는 에이기스 방호 시스템을 장비하고 있었습니다. 사건을 분석한 결과, 에이기스 시스템의 능력을 과도하게 신뢰한 것 때문에 사람들은 개입하지 않았습니다. 근처의 다른 두 개의 군함은 항공기를 민항기로 바르게 식별했습니다. 그러나, 그들은 빈센느가 항공기가 군용 비행기라고 인식한 것에 반대하지 않았습니다. 나중에 근처의 배에 탑승해 있던 리처드 토머스 대위는 “우리는 그 배를 로봇 순양함이라고 불렀다. … 배는 항상 뭔가 알고 있는 것 같았다. … 배는 항상 자신의 생각이 더 나으니 지나가거나 신경 끄라고 말하는 것 같았다”라고 말했습니다(그레이 1997, 34쪽의 인용). 두 배의 선장들은 정교한 에이기스 시스템이 빈센느의 승무원에게 자신들에게는 없는 정보를 제공한 것이라고 생각했다고 말했습니다.

컴퓨터 기술이 인간이 그전에 하지 못하던 것을 할 수 있도록 만드는 경우, 행위의 가능한 결과를 따져보는 것은 더 복잡해집니다. “컴퓨터 기술은 수행의 새로운 양식과 사회 제도, 새로운 악덕과 미덕, 타인을 돕고 남용하는 새로운 방식을 만들어 냈다” (래드 1989, 210-11쪽). 새로운 수행의 양식을 관장하는 사회적, 법적 합의가 생기려면 시간이 걸리며, 초기 합의의 부재는 책임에 관한 혼란에 기여합니다. 예를 들어, 공적으로 텍스트, 비디오, 이미지를 인터넷에 올리고 공유할 수 있는 능력은 올린 내용에 누가 책임을 지는가 하는 새로운 질문을 제시했습니다. 이 질문은 이탈리아에서 구글 간부 세 명이 정보 보호법 위반으로 유죄 판결을 받을 때 논쟁의 핵심이 되었습니다(사르토르와 비올라 데 아제베도 쿠냐 2010). 이 사례에서는 네 명의 학생이 장애인을 공격하는 장면을 담은 유튜브 동영상이 문제가 되었습니다. 이탈리아 우편 경찰의 요청으로 유튜브의 소유자인 구글은 학생들이 올린 지 두 달 뒤에 동영상을 삭제했습니다. 그럼에도 불구하고 판사는 구글이 사생활을 침해하지 않기 위한 사전적인 방법을 적절하게 취하지 않고 동영상을 처리한 것은 형법상 책임이 있다고 판단했습니다. 판사는 또한 동영상을 올린 학생들에게 구글이 자료 보호의 의무를 충분히 알리는 데 실패했다며 책임을 물었습니다(367쪽). 판결 이후의 논쟁에서, 판결에 비판적인 입장을 지닌 사람들은 이것이 인터넷의 표현의 자유를 위협하며, 권위주의적 정권이 인터넷 검열을 정당화하는 데 사용할 수 있는 위험한 전거가 될 수 있다고 주장했습니다(싱겔 2010을 참조). 게다가, 그들은 현실적으로 그들이 모든 업로드를 승인할 수 없으며, 견책은 그들의 일이 아니기 때문에 플랫폼 제공자가 사용자의 행위에 책임을 질 수 없다고 생각합니다. 그러나, 구글의 상업 활동으로 고통받은 사람의 손해에 관한 변제에서 구글을 면제해주는 것은 비도덕적인 일이라고 주장하는 사람도 있습니다. 이런 사례에서 새로운 기술의 가능성과 한계에 관한 혼란은 한 사람이 다른 사람에게 지는 도덕적 책임을 결정하기 어렵게 만든다는 것을 보여줍니다.

새로운 기술적 혁신에 관한 경험의 부족은 기술의 부주의한 활용에 영향을 미칩니다. 새로운 컴퓨터 시스템을 작동하기 위해 사용자는 시스템에 관한 훈련을 받고, 익숙해지는 과정을 거쳐야 합니다. 시스템이 어떻게 작동할지 이해하고 상상하기 위해서는 기술과 경험이 필요합니다(퀘켈베르크와 와커스 2007). 프리드먼은 스스로 복제하는 코드인 ‘컴퓨터 웜’을 발명하고 실험한 프로그래머의 사례를 제시합니다. 당시 그것은 상대적으로 새로운 컴퓨터 상의 존재였습니다(1990). 프로그래머는 인터넷에 웜을 풀었으나, 코드가 기대한 것보다 훨씬 빠르게 복제하면서 실험은 통제를 벗어났습니다(데닝 1989를 참조). 오늘날 우리는 이것이 만족스러운 변명이라고 생각하지 않습니다. 우리가 컴퓨터 웜과 바이러스에 익숙해졌기 때문입니다. 그러나, 프리드먼은 만약 결과가 정말 예측 불가능했다면 프로그래머가 부주의하게 행동했을지에 관해 묻습니다. 컴퓨터 공동체가 특정한 유형의 컴퓨터 상의 존재에 관한 경험이 부족한 것이 우리가 부주의한 행위에 관해 판단을 내릴 때 영향을 미칠까요?

1.3 Free to act

행위의 자유는 아마도 도덕적 책임을 부여하는 데 가장 중요한 조건이며, 논쟁이 가장 심한 개념이기도 합니다. 우리는 다른 선택지가 없이 그렇게 행위할 수밖에 없었던 사람들에게 도덕적 비난을 가하지 않는 경향이 있습니다. 우리는 특정 행위를 강압적이거나 강제적으로 행한 사람에게 보통 책임을 묻지 않습니다. 행위의 자유는 그 사람이 자유 의지나 자율성을 가지고 있다는 것을 의미합니다(피셔 1999). 도덕적 책임을 질 수 있다는 것은 그가 자신의 진정한 사고와 동기에 기반하여 행위했으며, 자신의 행동을 통제할 수 있는 능력을 지니고 있다는 것을 의미합니다(존슨 2001).

그럼에도 불구하고, 인간 존재만이 가지고 있는, 자유롭게 행동할 수 있도록 만드는 능력이 무엇인지에 관한 합의는 없습니다. 합리성, 감정, 지향성, 인지가 필요할까요? 사실, 도덕 철학에서 중요한 논쟁 중 하나는 인간 존재가 정말 자율성이나 자유 의지를 가지고 있느냐 하는 것입니다. 그리고 그렇지 않다면, 여전히 도덕적 책임을 물을 수 있을까요(에셸먼 2009)?

실제로, 어떤 조건 집합이 만족되는 경우 인간에게 자율성이나 자유 의지가 있다고 인정하는 것은 간단한 일이 아닙니다. 우리는 어떤 사람의 자율성에 정도가 있다고 생각합니다. 성인은 아이보다 더 많은 자율성을 가지고 있는 것으로 여겨집니다. 사회의 개인은 외부의 힘에 의해 조종, 통제, 영향받을 수 있기 때문에 자율성이 다양한 것으로 여겨집니다. 부모님이나 동료 집단이 가져오는 영향력을 생각해 보십시오. 게다가, 내부의 신체적, 정신적 영향력도 있습니다. 중독이나 정신 질환 등은 개인의 자율성을 더욱더 제한하는 것으로 받아들여지고 있습니다.

컴퓨터는 다른 기술과 같이 누군가가 자유롭게 행위하는 지를 결정하는 것을 더 복잡하게 만듭니다. 그것이 한 사람의 선택지와 그 결정 과정에 영향을 미치기 때문입니다. 컴퓨터를 가장 많이 활용하고 있는 영역 중 하나는 의사 결정 과정과 통제의 자동화입니다. 자동화는 중앙 집중화를 돕고 여러 과정의 통제 가능성을 높이는 반면, 의사 결정 연쇄의 말단에서 인간 조작자의 자유 재량권을 제한합니다. 예시로는 공공 행정에서 의사 결정의 자동화가 있습니다(보벤스와 주리디스 2002). 큰 공공 영역 조직은 지난 몇십 년간 절차를 표준화, 형식화하고자 계속 노력해 왔습니다. 학생 대출, 속도위반 딱지, 세금 환급 등에 있어 결정 과정은 거의 대부분 컴퓨터 시스템으로 진행됩니다. 이것이 세무 조사원, 복지 노동자, 경찰관 등 많은 공무원이 개별 사례에 정책 규칙을 어떻게 적용할지 결정하던 관리적 결정의 범위를 줄였습니다. 시민들은 무엇이 적절한가에 관한 규칙과 규제에 관한 지식을 적용할 책임(예로, 경고만 하고 보내는 게 나은지, 아니면 과속 딱지를 발부하는 게 나은지?)을 지고 있는 공무원들을 대할 필요가 없습니다. 오히려 결정은 알고리즘에 의해 미리 프로그램되어 있으며, 동일한 척도와 규칙이 맥락과 상관없이 적용됩니다(예로, 스피드 카메라는 맥락을 따지지 않습니다). 이런 경우 결정의 책임은 ‘길거리의 관료’로부터 관리자, 컴퓨터 전문가와 같은 ‘시스템 수준의 관료’로 옮겨가며, 정책과 법적 틀을 알고리즘과 의사 결정 나무로 어떻게 옮길지 결정하는 것은 그들의 일입니다.

관료제적 절차의 자동화는 일부 컴퓨터 기술이 일부 인간 존재의 재량권을 제한하기 위해 의도적으로 설계된다는 것을 보여줍니다. 사실 상대적으로 새로운 영역인 설득 기술(Persuasive Technology)은 사람들이 ‘바람직한’ 방식으로 행동하도록 설득하는 기계적 인공물을 개발하고자 하는 목적을 가지고 있습니다(이젤스테인 등 2006). 예로는 미국, 캐나다, 스웨덴, 영국 등 몇몇 국가에서 이미 활동되고 있는 알코올 잠금장치가 있습니다. 운전자는 시동을 걸기 전에 호흡 측정을 통과해야 합니다. 이 기술은 특정 행위를 강제하며 운전자에게 선택지를 남겨두지 않습니다. 더 미묘한 방식으로 행위를 조종하는 기술도 있는데, 사용자를 설득하거나 유혹하는 방식으로 작동합니다(베어벡 2006). 예를 들어, 자동차의 컴퓨터 장치가 실시간으로 연로 소비에 관한 정보를 알려주어 운전자가 연로 효율을 높이도록 돕는 것 등입니다. 이런 기술은 선택지를 제한하거나 특정 방식으로 행위하도록 설득하여 책임 있게 행동하도록 만들려는 목적으로 설계되었습니다.

베어벡은 도덕적으로 바람직한 행위를 강제하는 기술을 의도적으로 개발한다는 생각을 비판하는 사람들이 사회의 민주주의 원칙을 버리고 인간 존엄성을 위협한다고 주장한다고 적고 있습니다. 그들은 인간이 숙고하여 결정을 내리고 자발적으로 행위할 수 있는 능력과 권리를 축소시킨다고 주장합니다. 또한, 비판자들은 인간이 자유롭게 행동하지 않으면, 그들의 행위를 도덕적인 것으로 여길 수 없다고 주장합니다. 베어벡은 이런 반대에 반박하면서, 규칙, 규범, 규제, 기술적 인공물의 주인 등이 이미 인간이 수행하거나 수행하도록 허용된 행위의 조건을 결정하고 있다는 점을 지적합니다. 게다가, 능동적 매개자인 기술적 인공물은 인간의 행위와 경험에 영향을 미치지만, 그것을 결정하는 것은 아닙니다. 자동차에 공기 펌프를 설치하여 알코올 잠금장치의 엄격한 도덕성을 창의적으로 우회한 사람도 있습니다(비달 2004). 그럼에도 불구하고, 비판자들은 의사 결정 과정의 자동화가 가져올 위험을 강조합니다. 컴퓨터는 인간의 자유에 제한을 설정하며, 그의 도덕적 책임 범위에 영향을 미친다는 점 말입니다.

컴퓨터 기술이 책임 부여의 조건과 관련하에 제시하는 도전은 기존의 윤리적 틀이 도덕적 책임의 질문을 다루는 틀의 한계를 제시합니다. 도덕적 책임의 전통적 모형은 직접적인 시각적 결과를 낸 행위를 수행한 개인을 상대로 발전해 왔습니다(웰버스 2009). 그러나, 오늘날 사회가 개인이나 집단의 개인에게 책임을 지우는 것은 우리가 상호작용하는 인공물, 인공물이 중재하는 다른 인간 행위자의 의도, 행위와 얽혀 있습니다. 컴퓨터 기술의 행위는 누가 도덕적 책임을 지는가, 도덕적 책임의 의미는 무엇인가에 관한 다른 종류의 분석을 요청하는지도 모릅니다.

2. Can computers be moral agents?

도덕적 책임은 일반적으로 도덕적 행위자에게 지워지며, 최소한 서구 철학 전통에서 도덕적 행위성은 인간 존재에게만 독점적으로 부여되는 개념이었습니다(존슨 2001). 동물, 자연재해와는 달리, 인간 존재는 도덕적으로 유의미한 행위의 기원이었으며, 그들이 자유롭게 행위하고 선택의 결과에 관해 숙고할 수 있기 때문이었습니다. 그리고, 일부가 컴퓨터를 의인화하여 그들을 도덕적 행위자로 대우하려 하지만(리브즈와 나스 1996), 대부분의 철학자는 현재의 컴퓨터 기술을 도덕적 행위자라고 불러서는 안 된다는 점에 동의합니다. 만약 그것이 도덕적으로 책임을 져야 한다는 의미라면 말입니다. 그러나, 전통적인 윤리적 어휘는 컴퓨터의 도덕적 차원을 사고하는 데에 한계를 지니고 있으며, 이것이 일부로 하여금 도덕적 행위성의 개념에 관해 다시 사고하도록 만들고 있습니다.

2.1. Computers as morally responsible agents

컴퓨터 기술의 복잡성 증가, 인공지능의 발전은 인간 존재만이 도덕적 책임을 지고 지울 수 있는 유일한 존재라는 개념에 도전을 던집니다(벡텔 1985). 예를 들어 데닛은 고차 지향 컴퓨터 시스템이 있다면 도덕적 책임을 지는 컴퓨터도 가능하다고 봅니다(1997). 그에 따르면 지향적 시스템이란 믿음과 욕구, 합리성에 따라 예측과 설명이 가능한 시스템입니다. 다시 말하면, 시스템이 정신 상태를 가지고 있으며 믿음과 욕구 하 의도대로 행위했다고 가정할 때 그 행동이 설명 가능한 것을 말합니다. 데닛에 따르면 오늘날의 많은 컴퓨터들이 이미 지향적 시스템을 가지고 있지만, 정신 상태를 성찰하고 사고할 수 있는 고차 능력은 결핍되어 있습니다. 그들은 믿음에 관한 믿음, 욕망에 관한 사고를 가지고 있지 않습니다. 데닛은 영화 2001: 스페이스 오디세이의 할 9000은 고차 지향적 시스템이며 도덕적 책임을 물을 수 있다고 생각합니다. 현재의 인공지능의 발전이 할에 이르지는 못하지만, 그는 고차 지향성을 가진 컴퓨터 시스템의 개발이 현실적 가능성이 있다고 생각합니다.

설린스는 데닛과 같은 편에서 도덕적 행위성이 인간성을 필요로 하지 않는다고 주장합니다(2006). 그는 컴퓨터 시스템, 더 구체적으로 로봇이 유의미한 자율성을 가지고 있다면 도덕적 행위자이며, 지향적 행위를 나타내는 추상의 수준에 도달했다고 간주할 수 있다고 생각합니다. 설린스에 따르면 로봇은 수행에 있어 다른 행위자의 직접 통제 하에 있지 않다면 충분히 자율적입니다. 그러나, 그는 로봇이 도덕적 행위자로서 책임의 위치에 있기 위한 세 번째 조건을 추가합니다. 그것은, 로봇이 어떤 책임을 지는 특정한 사회적 역할을 수행하며 이 역할을 수행함에 있어 로봇은 다른 도덕적 행위자를 향한 의무에 관한 ‘믿음’과 이해를 가지고 있어야 한다는 것입니다(28쪽). “온전한 도덕적 행위성”에 필요한 능력을 설명하기 위해, 그는 인간 간호사의 비유를 듭니다. 로봇이 인간 간호사와 동일한 의무를 수행할 수 있을 만큼 충분히 자율적이며 보건의료 체계에서 자신의 역할과 책임을 이해하고 있다면, 그것을 “온전한 도덕적 행위자”로 볼 수 있다고 주장합니다. 설린스는 이런 유형의 능력을 가진 기계가 곧 나타나 리나는 입장을 견지하지만, “온전하진 않지만 어느 정도의 추상화와 도덕적 숙고가 가능한 최신의 로봇은 어떤 정도 도덕적 행위자로 볼 수 있다”(29쪽)고 생각합니다.

(강한) 인공지능에 관한 초기의 계획을 반대하는 입장(색 1997)을 따라,3 데닛과 설린스 등이 제시한 분석을 비판하는 사람들은 컴퓨터 기술이 인간 존재를 도덕적 행위자로 만드는 정신 상태, 지향성, 상식, 감정 등을 만들어낼 수 있다는 개념을 반대합니다(존슨 2006; 쿠플릭 1999). 예를 들어 그들은 고통받을 수 없으며 따라서 처벌할 수 없는 컴퓨터 시스템에게 도덕적 책임을 지운다는 것이 말도 안 된다는 점을 지적합니다(스패로우 2007; 아사로 2011). 또는 스탈처럼, 컴퓨터는 도덕적 사고의 능력이 없으며, 그것은 컴퓨터는 자신이 처리하는 정보의 의미를 이해하지 못하기 때문이라고 주장합니다(2006). 도덕 명제의 의미를 파악하기 위해 행위자는 명제가 의미를 부여받는 삶의 일부가 되어야 합니다. 인공지능에 관한 논쟁과 비슷하게, 비판자들은 컴퓨터가 할 수 없고 가질 수 없지만 도덕적 행위성을 정당화하는 여러 능력들을 지적하여 인간과 컴퓨터 사이에 선을 그으려 합니다.

2.2 Creating autonomous moral agents

미래의 컴퓨터 시스템이 도덕적 책임을 질 수 있는지에 관한 결정적인 논증이 부재한 상황에서, 기계 윤리 연구자들은 도덕적 행위자처럼 행위할 수 있는 컴퓨터 시스템을 만들어 그에 관한 논의에 집중하고 있습니다(무어 2006). 이 영역의 연구는 주어진 상황에서 옳은 일을 독립적으로 결정할 수 있는 컴퓨터 시스템의 설계와 개발에 집중합니다. 앨런과 왈러치에 따르면, 이런 자율적 도덕 행위자(autonomous moral agents, AMAs)는 자신의 행위에 관한 도덕적, 사회적 유의성에 관해 사고할 수 있으며, 그 행위의 효과가 감각을 가진 존재에 미칠 영향을 평가하여 적절한 선택을 내리고자 합니다(2012; 왈러치와 앨런 2009, 앨런 등 2000도 참조). 그들은 이런 능력이 요청되는 이유는 컴퓨터는 점점 복잡해지며 여러 맥락과 환경에서 직접적인 인간 통제 없이 작동할 수 있는 능력을 가지게 되어가고 있기 때문입니다. 점진적인 자율화 기술이 이미 개발 중이며, 군용 로봇, 무인 자동차 및 열차, 집과 의료 시설의 서비스 로봇이 인간의 안전과 웰빙에 직접적으로 영향을 미치는 도덕적 상황에 관여하게 될 것입니다. 미래에 배치될 자율적인 폭탄 처리 로봇은 어느 폭탄에서 신관을 먼저 제거해야 사상자를 최소화할지를 따지게 될 것입니다. 비슷하게, 무인 자동차는 길을 건너는 개 앞에서 감속할지, 운전석에 앉은 사람의 위험을 최소화할지에 관한 도덕적 판단을 내려야 할 것입니다. 그런 결정은 판단을 필요로 합니다. 현재는 조작자가 도덕적 결정을 내리거나, 컴퓨터 시스템의 설계에 이미 반영되어 있습니다. 왈러치와 앨런은 기계 윤리는 엔지니어가 설계할 때 가치를 고려하는 것에서 한걸음 더 나아가, 기계의 윤리적 의사 결정을 따져야 한다고 주장합니다.

컴퓨터가 윤리적 결정을 내리거나 ‘기계에 윤리를 넣는 것’의 의미를 구체화하기 위해, 무어는 윤리적 행위자를 세 가지로 구분합니다. 내재적 윤리 행위자, 외재적 윤리 행위자, 온전한 윤리 행위자가 그것입니다(2006). 첫째 유형의 행위자는 개발자가 설계 시에 윤리를 기입해 놓은 컴퓨터입니다. 이 행위자는 개발, 활용의 맥락에 따른 규범과 가치를 부여받게 될 것입니다. 따라서, ATM 기계는 계좌에서 승인되지 않은 사람이 돈을 인출하는 것을 방지하기 위해 고도의 보안을 지니도록 설계됩니다. 외재적 윤리 행위자는 ‘윤리를 행하는’ 컴퓨터입니다. 다시 말해, 그것은 윤리적 모형에 기초하여 주어진 입력에서 어떤 것이 옳은지를 결정할 수 있습니다. 윤리 모형은 칸트나 공리주의 윤리 등 전통적 윤리 이론에 기초할 수 있으며, 제작자의 선호에 따르게 됩니다. 그런 행위자는 앨런과 왈러치가 기술한 자율적 도덕 행위자와 비슷합니다. 마지막으로, 무어는 온전한 윤리 행위자를 도덕적 판단을 내리고 그것을 정당화할 수 있는 존재로 정의합니다. 그것은 인간 존재와 매우 유사하지요. 그는 온전하게 윤리를 구사할 수 있다고 말할 수 있는 컴퓨터 기술은 아직 존재하지 않지만, 미래에 가능할지의 여부는 경험적으로 따져보아야 할 것이라고 주장합니다.

AMA를 만드는 것은 이 노력이 어떻게 도덕적 책임을 부여할 것인가 하는 질문을 제기하게 됩니다. 만약 이런 기술이 인간 존재와 같은 도덕적 행위자를 만드는 것이 아니라면, 그들은 도적적 책임을 져야 할까요? 인간 존재가 인공적 행위자에게 사전에 구체화된 형식 윤리적 틀을 설계한다면, 그 책임은 여전히 인간 행위자와 그 기술을 적용한 자들에게 남게 되지 않을까요? 하지만, 앨런과 왈러치가 인정하는 것처럼 로봇에게 도덕적 의사 결정 능력을 장착시키는 데에만 집중하는 것은 위험할 수 있습니다. 이 로봇들이 위치를 부여받을 사회기술적 체계를 살피지 않는다면, 책임의 배분 문제는 더 혼란스러워질 것이기 때문입니다(2012). 도덕적 의사 결정 능력을 가진 로봇은 다른 기술처럼 책임의 부여에 관해 도전을 던지며, 제작자와 사용자로 이어지는 설명 책임의 연쇄를 애매하게 만드는 새로운 복잡성을 부여합니다.

2.3 Expanding the concept of moral agency

자율적, 지능적 컴퓨터 기술 발전의 전망과 인간 행위자의 책임 귀속에 있어서의 어려움의 증가 때문에, 플로리디와 샌더스는 다른 접근법을 취했습니다(2004). 그들은 도덕적 행위자의 범주를 확장하여 인공적 행위자를 포함시키고, 도덕적 행위성과 도덕적 설명 책임을 도덕적 책임의 개념과 분리해야 한다고 주장합니다. 그들은 “인간이 특정 유형의 소프트웨어와 하드웨어를 해명할 수 있다는 전통적인, 이미 낡아버린 관점의 극복 불가능한 어려움”은 다른 접근법을 요구한다고 강력히 주장합니다(372쪽). 대신, 그들은 인공적 행위자를 설명 책임을 지지만 책임은 없는 도덕적 행위자로 간주해야 한다고 말합니다. 설명을 위해 그들은 도덕적 행위에 관한 인공적 행위자와 개의 차이를 설명합니다. 개는 도덕적으로 문제 있는 행동을 일으킬 수 있습니다. 재산에 손상을 입히거나 사람의 목숨을 구하거나 한다던지 말입니다. 플로리디와 샌더스에 따르면, 보통 우리는 개에게 도덕적 책임이 있다고 생각하지는 않지만, 도덕적 행위자라고 인식합니다. 그들은 도덕적 행위의 원천일 수 있으며 도덕적 해명의 대상이 되어 견책, 처벌이 가능합니다.

플로리디와 샌더스는 동물처럼 인공적 행위자도 도덕적 행위의 원천으로 볼 수 있으며 그들이 적절한 추상적 수준에서 도덕적 행위자로 행위하는 것처럼 생각된다면 그들에게 도덕적 해명을 물을 수 있다고 주장합니다. 추상적 수준이라는 개념은 한 사람이 그 행위를 예측하고 설명하기 위해 수용하는 입장을 가리킵니다. 낮은 추상적 수준에서 우리는 시스템의 행위를 기계적, 생물학적 과정으로 설명할 수 있습니다. 좀 더 높은 추상적 수준에서 시스템의 행위는 믿음, 욕구, 사고로 기술될 수 있을 것입니다. 컴퓨터 시스템이 충분히 상호적, 자율적, 적응적이라고 기술될 수 있다면, 플로리디와 샌더스는 그것이 설명 책임을 진다고 봅니다(352쪽). 따라서, 도덕적 설명 책임의 행위자에게는 인간성이나 자유 의지는 필요하지 않습니다. 행위자는 의도가 있으며 선택할 수 있는 것처럼 행위하면 됩니다.

플로리디와 샌더스에 따르면 책임과 설명 책임을 분리하는 것의 장점은 인간 행위자가 책임이 있는지 따지는 대신 도덕적 행위성, 설명 책임, 책망에 집중할 수 있다는 것입니다. “책임을 부여하기 위해 인간 도덕 행위자를 정해야 할 필요가 강제될 가능성이 적어진다. 우리는 현재의 제한적인 관점의 한계에서 벗어나 인공적 행위자의 기술적 발달에 자유를 가져올 수 있다”(376쪽). 인공적 행위자가 ‘나쁘게 행위하면’ 그들을 직접 다루면 됩니다. 그들의 자율적 행위와 복잡성은 인간 행위자에게 책임을 분배하기 너무 어렵게 만듭니다. 비도덕적 행위자는 수정, 삭제될 것입니다. 도덕적 책임이 결정될 수 없다고 해도, 도덕적 해명을 부여하는 것은 가능합니다.

플로리디와 샌더스의 설명 책임과 도덕 행위성에 대한 비판자는 컴퓨터 인공물을 도덕적 행위자로 다루려는 분석에 초점을 두면, 그것을 개발하고 배치하는 사람에 관한 관심을 놓친다고 주장합니다. 예를 들어 존슨은 컴퓨터 기술은 제작자와 사용자의 의도성에 계속 매여 있을 것이라는 것에 관한 사례를 제시합니다(2006). 그는 비록 컴퓨터 인공물이 도덕적 세계의 일부이며 도덕적 관련성을 가지는 존재로 인식될 수 있지만, 도덕적 행위자는 아니며, 그것은 그들이 의도가 없기 때문이라고 주장합니다. 그들은 정신 상태나 행위의 자유에서 오는 목적을 지니지 않습니다. 그는 이 인공물은 의도성을 지니지만, 그 의도성은 그 기능성에 연결되어 있다는 점을 강조합니다. 그것은 인간이 만든 인공물이며, 그 설계와 사용은 설계자와 사용자의 의도를 반영합니다. 인간 사용자는 결국 자신의 의도에 따라 소프트웨어와 상호작용할 것입니다. 인공물과 상호작용하면서 그들은 설계자와 개발자가 기입한 의도를 작동시킵니다. 컴퓨터 기술이 설계, 개발, 시험, 설치, 시작, 입력 제공, 특정 업무를 수행하도록 지시하는 것은 인간의 행동입니다. 이 인간 행동 없이, 컴퓨터는 아무것도 할 수 없습니다. 존슨은 컴퓨터에게 독립적인 도덕 행위성을 부여하는 것은 그것을 만들고, 배치하고, 사용하는 사람의 행위와의 연결을 끊는 결과를 가져온다고 주장합니다. 그것은 결국 기술적 개발에 영향을 미치는 힘에서 관심을 떨어뜨릴 것이며, 개입 가능성을 제한하게 될 것입니다. 예를 들어, (인공적 행위자의 개념은) 잘못 기능하거나 부도덕한 인공적 행위자를 다룰 책임은 누구에게 있는지, 그들이 가한 해를 정정할 사람은 누구인지의 문제를 다루지 않습니다. 그것은 인공적 행위자가 작동할 조건에 관해 누가 책임이 있는가에 관한 질문을 미룹니다(노르만 2009).

그러나, 기술이 도덕적 행위자가 아니라고 말하는 것은 그것이 도덕적 행위의 일부가 아니라고 말하는 것은 아닙니다. 몇몇 철학자들은 인간 행위를 형성하는 기술의 능동적인 역할을 인식하지 않고서 도덕적 책임을 적절히 이해할 수 없다는 점을 강조합니다(요나스 1984; 베어벡 2006; 존슨과 파워스 2005; 웰버스 2009). 예를 들어 존슨은 컴퓨터가 도덕적 행위자가 아니라 해도, 인공물 설계자, 인공물, 인공물 사용자는 그들이 마치 함께 행위한 것처럼 도덕적 평가의 대상이 되어야 한다고 주장합니다(존슨 2006). 인간은 인공물을 만들고 세계에 특정 효과를 낳기 위해 특정 가치와 의도를 기입하였으며, 결국 이 기술적 인공물은 인간 존재가 할 수 있는 것과 없는 것, 세계의 지각과 해석에 영향을 미치게 됩니다.

비슷하게, 베어벡은 기술적 인공물 단독으로는 도덕적 행위성을 지니지 않는다는 입장입니다. 하지만 브루노 라튀르의 작업에 기반하여, 그는 도덕적 행위성은 ‘순전히’ 인간의 것이 아니라고 주장합니다. 도덕적 행위성은 인간 행위를 중개하는 인공물을 포함하며, 그것은 설계자가 기대하지 않았던 방식으로 흐르곤 합니다(2008). 도덕적 결정과 행위는 기술적 인공물이 공동으로 형성하는 것입니다. 그는 모든 인간 행동에는 세 가지 형태의 행위성이 있다고 봅니다. 1) 행위를 수행하는 인간의 행위성, 2) 인공물의 중개 역할을 결정한 설계자의 행위성, 3) 인간 행위를 중개하는 인공물. 인공물의 행위성은 설계자와 사용자의 행위성과 밀접하게 연결되어 있으며, 한쪽으로 환원될 수 없습니다. 그에게 있어 도덕적 결정을 내리는 주체는 인간과 기술적 요소의 복합체입니다. 도덕적 행위성은 인간 존재에만 위치하는 것이 아니라, 인간과 기술의 복합적 혼합물에 위치합니다.

3. Rethinking the concept of moral responsibility

도덕적 책임 부여의 어려움 때문에, 일부 저자는 컴퓨터와 관련하여 개념이 활용되고 해석되는 방식을 비판하고 있습니다. 그들은 도덕적 책임을 다루는 전통적인 모형이나 틀이 한계에 달했다고 주장하며, 문제를 다루기 위한 여러 관점과 해석을 제안합니다.

하나의 접근법은 도덕적 책임 부여를 다시 생각하는 것입니다(고터반 2001; 웰버스 2009). 고터반은 컴퓨터 개발과 관련하여, 다른 비난 대상을 찾아 책임을 피하려는 경향이 있음을 관찰합니다. 그는 이 경향이 두 가지의 책임에 관한 편만한 오해 때문이라고 생각합니다. 첫째 오해는 컴퓨터가 윤리적으로 중립이라는 것입니다. 고터반에 따르면 이 잘못된 믿음은 기술적 인공물과 그것의 구축이 윤리적으로 중립이라는 것은 컴퓨터 시스템 개발의 좁은 기술 중심적 초점을 정당화하기 위한 것이며, 기술이 작동하는 더 넓은 맥락을 고려하지 못하고 있습니다. 이 좁은 초점은 해로운 결과를 낳을 수 있습니다. 고터반은 X선 장비의 극을 낮추거나 높일 수 있는 프로그램을 설정한 프로그래머의 예를 듭니다. 물론, X선 기술자가 필요한 높이를 설정한 다음입니다. 프로그래머는 제시된 퍼즐을 푸는 데 집중하지만, 장비가 사용될 때의 상황, 발생할 우발적 사태는 고려하지 못합니다. 따라서 그는 환자가 사고로 장비의 극을 높이거나 낮추는 경우를 고려하지 못합니다. 이 간과는 비극적인 사고로 이어집니다. 기술자가 환자가 밑에 있다는 것을 모르고 테이블 높이로 장비를 내려, 환자가 깔린 것입니다. 고터반에 따르면, 컴퓨터 개발자는 이런 우발적 상황에 관해 법적으로는 그러하지 않다 해도 도덕적 책임이 있습니다. 기술적 인공물의 설계와 활용은 도덕적 활동이며 하나의 설계를 선택한다는 것은 실제적이고 물질적인 결과로 이어집니다.

둘째 오해는 책임이란 뭔가 잘못되었을 때 비난하기 위한 것일 뿐이라는 것입니다. 고터반에 따르면 컴퓨터 개발자는 해로운 사고가 있을 때 비난을 받을 적절한 사람을 결정하는 데 집중하는 전통적인 책임의 잘못된 모형을 수용합니다. 이 잘못된 모형은 책임을 회피하려는 모든 종류의 방법으로 이어집니다. 특히, 컴퓨터 기술이 가져온 복잡성은 개발자로 하여금 책임에서 한걸음 떨어져 있도록 만듭니다. 예컨대 개발자와 기술이 활용되어 효과를 나타내는 것 사이의 거리는 개발자와 오작동 사이에 직접적이고 즉각적인 인과적 연결이 없다는 주장의 근거로 활용됩니다. 개발자는 사건의 연쇄에 있어 자신들의 기여는 무시할만하며, 팀이나 조직의 일원으로써 그들에게 다르게 행동할 수 있는 기회는 제한적이었다고 주장합니다. 고터반에 따르면 이 잘못된 모형은 컴퓨터 개발자가 설명 책임과 비난으로부터 거리를 두도록 유혹합니다.

두 가지의 오해는 비난과 법적 책임의 면제에 초점을 두고 있는 책임에 관한 관점에서 기인합니다. 라드를 참조하여, 고터반은 이것을 부정적 책임이라고 부르고 긍정적 책임과 구분합니다(라드 1989 참조). 긍정적 책임은 “행위가 타인에게 미칠 결과에 관한 의무를 지는 것을 미덕으로 삼는 것”을 강조합니다(고터반 2001, 227쪽). 긍정적 책임은 컴퓨터 전문가의 전문직업성의 일부이며, 예측 가능한 바람직하지 않은 사건을 최소화하려고 노력하는 것을 말합니다. 그것은 무책임한 행위에 관해 타인을 비난하거나 처벌하는 대신, 무엇을 해야 할지에 집중합니다. 고터반은 컴퓨터 전문가는 책임의 긍정적 개념을 수용해야 하며, 컴퓨터 개발자가 자신의 행위의 결과를 유념하여 가능한 해를 최소화하도록 노력할 책무와 의무를 강조해야 한다고 말합니다. 컴퓨터 개발자는 해를 줄이고 제대로 작동하는 제품을 내놓을 도덕적 책임이 있습니다. 그에 따르면, 그것은 일이 다르게 진행되었을 때 개발자가 설명 책임이 있는가 와는 무관합니다.

컴퓨터 개발자의 전향적인 도덕적 책임을 강조하는 것은 이 책임이 어디까지 미치는가에 관한 질문을 제기합니다. 특히 여러 사람이 함께 만든 시스템의 경우, 또한 시스템이 오작동할 수 있는 우발적 사건의 경우에는 답하기가 어렵습니다(스티엡 2008; 밀러 2008). 개발자와 제작자는 어느 범위까지 기술 활용의 결과를 예상, 예방하며 코드의 ‘버그’에 대비해야 할까요? 시스템을 한 명의 프로그래머가 이해하는 것은 보통 불가능하며, 복잡한 컴퓨터 시스템이 오류가 전혀 없을 가능성은 낮습니다. 게다가, 설계자와 엔지니어는 제작품이 작동하게 될 환경 모두를 예측할 수 없습니다. 모바일 폰 제작자가 제작품이 길거리에서 폭탄의 부품으로 활용될 것을 예측해야 할까요? 더 근본적인 질문은, 컴퓨터 프로그래머가 공공의 복지에 관해 더 넓은 책임을 져야 하는가, 그들이 자신의 업무에 주된 책임을 지는가 하는 것입니다.

그럼에도 불구하고, 긍정적, 부정적 책임의 구분은 도덕적 책임을 지는 누군가가 있다는 것이 그 자체의 기능이 있다는 점을 부각합니다. 이것은 이 문제를 보는 또 다른 관점을 제기합니다(스탈 2006). 전향적, 후향적 양면에서, 책임은 사람 사이, 사람과 조직 사이의 사회적 관계를 조직합니다. 책임은 사람 사이에서 어떤 책무와 책임이 수행될 것에 관한 기대를 설정하고, 그리고 특정 행위의 개선이나 지지의 수단을 제공합니다. 예를 들어, 로봇 회사는 로봇이 인간을 해치는 것을 막는 안전장치를 설치할 것을 기대받습니다. 만약 회사가 이 기대를 충족시키지 못한다면, 설명 책임을 지게 되며 어떤 경우에는 손해를 변상하거나 처벌을 받아야 할 수도 있습니다. 처벌이나 처벌의 전망은 회사가 더 안전하고, 신뢰할 만하며, 견실한 시스템 설계를 하도록 이끌고, 로봇 생산과 관련된 위험에 더 집중하게 합니다. 책임은 회사가 미래의 사고를 예방하는 행위에 참여할 것을 촉발시킬 수 있습니다. 그러나, 그것은 비난 전가의 방법을 찾도록 만들기도 합니다.

책임과 설명 책임 부여의 방식, 사회 구조는 우리가 기술과 연계하는 방식에 영향을 미칩니다. 니센바움은 도덕적 책임 부여의 어려움은 크게 컴퓨터 기술이 속한 조직적, 문화적 맥락의 성격에 까지 거슬러 올라갈 수 있다고 생각합니다. 그는 우리가 컴퓨터의 본성, 능력, 한계를 어떻게 생각하느냐가 컴퓨터 기술의 개발과 활용에 답하는 데에 영향을 미칠 것이라고 주장합니다(1997). 그는 점차 컴퓨터화되어 가는 우리 사회에서 설명 책임이 점차 체계적으로 약화되어 가고 있으며, 따라서 설명 책임을 해와 위험을 방지하는 데에 중점을 두는 가치와 실천으로 생각할 것을 제안합니다.

설명 책임은 생명을 위협할 수 있는 시스템의 오작동으로 심각한 손상과 시설적, 재산적 손상뿐만 아니라, 개인의 시간, 편리, 만족의 손실을 가져올 수 있는 오작동에서도 누군가 또는 몇몇이 답해야 한다는 것을 의미한다(1994, 74쪽).

그것은 “더 나은 실천을 이끌어 낼 수 있는 강력한 도구이며, 더 확실하고 믿을만한 시스템으로 이어진다”(1997, 43쪽). 컴퓨터 시스템의 손해나 위험에 관한 설명 책임을 진다는 것은 그것을 최소화할 강한 유인을 제공하며, 정당한 처벌을 부여하기 위한 출발점이 될 수 있습니다.

현재의 문화적, 조직적 실천은 반대로 가고 있습니다. 그것은 “컴퓨터 기술의 개발과 배치가 처한 조건이 컴퓨터의 본성, 능력, 한계에 관한 일반적인 개념과 결합”(43쪽)하여 발생합니다. 니센바움은 오늘날의 사회에서 설명 책임을 가로막는 네 가지 장벽을 구별합니다. 1) 많은 뱃사공 문제, 2) 컴퓨터 버그를 거대한 소프트웨어 시스템의 내재적 요소라고 생각하는 것, 3) 컴퓨터를 희생양으로 삼는 것, 4) 법적 책임 없는 소유권. 니센바움에 따르면, 사람들은 사고가 발생했을 때 책임을 회피하고 비난을 다른 사람에게 전가하는 경향이 있습니다. 많은 뱃사공의 문제와 소프트웨어 버그는 피할 수 없는 부산물이라는 개념은 해로운 결과에 답하지 않기 위한 쉬운 변명으로 작용하고 있습니다. 사람들은 컴퓨터의 복잡함을 지목하며 문제가 잘못되었을 때 “그것은 컴퓨터 잘못이다”라고 주장합니다. 마지막으로, 그는 회사가 개발한 소프트웨어의 소유권은 주장하지만, 소유권에 따르는 책임은 각하하려는 경향이 있다고 봅니다. 최근의 컴퓨터 프로그램이 따르는 확장된 인허가는 제조사의 소프트웨어 소유권을 인정하지만, 제작품의 질이나 성능에 관한 설명 책임은 부인합니다. 그것은 소프트웨어의 결함으로 인한 결과적 손해에 관한 법적 책임도 부정합니다.

니센바움은 이 네 가지 장벽이 “설명 책임의 문화”를 가로막는다는 입장입니다. 설명 책임의 문화는 특정 행동의 결과에 연결된 모두가 그에 답하고자 하는 강한 책임감을 조장합니다. 니센바움에 따르면 설명 책임은 법적 책임과는 다릅니다. 법적 책임은 비난할 사람을 찾아 사건이 가한 손해를 보상하도록 하는 것입니다. 비난의 대상이 결정되면, 나머지는 ‘곤경에서 벗어납니다.’ 이것은 사람들이 변명을 찾게 만들고, 컴퓨터를 비난하도록 만듭니다. 그러나 설명 책임은 관여한 모두에게 적용됩니다. 이것은 특별한 조직의 분위기를 필요로 하며, 대답 가능성이 시스템의 안전, 신뢰성, 건고한 설계에 더 큰 주의를 기울이도록 이끕니다. 이것이 설명 책임의 문화를 세웁니다. 설명 책임에 가치를 덜 부여하고, 생산 과정 조직에 있어 책임을 별로 따지지 않는 조직은 불가해한 기술적 산물을 만들어낼 가능성이 높습니다.

니센바움의 분석은 기술이 개발되고 사용되는 맥락이 도덕적 책임의 부여에 상당한 영향을 미친다는 것을 보여줍니다. 하지만 일부 저자들은 기술이 인간 행위를 형성하는 능동적 역할을 제대로 인식하지 않는다면, 도덕적 책임을 제대로 이해할 수 없다는 것을 강조합니다(요나스 1984; 베어벡 2006; 존슨과 파워스 2005; 웰버스 2009). 존슨과 파워스에 따르면, 인간 의도와 행위를 보는 것만으로는 불충분합니다. “기술에 따라 행동한 사람에게 책임을 더 지우려면, 기술의 행위를 파악해야 할 필요가 있다”(107쪽). 기술적 인공물이 인간 행위를 매개하는 다양한 방식을 고려할 필요가 있습니다. 따라서 도덕적 책임은 한 사람이나 집단이 도덕적으로 유의미한 방식으로 타인에게 영향을 미치는가 하는 것 만이 아니라, 그들의 행동이 어떻게 기술에 의해 형성되는가에 대한 것이기도 합니다.

서지

Allen, C. and W. Wallach. 2012. “Moral Machines. Contradiction in Terms or Abdication of Human Responsibility?” in P. Lin, K. Abney, and G. Bekey (eds.), Robot ethics. The ethics and social implications of robotics. Cambridge, Massachusetts: MIT Press.

Allen, C., G. Varner, & J. Zinser. 2000. “Prolegomena to any Future Artificial Moral Agent.” Journal of Experimental and Theoretical Artificial Intelligence, 12: 251–261.

Allen, C. W. Wallach, and I. Smit. 2006. “Why Machine Ethics?” Intelligent Systems, IEEE , 21(4): 12–17.

Asaro, P. 2011. “A Body to Kick, But Still No Soul to Damn: Legal Perspectives on Robotics,” in P. Lin, K. Abney, and G. Bekey (eds.) Robot Ethics: The Ethical and Social Implications of Robotics. Cambridge, MA: MIT Press.

Bechtel, W. 1985. “Attributing Responsibility to Computer Systems,” Metaphilosophy, 16(4): 296–306.

Bijker, W. E., T. P. Hughes, & T. Pinch. 1987. The Social Construction of Technological Systems: New Directions in the Sociology and History of Technology. London, UK: The MIT Press.

Bovens, M. & S. Zouridis. 2002. “From street-level to system-level bureaucracies: how information and communication technology is transforming administrative discretion and constitutional control,” Public Administration Review, 62(2): 174–184.

Coeckelbergh, M. & R. Wackers. 2007. “Imagination, Distributed Responsibility and Vulnerable Technological Systems: the Case of Snorre A.” Science and Engineering Ethics, 13(2): 235–248. Cummings, M. L. 2004. “Automation Bias in Intelligent Time Critical Decision Support Systems.” Paper presented at the AIAA 1st Intelligent Systems Technical Conference, Chicago.

Dennett, D. C. 1997. “When HAL Kills, Who’s to Blame? Computer Ethics,” in HAL’s Legacy: 2001’s Computer as Dream and Reality, D. G. Stork (ed.), Cambridge, MA: MIT Press.

Denning P. J. 1989. “The Science of Computing: The Internet Worm.” American Scientist, 77(2): 126–128.

Eshleman, A.. 2009. “Moral Responsibility,“ in E. N. Zalta (ed.), The Stanford Encyclopedia of Philosophy (Winter 2009 Edition), URL = https://plato.stanford.edu/archives/win2009/entries/moral-responsibility/.

Fisher, J. M. 1999. “Recent work on moral responsibility.” Ethics, 110(1): 93–139.

Floridi, L., & J. Sanders. 2004. “On the Morality of Artificial Agents,” Minds and Machines, 14(3): 349–379.

Friedman, B. 1990. “Moral Responsibility and Computer Technology.” Paper Presented at the Annual Meeting of the American Educational Research Association, Boston, Massachusetts.

––– (ed.). 1997. Human Values and the Design of Computer Technology, Stanford: CSLI Publications; NY: Cambridge University Press

Gotterbarn D.. 2001. “Informatics and professional responsibility,” Science and Engineering Ethics, 7(2): 221–230.

Graubard, S. R. 1988. The Artificial Intelligence Debate: False Starts, Real Foundations. Cambridge Massachusetts: The MIT Press.

Gray, C. H.. 1997. “AI at War: The Aegis System in Combat,” Directions and Implications of Advanced Computing 1990, Vol. III, D. Schuler, (ed.), NY: Ablex, pp. 62–79.

Hart, H. L. A.. 1968. Punishment and Responsibility. Oxford: Oxford University Press.

Hughes, T.P.. 1987. “The evolution of Large Technological System,” in W. E. Bijker, T. P. Hughes, & T. Pinch (eds) The Social Construction of Technological Systems, The MIT Press, pp. 51–82.

IJsselsteijn, W., Y. de Korte, C. Midden, B. Eggen, & E. Hoven (eds.). 2006. Persuasive Technology. Berlin: Springer-Verlag.

Johnson, D. G. 2001. Computer Ethics (3 ed.). Upper Saddle River, New Jersey: Prentice Hall.

–––. 2006. “Computer Systems: Moral Entities but not Moral Agents,” Ethics and Information Technology, 8: 195–204.

Johnson, D. G. & T. M. Power. 2005. “Computer systems and responsibility: A normative look at technological complexity,” Ethics and Information Technology, 7: 99–107.

Jonas, H.. 1984. The Imperative of Responsibility. In search of an Ethics for the Technological Age. Chicago: The Chicago University Press.

Kuflik, A.. 1999. “Computers in Control: Rational Transfer of Authority or Irresponsible Abdication of Authority?” Ethics and Information Technology, 1: 173–184.

Ladd. J.. 1989. “Computers and Moral Responsibility. A Framework for an Ethical Analysis,” in C.C. Gould (ed.), The Information Web. Ethical and Social Implications of Computer Networking, Boulder, Colorado: Westview Press, pp. 207–228.

Latour, B.. 1992. “Where are the Missing Masses? The Sociology of a Few Mundane Artefacts,” in W. Bijker & J. Law (eds.), Shaping Technology/Building Society: Studies in Socio-Technical Change, Cambridge, Massachusetts: The MIT press, pp. 225–258.

Leveson, N. G. and C. S. Turner. 1993. “An Investigation of the Therac-25 Accidents,” Computer, 26(7): 18–41.

Leveson, N.. 1995. “Medical Devices: The Therac-25,” in N. Leveson, Safeware. System, Safety and Computers, Addison-Wesley.

McCorduck, P.. 1979. Machines who Think. San Francisco, US: W.H. Freeman and Company.

Miller, K. W.. 2008. “Critiquing a critique,” Science and Engineering Ethics, 14(2): 245–249.

Moor, J.H.. 2006. “The Nature, Importance, and Difficulty of Machine Ethics,” Intelligent Systems, IEEE, 21(4): 18–21.

Nissenbaum, H.. 1994. “Computing and Accountability,” Communications of the Association for Computing Machinery, 37(1): 72–80.

–––. 1997. “Accountability in a Computerized Society,” in B. Friedman (ed.), Human Values and the Design of Computer Technology. Cambridge: Cambridge University Press, pp. 41–64.

Noorman, M.. 2009. Mind the gap a critique of human/technology analogies in artificial agent discourse. Maastricht, the Netherlands: Universitaire Pers Maastricht.

Parasuraman, R. & V. Riley. 1997. “Humans and Automation: Use, Misuse, Disuse, Abuse,” Human Factors: the Journal of the Human Factors Society, 39(2): 230–253.

Reeves, B. & C. Nass. 1996. The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places. Cambridge: Cambridge University Press.

Sack, W.. 1997. “Artificial Human Nature,” Design Issues, 13: 55–64.

Sartor, G. and M. Viola de Azevedo Cunha. 2010. “The Italian Google-Case: Privacy, Freedom of Speech and Responsibility of Providers for User-Generated Contents,” International Journal of Law and Information Technology, 18(4): 356–378.

Searle, J. R.. 1980. “Minds, brains, and programs” Behavioral and Brain Sciences 3 (3): 417–457.

Singel, R.. 2010. “Does Italy’s Google Conviction Portend More Censorship?” Wired (February 24th, 2010) [available online].

Sparrow, R.. 2007. “Killer Robots,” Journal of Applied Philosophy, 24(1): 62–77.

Stahl, B. C.. 2004. “Information, Ethics, and Computers: The Problem of Autonomous Moral Agents,” Minds and Machines, 14: 67–83.

–––. 2006. “Responsible Computers? A Case for Ascribing Quasi-Responsibility to Computers Independent of Personhood or Agency,” Ethics and Information Technology, 8: 205–213.

Stieb, J. A.. 2008. “A Critique of Positive Responsibility in Computing,” Science and Engineering Ethics, 14(2): 219–233.

Suchman, L.. 1998. “Human/machine reconsidered,” Cognitive Studies, 5(1): 5–13.

Sullins, J. P.. 2006. “When is a Robot a Moral Agent?” International review of information Ethics, 6(12): 23–29.

US Department of Defense [US DoD]. 2009. “FY2009–2034 Unmanned Systems Integrated Roadmap.” [available online].

Van den Hoven, J.. 2002. “Wadlopen bij Opkomend Tij: Denken over Ethiek en Informatiemaatschappij,” in J. de Mul (ed.), Filosofie in Cyberspace, Kampen, the Netherlands: Uitgeverij Klement, pp. 47–65

Verbeek, P. P.. 2006. “Materializing Morality,” Science, Technology and Human Values, 31(3): 361–380.

Vidal, J.. 2004. “The alco-lock is claimed to foil drink-drivers. Then the man from the Guardian had a go …,” The Guardian, August 5th, 2004.

Waelbers, K.. 2009. “Technological Delegation: Responsibility for the Unintended,” Science & Engineering Ethics, 15(1): 51–68.

Wallach, W. and C. Allen. 2009. Moral Machines. Teaching Robots Right from Wrong. Oxford, UK: Oxford University Press.

Whitby, B.. 2008. “Sometimes it’s hard to be a robot. A call for action on the ethics of abusing artificial agents,” Interacting with Computers, 20(3): 326–333.

Zuboff, S.. 1982. “Automate/Informate: The Two Faces of Intelligent Technology,” Organizational Dynamics, 14(2): 5–18

1 기술적 인공물이라는 용어는 (사회적으로) 구축된 물질이나 물체를 가리키며, 컴퓨터, 자동차, 냉장고 등이 그 예입니다. 인간 존재가 특정 목적이나 목표를 성취하기 위해 만들고 사용하는 것 말입니다. 이런 기술적 인공물이라는 개념은 자연적 사물과 인공물을 구분하기 위해, 또 규제법과 같은 사회적으로 구축된 인공물과 구분하기 위해 사회학, 역사학에서 사용되곤 합니다(휴즈 1982; 바이커 등 1987).

2 바이커 등에 따르면, 기술적 인공물의 해석적 유연성이란 “사람들이 인공물에 관해 사고하고 해석하는 방식에는 유연성이 있다”는 것과 “인공물의 설계에는 유연성이 있다”는 것입니다(바이커 등 1995, 40쪽). 즉, ‘관련 사회 집단’은 설계가 우월하고 쓸만한지를 판단하는 다양한 기준을 가지고 있으며, 이것은 종종 경쟁하는 목표와 관심, 특정 인공물이 어떠어떠해야 한다는 명료한 개념에 따르게 됩니다.

3 인공지능에 관한 오랜 철학적 논쟁은 컴퓨터로 정신을 만들어낼 수 있는가 하는 논제를 중심에 두고 있습니다(맥콜덕 1979). 인공지능의 비판자들은 인간 정신과 컴퓨터는 동일한 원칙으로 운용된다는 주장에 이의를 제기합니다(그라우바드 1988). 그들은 지식과 지능은 컴퓨터와 수학, 논리 모형으로 파악할 수 있다는 가정을 반박합니다. 이 비판자들은 인간에게만 있고 기계에는 빠져 있는 내재적 특성, 예컨대 감정, 상식, 지향성 등을 나열합니다. 비판자 중 한 명인 설은 적절한 형태의 프로그램을 가진 컴퓨터는 말 그대로 다른 인지 상태를 이해하고 가질 수 있는 정신이라는 철학적 입장을 표현하기 위해 ‘강한 인공지능’이라는 용어를 최초로 사용하였습니다(설 1980). 그는 이런 유형의 연구를 ‘약한 인공지능’과 구분하였습니다. 약한 인공지능은 컴퓨터가 정신을 가지고 있다고 주장하지 않으며, 단지 정신의 과정에 관한 특정한 설명을 검토하는 데에 유용하다는 입장을 취합니다. 강한 인공지능과는 대조적으로, 설에 따르면 이 입장은 컴퓨터가 말 그대로 (정신을) 설명한다고 주장하지 않습니다.