논문 링크 : https://arxiv.org/abs/2101.04296
Abstract
AutoML 시스템은 일상적인 데이터 사이언스 작업을 가속화하고 통계와 컴퓨터 과학에 전문성이 없는 사람들에게도 머신러닝을 이용할 수 있게 한다. 이러한 시스템은 숙련된 데이터 작업자가 제한적인 기업 환경에서 주목을 받고 있다. 이 연구에서는 다양한 규모의 조직에서 29명의 개인과 인터뷰를 진행하여 현재 그들이 데이터 사이언스 작업에서 AutoML 시스템을 어떻게 사용하거나 사용할 계획인지를 파악한다. 이 연구는 또한 데이터 시각화가 AutoML 시스템과 함께 어떻게 사용되는지도 조사한다. 연구 결과, 데이터 작업자의 전문성 수준에 따라 원하는 자동화 수준을 요약하는 프레임워크로 이어지는 AutoML의 세 가지 사용 시나리오를 확인했다. 빠른 속도와 인간 감독 간의 긴장감을 드러냈고, 데이터 시각화가 이 두 가지 사이에서 잘 균형을 이루지 못할 수 있다는 것을 발견했다. 이러한 결과는 인간이 참여하는 시각적 분석 접근 방식의 설계와 구현에 시사점을 제공한다.
Introduction
조직은 데이터로 범람하지만 이러한 데이터를 실행 가능한 통찰로 변환하는 데 필요한 기술 전문성을 가진 개인이 부족하다[45]. 이러한 격차를 해소하기 위해 조직은 기계 학습 모델 생성을 자동화하는 기술의 채택으로 시작하여 데이터 과학 작업에서 자동화를 증가시키고 있다[13, 46]. 그러나 이 기술이 기업 환경에 끊임없이 적용되지는 않았다. 현재 AutoML 제품은 유연하게 지원할 수 있는 기능에 제한이 있다. 데이터 준비에서 커뮤니케이션에 이르는 데이터 과학 작업의 전체 스펙트럼을 포괄하는 종단간 시스템은 아직 완전히 실현되지 않았다[34, 54]. 따라서 AutoML 시스템은 실용적으로 적용되기 위해 여전히 인간의 개입을 필요로 한다[42, 46]. 이러한 인간-기계 협업 방식은 여러 가지 도전 과제를 제시하는데[2, 35], 그 중 가장 중요한 것은 AutoML이 제공하는 속도와 개인이 자동으로 생성된 모델과 결과를 해석, 수정, 정제하는 능력 사이의 균형을 맞추는 것이다[20]. 데이터 시각화는 이 인간-기계 협업 과정을 촉진하는 데 중요한 역할을 할 수 있다[20, 46], 그러나 현실 세계의 환경에서 AutoML과 함께 데이터 시각화를 어떻게 사용하는지를 조사하는 연구는 거의 없다. 이러한 공백을 채우기 위해, 우리는 다양한 규모와 다양한 분야의 조직에서 29명의 개인과 인터뷰를 진행하여 현재 데이터 사이언스 작업을 수행하기 위해 AutoML을 어떻게 사용하거나 계획하는지 파악한다.
우리의 조사는 실제 환경에서 AutoML 기술 사용이 상당한 인간의 노력을 필요로 한다는 사실을 밝혀냈다. 이러한 노력은 데이터 과학자와 비즈니스 분석가와 같은 다른 전문성을 가진 사람들 사이에서 데이터 작업을 균형있게 처리해야 하는 필요로 인해 복잡해진다. 이 균형 문제는 AutoML 기술이 확대하고 있다고 여겨지는 데이터 지식의 격차로 인해 악화된다. 참여자들은 데이터 시각화가 AutoML 도구와 상호작용하는 인간 참여형 방식을 촉진하는 한 가지 방법으로서의 가치를 인식했지만, 많은 사람들이 시각화를 제한적으로만 사용한다고 보도했다. 참가자들은 AutoML을 위해 고품질의 시각화를 만드는 것이 종종 너무 어렵고 시간이 많이 들어 자동화를 느리게 만드는 효과가 있으며, 그로 인한 혜택이 제한적이라는 것을 발견했다. 게다가, 참가자들은 다양한 팀들과 AutoML 기술을 활용한 데이터 작업에 협업하는 등 급박한 요구를 지원하는 데 유용한 시각화 도구가 부족하다고 보도했다.
총의적으로, 우리의 연구는 AutoML에 대한 기존 연구와 데이터 과학을 위한 인간 참여형 도구 설계에 다음과 같은 시기적절한 기여를 한다:
- 실제 엔터프라이즈 환경에서 AutoML 기술 사용 사례를 제시하는 인터뷰 연구로, 데이터 시각화를 통해 촉진되는 인간 참여형 방식에 중점을 둔다.
- 조직의 다양한 요구에 따른 AutoML을 위한 세 가지 사용 사례 요약
- 다른 기술적 전문성을 가진 개인들에게 바람직한 자동화 수준을 보여주는 프레임워크
AutoML 시스템이 기업 환경에서 계속해서 주목받을 때, 우리의 기여는 자동화와 인간의 역할 사이에 적절한 균형을 지원하는 인간 참여형 접근 방법을 개발하는 연구 커뮤니티에게 유용한 자원이 될 것이다.
Related Work
우리는 데이터 과학에서 AutoML 사용과 인간이 이러한 과정에 어떻게 참여하는지, 그리고 이러한 과정을 중재하는 현재의 데이터 시각화 접근 방법을 조사하는 기존 연구를 검토한다.
이 연구를 검토하면서 우리는 ‘AutoML’이라는 용어의 다양한 사용에 직면했다. 기계 학습에서 자동화의 초기 목표는 하이퍼파라미터 튜닝과 모델 선택 단계에서 특히 인간을 제거하는 것이었다[50]. 그러나 데이터 준비 또는 특성 엔지니어링과 같은 다른 단계도 하이퍼파라미터 튜닝의 성공에 중요하다는 것이 빠르게 분명해졌다. AutoML이라는 용어의 범위가 더 넓은 단계로 확장되기 시작했고, 최근에는 ‘AutoAI’ 또는 ‘드라이버리스 AI’로 더욱 넓어졌다[46, 54]. 우리는 문헌에서 AutoML, AutoAI, 그리고 ‘데이터 과학의 자동화’라는 문구가 종종 서로 바꿔 사용된다는 것을 알게 되었다. 여기서는 우리는 AutoML이라는 용어를 사용하여 데이터 준비부터 모니터링, 배포에 이르기까지 데이터 과학 단계 전반에 걸친 자동화를 포괄적으로 다룬다.
AutoML in Data Science
데이터 과학은 기계 학습 기술을 활용하여 실제 데이터로부터 새로운 통찰력과 잠재적으로 실행 가능한 인사이트를 도출한다[3, 6, 12]. AutoML 시스템은 데이터 분석 파이프라인을 구축하는데 관련된 연산 작업을 자동화하여 개인이 데이터로부터 이러한 인사이트를 추출할 수 있도록 돕는다. 여러 상업적 시스템들이 이미 존재하고 다양한 종류의 조직 내에서 사용되고 있는데, AWS SageMaker AutoPilot[24], Google의 Cloud AutoML[26], Microsoft의 AutomatedML[29], IBM의 AutoAI[28], H2O Driverless AI[27], Data Robot[25] 등이 있다. 또한 scikit-learn[43] 파이썬 라이브러리와 같은 널리 사용되는 데이터 과학 패키지를 기반으로 하는 AutoML 구현들도 있으며, auto-sklearn[15, 16]과 TPOT[38, 39]가 여기에 해당한다. 이러한 AutoML 시스템들은 주로 특성 엔지니어링, 하이퍼파라미터 튜닝, 모델 선택과 같은 감독 학습 작업을 중심으로 한다[14, 50, 54]. 최근의 혁신은 데이터 준비를 지원하는 종단간(end-to-end) 솔루션을 제안하고 있으며[34, 50, 54], AutoML 기술이 더욱 넓은 종단간 지원을 향해 계속 확장될 가능성이 크다.
AutoML 시스템이 계산 데이터 과학 파이프라인과 어떻게 통합되는지는 다양하다. 일부 AutoML 시스템은 분석가나 데이터 과학자가 생성하는 더 큰 파이프라인 내에서 단일 구성 요소로 존재하며, 예를 들어 자동 특성 선택 단계가 여기에 해당한다. 다른 경우에는 AutoML 시스템이 최소한의 사용자 입력으로 이러한 파이프라인을 생성할 수도 있다. Zöller 등[54]은 기존 AutoML 도구의 종합적인 분석에서 데이터 과학 작업에 AutoML을 포함시키는 세 가지 일반적인 구성을 설명한다. 두 가지 구성은 “고정 구조 파이프라인”으로, AutoML 시스템이 매우 특정한 계산 파이프라인 구성을 가정한다. 저자들은 특정 AutoML 방법(예: 신경망 또는 랜덤 포레스트)에 최적화된 고정 파이프라인과 그렇지 않은 것을 구분한다. 이러한 고정 시스템들은 일반적이지만, 다른 데이터 유형과 작업에 직면할 때 제한 사항이 있다. 예를 들어, 이미지 데이터 또는 텍스트 데이터는 계산 파이프라인 구조 내에서 더 많은 유연성을 요구한다. 두 번째 범주는 “가변 구조 파이프라인”으로, 데이터 과학 파이프라인 내에서 적절한 단계를 학습하는 것을 목표로 하는 상대적으로 최근의 접근 방법을 나타낸다[54]. TPOT[38, 39]은 가장 먼저 등장한 가변 파이프라인 중 하나의 예이다. 미리 결정된 일련의 프로세스를 실행하는 고정 모델과 달리, 가변 구조 접근 방법은 다양한 데이터셋과 사용자 목표에 대응하여 프로세스 네트워크를 학습한다.
많은 AutoML 시스템의 명시적 목표는 데이터 과학 작업의 많은 면에서 사람을 효과적으로 제거하는 것이지만[50], 데이터 과학자들 자체가 표현하는 관점[46], 현재 이 시스템들은 여전히 유용하게 사용되기 위해 상당한 인간의 노력을 의존한다[19]. 이러한 제한 사항은 데이터 과학 작업의 복잡성과 일반적으로 사용되는 고정 구조 파이프라인의 취약성으로 인해 발생한다[54]. 우리의 연구는 데이터 과학 작업 전반에 걸친 인간의 노력을 기록하고, 데이터 작업에 종사하는 개인들이 시각화를 어떻게 사용하는지 조사한다.
Automation and Human-in-the-loop
인간-루프 내( Human-in-the-loop) 접근 방법은 자동화된 과정 내에서 인간 상호작용을 명시적으로 통합하는 방법을 제공한다. AutoML 과정 내에서 인간-루프를 언제 어떻게 추가할지를 식별하는 것은 자동화가 제공하는 속도와 인간 지도의 중요성 사이의 적절한 균형을 이루기 위해 중요하다. Parasuraman 등[41]은 정보 탐색 과정을 위한 적절한 유형과 자동화 수준을 식별하는 데 도움이 되는 모델을 제안했다. 그들은 자동화가 사용되는 네 가지 기본 기능을 정의한다: 1) 정보 획득; 2) 정보 분석; 3) 결정 및 행동 선택; 그리고 4) 행동 구현. 그들은 자동화 수준(없음에서 완전 자동화에 이르기까지)이 인간 성과 결과, 자동화의 신뢰성, 행동 비용과 상대적으로 평가되어야 한다고 주장한다. 자동화의 영향이 중요하고 잠재적으로 해로울 때, 인간의 개입은 필수적이다. 언제, 어떻게, 얼마나 많은 자동화를 할 것인지는 AutoML 기술에 대한 논의에서 여전히 중요하다.
HCI 문헌의 최근 연구들은 AutoML 기술과 관련하여 자동화와 인간 개입 사이의 균형을 검토했다.
Lee 등[34], Gil 등[17] 및 Liao 등[35]은 사용자가 AutoML 시스템과 상호작용하는 일련의 상호작용 모드를 설명한다. Lee 등[34]은 Parasuraman 등[41]의 낮은 수준에서 높은 수준의 자동화를 ‘사용자 주도’, ‘크루즈 컨트롤’, ‘자동 조종’이라는 세 가지 다른 상호작용 모드로 분류한다. ‘크루즈 컨트롤’에서 사용자는 단일 및 즉각적인 다음 구성을 지정하는 대신 AutoML 알고리즘에 탐색할 가능한 구성 집합을 지시한다. 예를 들어, 구성은 사용자가 모델 생성 중 하이퍼파라미터 튜닝을 위한 매개변수를 설정하는 것을 의미할 수 있다. Gil 등[17]은 인간이 주도하는 기계 학습(HGML)을 위한 프레임워크를 설명하는데, 이는 사용자 작업을 ‘AutoML 플래너’라고 불리는 행동을 번역하고 실행할 수 있는 것에 효과적으로 매핑하는 능력에 기반한다. Gil 등과 유사하게, Liao 등[35]은 사용자가 목표를 선언적으로 지정하는 동시에 시스템이 기본 프로세스를 자동으로 생성하도록 할 방법을 제안한다. 그들의 설명에 따르면, Lee 등, Gil 등, Liao 등이 제안한 시스템들은 파이프라인 내의 프로세스를 학습하는 가변 구조 파이프라인과 유사하다. 연구들은 또한 모델 제작과 해석과 관련하여 인간-ML/AI 협업을 조사했다. 이러한 연구들은 AutoML에만 국한되지 않지만, 기업 환경에서 기계 학습 모델과 상호작용하고 해석하는데 있어 주요한 도전 과제를 강조한다. 예를 들어, Hong 등[22]은 다양한 분야에서 20명의 개인들을 인터뷰했고(대다수는 데이터 과학자로 확인됨), 기계 학습 모델을 조직적 관행으로 운영하는 데 있어 다양한 조직 역할 간 협업이 매우 중요하다는 것을 발견했다.
Honeycutt 등[21], Liao 등[35], 그리고 Amershi 등[2]은 다양한 상호작용을 통해 인간과 AutoML 시스템 간에 정보를 어떻게 공유할 수 있는지 설명한다. Honeycutt 등[21]은 인간이 AutoML 시스템에 피드백을 제공할 수 있는 두 가지 일반적인 방법으로 ‘관련성 피드백’과 ‘점진적 학습’을 확인한다. 인간은 관련성 있는 피드백을 제공하여 AutoML 시스템이 효과적인 행동을 했는지 여부에 대해 알려줄 수 있다. 예를 들어, 인간은 레이블이 지정된 데이터를 제공하거나 오류가 발생할 때 이를 수정할 수 있다. 또한 인간은 점진적 피드백의 형태로 AutoML 시스템에 새로운 정보를 제공할 수 있으며, 이는 제품 환경에 배포된 모델에서 개념 이동과 같은 문제를 수정하는 데 사용될 수 있다. Liao 등과 Amershi 등은 반대 방향의 정보 흐름에 초점을 맞추며, 이는 인간이 AutoML 시스템의 결과를 해석하는 데 필요한 정보 유형과 관련이 있다. Liao[35]는 설명 가능한 AutoML 기술 개발을 목표로 하는 지침에서 제한 사항을 파악하기 위해 질문은행을 사용하여 20명의 UX 디자인 전문가들과 인터뷰를 진행했다. 그들의 연구는 ML/AI 결과와 그들의 표현이 개개인이 제기하는 질문에 매우 의존적이라는 것을 보여준다. 마지막으로, Amershi 등[2]은 전문가들이 a) 처음으로 AutoML 시스템과 상호작용할 때; b) 시스템이 작동하는 동안; c) 오류가 발생할 때; 및 d) 사용자 상호작용을 통해 적절한 상호작용 모드를 개요화하는 18개의 포괄적인 디자인 지침 세트를 제안한다.
AutoML 기술을 사용하는 방법과 인간이 루프 안에서 기능에 어떻게 반응하는지를 조사하는 연구들도 등장하고 있다. Wang 등[46]은 여러 산업 분야의 20명의 데이터 과학자들을 인터뷰하여 AutoML에 대한 그들의 실천과 인식을 조사했다. 그들은 AutoML의 이점이 인간의 직관을 대체하는 것이 아니라 증대하는 데 있어서 중요하고 실무자들에게 인정받고 있다는 것을 발견했다. Passi 등[42]은 50명 이상의 데이터 과학자들을 대상으로 한 6개월간의 광범위한 인류학적 연구를 수행했다. 그들의 연구 결과는 데이터 작업자들이 데이터 과학 작업의 자동화 맥락에서 서로 협력하면서 다양한 조직적 요구와 도전을 드러냈다. Zhang 등[53], Drozal 등[13], 그리고 Honeycutt 등[21]은 AutoML 기술에 대한 의사결정과 신뢰를 평가하기 위해 통제된 실험을 수행했으나, 그들의 연구에서는 현업 전문가들을 대상으로 하지 않았다. Zhang 등과 Honeycutt 등은 연구를 Mechanical Turk를 통해 수행했고, Drozal 등은 정량적 분야에서 학부생과 대학원생들을 대상으로 했다. Zhang 등과 Honeycutt 등은 정확도 데이터만을 보고하는 것이 AutoML 시스템이 생성하는 결과에 대한 신뢰와 확신을 향상시키는데 충분하지 않았음을 발견했다. Honeycutt 등은 기계 학습 모델과 상호작용하는 행위 자체가 인간의 지도 하에서 정확도가 향상되더라도 개개인이 모델의 성능에 대한 확신을 줄이는 것으로 관찰되었다. Zhang 등과 Honeycutt 등의 이러한 결과는 인간과 AutoML 시스템 간에 유용한 피드백 메커니즘을 설계하는 데 있어서의 도전을 강조한다.
AutoML 프로세스를 지원하기 위한 많은 인간-루프-안(human-in-the-loop) 접근 방법이 존재하며, 이는 데이터 과학 작업에도 적용되지만, 기업 환경에서 실무자들이 어떻게 이를 통합하는지 이해하는 데 목표를 두고 있는 연구는 많지 않다. 우리는 기업에서 AutoML을 구체적으로 탐색하는 두 가지 연구를 발견했으며, 우리의 현재 연구에서는 이러한 결과를 바탕으로 기업 환경에서 인간들이 인간-루프-안 접근 방식에 대해 어떻게 생각하는지를 더 평가하기 위해 이를 활용한다.
Data Visualization and AutoML
우리의 연구는 AutoML을 위한 인간-루프-안 상호작용을 지원하는 시각화 시스템에 특별히 초점을 맞춘다. 이전에 두 가지 포괄적이고 최신 기술 조사들이 기계 학습에 대한 설명[7]과 신뢰 구축[8]에서 시각화의 역할을 다루고 있다. Yuan [51]의 최근 연구에서는 데이터 과학 프로세스 전반에 걸쳐 시각적 분석 접근법을 보여주고 있다. 이는 모델 구축 이전(데이터 준비 및 특징 공학), 모델 구축 중, 모델 구축 이후(검증, 배포)를 포함한다. 이러한 조사들은 데이터 과학 파이프라인 전반에 걸쳐 의사결정을 지원하기 위해 취해진 접근 방식의 다양성을 보여준다. 여기서 우리는 이 다양성을 종합적으로 보여주는 다섯 가지 시스템을 강조한다. Google Vizier [18]와 ATMSeer [47]는 a) 모델의 복잡한 잠재 공간을 드러내고, b) 상호작용과 시각화를 통해 이 공간을 탐색하며, c) 기계 학습 모델을 분류한다. 이러한 시스템들은 사용자에게 데이터의 다중 조정 뷰를 통해 여러 모델의 결과를 그들의 하이퍼파라미터에 걸쳐 보여준다. GoogleVizier와 마찬가지로, PipelineProfiler [40]와 AutoAIViz [48]는 사용자가 모델 검색 공간을 탐색하고 가능한 하이퍼파라미터 설정을 강조하는데 도움이 되는 평행 좌표 플롯을 사용한다. AutoAIViz는 사용자의 현재 선택에 기반하여 AutoML 파이프라인의 후속 단계를 시각화하는데 조건부 평행 좌표 플롯의 유용성을 보여준다. 데이터 과학 파이프라인 내에서 AutoML을 위한 시각화의 한 가지 제한 사항은 고정된 구조를 가정하는 것이며(2.1 절 참조), 이로 인해 가변 AutoML 파이프라인을 시각적으로 비교하는 것이 어렵다. 이 제한을 해소하기 위해, PipelineProfiler는 auto-sklearn [15] 패키지를 위한 래퍼로 개발되었으며, 다양한 종단 간 AutoML 구현의 시각화 및 비교를 지원한다.
종합적으로, 이러한 시스템들이 인간-루프-안을 포함하는 ‘크루즈 컨트롤’ 모드를 대표한다고 믿는다. 이는 더 느리지만 ‘사용자 주도’와 더 빠르지만 덜 투명한 ‘자동 조종’ 모드 사이에서 균형을 이루는 것이다. 또한, 이 시스템들은 디자인과 데이터 과학 전문가들과 공동으로 개발되었으며, AutoML 시스템을 조사하는데 도움이 되는 시각화 사용에 대한 기존 디자인 지침의 실제 구현을 나타낸다. 그러나, AutoML에 대한 신뢰나 투명성을 구축하기 위해 의도된 이러한 시스템들이 어떻게 사용되는지, 또는 더 우려되는 것은 전혀 사용되지 않는지에 대해 아직 이해되지 않았다. 우리의 연구는 기업 환경에서 AutoML 내의 시각화 전략을 조사하는 데 목적이 있다.
Situating our Research
현재 AutoML 분야의 최신 기술은 기계 학습, 인간-컴퓨터 상호작용, 그리고 시각화를 아우르는 다학제 연구 노력에 기반을 두고 있다. 이러한 연구 노력 덕분에 고정된 것에서 변화하는 것에 이르기까지 다양한 유형의 파이프라인 구성을 지원하는 여러 AutoML 솔루션이 존재하며, “지능형 서비스와 사용자가 효율적으로 사용자의 목표를 달성하기 위해 협력할 수 있도록” 다양한 상호작용 모드를 지원한다 [23]. 그러나 이 기술이 기업 환경에서 어떻게 적용되는지, 사용자가 이 기술의 이점을 효과적으로 활용할 수 있는지, 시각화를 통해 human-in-the-loop를 추가하는 것이 기업 사용자에게 어떻게 인식되는지에 대한 연구는 많지 않다. 게다가, 기존 연구들 [22, 42, 46]은 기업 환경에 초점을 맞추고 있지만 특정 주제, 즉 협업과 신뢰에 중점을 두고 있으며 AutoML이 데이터 과학 작업과 어떻게 넓게 교차하는지를 면밀히 살펴보지 않았다. 이러한 기존 연구를 바탕으로, 우리의 연구는 AutoML과 데이터 과학 작업에 대해 보다 폭넓게 조사하여 AutoML이 조직 프로세스 내에서 어떻게 위치하는지를 조사한다.
Methodology
우리는 AutoML이 데이터 과학 작업을 자동화하는 데 어떻게 사용되는지 이해를 돕기 위해 반구조적 인터뷰를 수행했다. 또한, 데이터 시각화 도구를 통해 매개되는 human-in-the-loop의 역할을 조사하는데 관심이 있었다. 이러한 도구들은 데이터 탐색이나 모델 튜닝 및 선택을 지원하는 데 사용된다.
Intervies and Data Collection
우리는 첫 번째 연락처로 이전 연구에 참여했던 사람들, 저자들이 알고 있는 사람들, 또는 다른 협력자들을 통해 참가자들을 모집했다. 데이터 과학 작업을 수행하는 데이터 과학자 또는 분석가, 또는 데이터 과학자들로만 구성되거나 데이터 과학자와 다른 사람들이 혼합된 팀을 감독하는 관리자로 자체 식별하는 29명의 개인들을 대상으로 인터뷰를 진행했다. 반구조적 인터뷰 형식은 참가자들에게 그들의 조직에서 데이터 과학 작업에 대해 논의하도록 유도했고, 그들이 현재 AutoML 시스템을 어떻게 사용하는지, 또는 AutoML 시스템을 배포할 계획이 있는지, 그리고 Tableau 플랫폼이나 다른 도구를 사용하여 데이터 시각화를 어떻게 사용하는지에 대해 논의하도록 했다.
인터뷰는 대략 60분 동안 진행되었고 음성녹음되고 전사되었다. 참가자, 그들의 조직 규모, 그리고 분야에 대한 요약은 표 1에 정리되어 있다.
Participant Characteristics and AutoML Use
참가자들은 분석가 또는 관리자로 자기를 규정했다. 분석가들은 데이터 분석의 일상적인 업무에 종사하는 개인들로, 데이터 과학자, 비즈니스 분석가, 또는 데이터 과학 업무에 종사하는 기타 기술 분석가들을 포함한다. 관리자들은 데이터 과학자, 비즈니스 분석가, 또는 기타 조직의 의사결정관련 직무들의 혼합을 종종 포함하는 팀을 감독했다. 총 17명의 참가자들이 분석가였고 12명이 관리자였다. 전반적으로, 참가자들은 높은 데이터 과학 전문성을 가지고 있었으나, 한 명은 시민 데이터 과학자로 분류될 수 있었으며, 이는 데이터 과학에 대한 공식적인 교육을 받지 않았지만 AutoML의 도움으로 이 분야를 탐색하고 있었다. 참가자들은 또한 다양한 기능을 수행하는 다양한 규모의 조직들을 대표했다. 네 명의 참가자들은 100명 미만의 조직에 속해 있었고, 10명은 100명에서 1,000명 사이, 4명은 1,000명에서 10,000명 사이, 2명은 10,000명에서 50,000명 사이, 그리고 9명은 50,000명 이상의 조직에 속해 있었다. 참가자들은 데이터 분석, 금융, 정부, 의료, 관리 및 컨설팅, 보안, 통신, 여행 등 다양한 산업 분야의 다양한 조직에서 일했다.
또한, 참가자들을 현재 AutoML 기술 사용에 따라 더욱 세분화했다. 활성 사용자들은 그들 자신 또는 팀 구성원들이 특정 AutoML 기술을 사용하여 업무를 수행한다고 보도한 사람들이었다. 우리는 이 기술을 사용하는 빈도(매일 대비 아님)나 현재 이 기술을 사용하는 사람의 수에 대해 특별히 규정하지 않았다. 실험적 사용자들은 콘셉트 증명을 만들거나 AutoML 기술을 탐색하는 목적으로 적어도 일부 초기 프로젝트를 설명한다고 보도한 사람들이었다. 활성 사용자들과 달리, 기술을 실험하는 사람들은 AutoML 사용이 초기 단계이며 탐색적인 성격을 가지고 있다고 명시했다. 마지막으로, 우리가 분류한 지식이 많은 사람들은 데이터 과학 업무를 포함하여 AutoML에 대한 높은 맥락을 가지고 있었지만, 업무에 이 기술을 사용하거나 사용할 계획이 없었다. 29명의 참가자들 중 8명이 활성 사용자, 10명이 실험 중, 그리고 11명이 지식이 많은 사람들이었다.
Selective Coding Process
그림 3에서는 인터뷰 전반에 걸쳐 이러한 프로세스에 대해 선택적 코딩을 수행하는 방법을 예시로 보여준다. 일부 발언들은 데이터 과학 프로세스에 대해 명시적으로 언급하는데, 예를 들어 “어려운 부분 - 데이터 발견, 데이터 큐레이션”은 사용된 용어가 기존 프레임워크의 고차원 또는 저차원 프로세스에 직접 연결될 수 있으므로 준비 과정에 대한 명시적인 언급이다. 반면에, 프로세스에 대한 일부 언급들은 더 암시적이었고 인터뷰의 다른 맥락과 함께 저자들에 의해 추론되었다. 예를 들어 “여전히 교육이 필요하고, 시각화는 그것에 중요하다. 문제를 고민하는 사람이 여전히 필요하다”는 의사소통 프로세스에 대한 암시적 언급으로 판단되었지만 의사소통과 관련된 명시적인 용어는 없었다.
모델을 실제로 적용하는 것과 마찬가지로, 기존 프레임워크는 분석을 심화하는 데 도움이 되었을 뿐만 아니라, 데이터 과학에 대한 우리의 관찰과 프레임 사이의 자연스러운 긴장을 생성했다. 이러한 긴장을 참가자들이 보고한 경험을 기반으로 이러한 프레임워크를 비평하거나 확장하는 데 사용할 수 있는 질문의 요소로 활용했다. 분석에 기인한 이러한 수정을 5.4 섹션에서 설명하고 제안하는 방법에 대해 반성하며, 논의(섹션 6)에서 다시 설명한다.
Results
Attitudes Toward Automation
우리는 이러한 태도를 요약하는 네 가지 주요 주제를 확인했다: 생산성을 높이기 위한 AutoML의 역할, 도구 통합의 중요성, 잘못된 결정을 자동화하는데 대한 우려, 그리고 마지막으로, 인간이 참여하는 부분을 제한하는 데 대한 열망이다.
참가자들의 AutoML에 대한 태도에 대한 주요 핵심 사항들을 간략하게 요약한다. 참가자들은 잘못된 의사결정을 자동화하는 가능성에 대해 우려를 표현했지만, 데이터 또는 기계 학습 제품과 관련된 실행 가능성과 문제점을 파악하는데 ‘충분히 좋은’ 결과를 내는 데 AutoML 기술을 사용하는데 대한 관심이 증가하고 있다. AutoML은 최소한의 코드로 복잡한 도구를 생성할 수 있게 해주며, 빠르게 실패하고 데이터 과학자와 심지어는 ‘시민 데이터 과학자’라고 불리는 사람들이 더 일찍 문제를 인식할 수 있는 기회를 제공한다. 그러나 가장 명확한 것은 데이터 과학 업무에서 적절한 시점에 AutoML 기술을 적용하는 것이 매우 중요하며, 그렇지 않으면 이를 침해로 간주한다는 것이다. AutoML 기술이 데이터 과학을 언제 어떻게 지원할 수 있는지 더 자세히 살펴보기 위해, 기존의 데이터 과학 업무 모델을 통해 인터뷰를 분석했다.
AutoML in Data Science Work
이 섹션에서는 데이터 과학 과정에서 AutoML의 사용에 대한 결과를 요약한다. 우리는 기계 학습 모델의 생성을 지원하거나 그 결과를 해석, 전달 및 실행하는 데 상당한 인력이 필요한 영역을 고려한다. 3.2절에서 제시한 프레임워크에 따라 데이터 준비, 분석, 배포 및 커뮤니케이션에 대한 AutoML의 사용을 살펴본다.
데이터 과학 파이프라인을 따라 AutoML 기술을 조사함으로써 이 기술의 현재 능력과 데이터 과학자 및 기타 이해 관계자를 지원하기 위해 기술과 주변 생태계를 어떻게 더 발전시킬 수 있는지 이해하는 데 도움이 된다. 우리는 데이터 분석 프로세스 외부에서 AutoML 기술에 대한 공백을 발견하고, 이는 데이터 준비, 거버넌스 및 배포 프로세스에서 도구 요구가 충족되지 않는다는 것을 의미한다. 이러한 프로세스들은 여전히 데이터 분석에서 AutoML 기술을 활용하기 위해 상당한 인력이 필요한 영역이다. 이러한 다른 프로세스로 확장되는 자동화는 이러한 데이터 과학 작업의 품질과 속도를 개선할 수 있는 가드레일이 함께되는 이상적인 방법이다. 또한, 자동화와 데이터 과학 전문성 간의 관계는 미래 도구가 지원해야 할 핵심 고려사항으로 부각되었다. 데이터 과학 전문가와 다른 훈련을 받은 데이터 작업자들 사이에 존재하는 긴장이 드러나서 우리는 많은 사람들이 AutoML 기술의 액세스를 제한하기 위해 강력한 가드레일 전략을 추구하는 것에 놀랐다. 이것은 안전한 모델의 생성, 배포 및 거버넌스를 지원하기 위한 충분한 도구의 부재에서 비롯된 것으로 생각된다. 이 공간에서는 시각화 연구에 많은 기회가 있다. 그러나 참가자들의 의견 분석 결과, 기존의 시각화 도구가 그들의 요구를 충족시키지 못하고 있다는 것을 밝혀냈다. 또한, 데이터 시각화 도구는 학습 곡선이 가파르고, 집중적인 분석 이후에도 사용 동기가 적다는 것을 발견했다. 우리는 데이터 과학 작업을 수행하는 팀의 다양성과 그들이 많은 조직 프로세스와 어떻게 교차하는지를 이해하는 것이 매우 중요하다고 강조한다. 즉, 시각화 도구는 많은 인간들이 많은 루프에 참여하는 데 도움이 되어야 한다.
Three Usage Scehnarios for AutoML Emerge
일반적으로 AutoML에 대한 태도는 데이터를 분석하는 개인의 기술적 전문성(통계학과 컴퓨터 과학)과 오류로 인한 결과의 중요성에 따라 조건이 달린 세 가지 사용 시나리오를 보여준다. 첫 번째 사용 시나리오는 루틴한 작업을 자동화하여 데이터 과학 팀의 코딩 작업을 줄이고 분석 프로세스의 속도를 향상시킨다. 두 번째 사용 시나리오는 적은 노력으로 잠재적인 데이터 과학 솔루션을 빠르게 탐색하는 것이다. 이러한 프로토타이핑 접근법은 다양한 수준의 기술적 전문성을 가진 개인들에 의해 사용될 수 있다. 기술적 전문성이 높은 개인들(예: 데이터 과학자, 일반 연구자, ML/AI 엔지니어, 데이터 셰이퍼 등)의 경우 프로토타이핑을 통해 빠르게 기본 프레임워크를 생성하고 이를 새로운 기술적 도전에 대한 솔루션으로 발전시킬 수 있다. 다른 개인들에게는 프로토타이핑을 통해 고객 및 조직 구성원과 데이터에 대한 대화를 할 수 있다. 프로토타이핑은 또한 개인들과 데이터 과학 팀이 상당한 엔지니어링 작업에 투자하기 전에 데이터와 분석에 문제가 있는지 빠르게 발견하고 실패를 경험할 수 있는 기회를 제공한다. 세 번째로, AutoML을 사용하여 머신러닝 모델 생성 능력을 민주화하는 것이다. 이 세 번째 시나리오에서는 개인들이 AutoML 시스템으로부터 심도 있는 지도와 가이드레일을 필요로하며, 오류를 식별하거나 수정하는 능력이 매우 제한적일 수 있다.
이러한 사용 시나리오의 구분은 시각화 연구자들이 AutoML을 위해 기법이나 시스템을 개발하는 가능성을 탐색할 때 참고할 수 있도록 하는 것을 목적으로 한다.