NCSU 연구원들은 인공 지능을 통해 이미지를 생성하는 획기적인 방법을 보고합니다.
게시 날짜:Matt Shipman 작성 — 2021년 6월 3일 .
노스캐롤라이나 주립대학교 연구진이 인공지능(AI) 시스템이 이미지를 생성하는 방식을 제어하는 새로운 최첨단 방법을 개발했습니다. 이 작업은 자율 로봇공학부터 AI 교육까지 다양한 분야에 적용됩니다.
문제는 AI 시스템이 특정 조건을 충족하는 이미지를 생성하는 조건부 이미지 생성이라는 AI 작업 유형입니다. 예를 들어, 사용자가 요청한 동물에 따라 고양이나 개의 원본 이미지를 생성하도록 시스템을 훈련시킬 수 있습니다. 보다 최근의 기술은 이미지 레이아웃과 관련된 조건을 통합하기 위해 이를 기반으로 구축되었습니다. 이를 통해 사용자는 화면의 특정 위치에 표시하려는 개체 유형을 지정할 수 있습니다. 예를 들어, 하늘은 한 상자에 들어갈 수 있고, 나무는 다른 상자에 들어갈 수 있으며, 시냇물은 별도의 상자에 들어갈 수 있습니다.
새로운 작업은 사용자에게 결과 이미지에 대한 더 많은 제어권을 제공하고 일련의 이미지에서 특정 특성을 유지하기 위해 이러한 기술을 기반으로 합니다.
"우리의 접근 방식은 매우 재구성 가능합니다"라고 연구 논문의 공동 저자이자 NC State의 컴퓨터 공학 조교수인 Tianfu Wu는 말합니다. “이전 접근 방식과 마찬가지로 우리 접근 방식을 사용하면 시스템이 특정 조건 세트에 따라 이미지를 생성하도록 할 수 있습니다. 그러나 우리의 이미지를 유지하고 추가할 수도 있습니다. 예를 들어 사용자는 AI가 산 풍경을 만들도록 할 수 있습니다. 그런 다음 사용자는 시스템이 해당 장면에 스키어를 추가하도록 할 수 있습니다.”
또한 새로운 접근 방식을 통해 사용자는 AI가 특정 요소를 조작하여 식별 가능하게 동일하지만 어떤 방식으로 이동하거나 변경되도록 할 수 있습니다. 예를 들어, AI는 스키어가 풍경을 가로질러 이동할 때 시청자를 향해 회전하는 모습을 보여주는 일련의 이미지를 생성할 수 있습니다.
매일 오후 받은편지함으로 주요 뉴스를 받아보세요.
Wu는 "이에 대한 한 가지 응용 분야는 자율 로봇이 주어진 작업을 시작하기 전에 최종 결과가 어떻게 보일지 '상상'하도록 돕는 것입니다."라고 말했습니다. “또한 이 시스템을 사용하여 AI 훈련을 위한 이미지를 생성할 수도 있습니다. 따라서 외부 소스에서 이미지를 컴파일하는 대신 이 시스템을 사용하여 다른 AI 시스템 교육용 이미지를 생성할 수 있습니다.”
연구원들은 COCO-Stuff 데이터 세트와 Visual Genome 데이터 세트를 사용하여 새로운 접근 방식을 테스트했습니다. 이미지 품질의 표준 측정을 기반으로 한 새로운 접근 방식은 이전의 최첨단 이미지 생성 기술보다 성능이 뛰어났습니다.
“우리의 다음 단계는 이 작업을 비디오와 3차원 이미지로 확장할 수 있는지 확인하는 것입니다.”라고 Wu는 말합니다.
새로운 접근 방식을 훈련하려면 상당한 양의 계산 능력이 필요합니다. 연구원들은 4-GPU 워크스테이션을 사용했습니다. 그러나 시스템 배포에는 계산 비용이 덜 듭니다.
Wu는 "우리는 하나의 GPU가 거의 실시간 속도를 제공한다는 사실을 발견했습니다."라고 말했습니다.
“우리 논문 외에도 우리는 다음을 만들었습니다. GitHub에서 사용할 수 있는 이 접근 방식의 소스 코드. 즉, 우리는 항상 업계 파트너와의 협력에 열려 있습니다.”
종이, "제어 가능한 이미지 합성을 위한 레이아웃 및 스타일 재구성 가능한 GAN 학습,”가 저널에 게재되었습니다. 패턴 분석 및 기계 지능에 관한 IEEE 거래. 논문의 첫 번째 저자는 최근 박사 학위를 취득한 Wei Sun입니다. NC 주립대 졸업.
이 작업은 보조금 1909644, 1822477, 2024688 및 2013451에 따라 국립 과학 재단의 지원을 받았습니다. W911NF1810295 승인을 받아 미 육군 연구소에 의해; 그리고 보조금 90IFDV0017-01-00에 따라 지역사회 생활 관리국에 의해.
원본 출처: WRAL TechWire