각 창립자는 오늘 같은 질문을하고 있습니다. AI는 어디에 있으며 어떻게해야합니까?
인공 지능 및 연구 실험실은 실험실에만 국한되지 않으며, 예술, 직업 및 심지어 우리가 생각하는 방식입니다. AI의 가장 큰 진보의 중심에서 20 년을 보낸 Google Dipmind 최고 과학자이자 Ghtek Jain 감독보다 더 잘 이해하는 사람은 거의 없습니다.
이 대화에서 Jain은 왜 긴 강화가 가장 과소 평가 된 변화가 될 수 있는지, 모든 장벽이 여전히 진보를 위협하고 인도 기업가들이 어떻게 파괴하지 않고 파도를 타는지를 설명합니다.
백포톱에서 변압기까지
Jain의 첫 번째 얼굴 -To -Face -Face 사건은 거의 우연히 우연히 실수였습니다. “내가 시작했을 때 나는 대학에 있었고이 책 Jeffrey Hinton이 Backprop이라는 알고리즘이있는 책을 발견했습니다.
그의 호기심은 그를 Uti Austin의 기계 학습으로 심화 시켰습니다. 의사 결정 트리 및 지원 벡터 머신과 같은 주요 모델은 기능을 신중하게 설계하기 위해 도메인 전문가가 필요합니다. “그 당시에는 입력 입력을 모델에 손으로 잡아야했기 때문에 아무것도 주어지지 않았다”고 회상했다.
전환점은 Alexnette와 함께 20시에 나왔습니다. “순수한 신경망 기반 모델이 순수한 신경망 기반 모델 이미지의 분류를 위해 상당히 신중하게 설계된 컴퓨터 비전 모델보다 더 잘할 수 있었으며 주로 홍수를 열었습니다.”
곧 NLP Word는 2 VC 및 시퀀스-시퀀스 모델과 같은 혁신을 따랐습니다. GPU 및 TPU의 도움을 받아 2017 년에 트랜스포머 규모의 병렬 교육이 잠금 해제되어 오늘날의 큰 언어 모델의 단계를 설정했습니다.
오랜 강화를 배우는 놀라움
발전기가 AI 타이틀을 지배 한 후에도 Jain은 오랫동안 강화하는 학습의 최근 의제를 나타냅니다.
연구원들은 성능이 좁은 작업에서 개선되었을뿐만 아니라 어떤 답을 약속하기 전에 모델을 일반화하지 않았다는 것을 발견했습니다. Jain은 “수학 문제에 대한 많은 강화를 배우면 전체적으로 논쟁하기 시작하면서 모델이 전반적으로 더 나아지기 시작한다”고 설명했다.
흥미로운 점은 그가 인간 교육을 받고 있다는 것입니다. “인도 부모는 매우 신중하게 배워야하며 나머지 주제는 제자리에있는 것처럼 보입니다. 모델에서는 매우 자연스럽게 발생한 것 같습니다.”
진행하다
AI의 빠른 발전에 대한 모든 흥분에 대해서는 남아있는 도로에 대해 분명합니다. 그는 오늘날의 모델이 여전히 짧고 다음 나이가 오는 곳의 세 분야를 지적했습니다.
첫 번째는 지연입니다. “모델은 현재자가이므로 한 번에 단어 나 토큰을 생성하므로 연쇄 특성이있어 매우 빠른 가속기를 매우 깊은 방식으로 사용합니다 (하드).” 다시 말해, GPU와 TPU가 더 강한 후에도 오늘날의 아키텍처는 해당 평행을 완전히 활용하도록 설계되지 않았습니다. 그는 확장 모델과 같은 대안의 탐색 이이 장벽을 극복하는 데 도움이 될 수 있다고 제안했다.
두 번째 과제는 데이터입니다. 규모는 지금까지 AI의 이익의 대부분을 이끌어 냈지만 잘 진행되고 있습니다. “우리는 모델을 훈련시킬 수있는 데이터를 벗어날 수 있으므로 스타트 업의 경우 소유 한 데이터 세트, 큐 레이트 암기 및 도메인 별 신호가 한계로 인해 귀중한 조류가 될 수 있음을 상기시켜줍니다.
세 번째는 불투명하고 보호입니다. 그들의 강점에도 불구하고, 큰 모델은 또한 제조업체들에게도 신비 롭습니다. “우리는 정기적으로 IMO 금메달을 많이 얻은 모델이 매우 어리석은 실수만큼 강한 다른 상황에 처해 있습니다. 그리고 현재에서 파생 된 순간, 어떻게 고칠 수 있는지는 분명하지 않습니다.” 이 설명의 부족은 단순한 과학적 호기심이 아니라 보호 위험입니다. “모델의 불투명성은 특히 이러한 모델이 더 강해지기 때문에 문제가되기 때문에, 나쁜 배우, 탈옥, 공격, 중독에 의해 사용될 수 있도록 점점 더 유용 할 수 있기 때문에 더 유용합니다.”
인도의 AI 기회
인도가 깊은 AI 연구를하고 있는지 물었을 때, Jain은 분명합니다. “우리는 소비자가되어야 할뿐만 아니라 집에 앉아야합니다. 그것은이 규모와 다양성의 국가에 대해 매우 비판적입니다.”
그는 인도가 사람들을 투자함으로써 긴 게임을해야한다고 강조했다. “우리의 AI 엔지니어, AI 앱 개발자, AI 연구원, 기초 구축은 매우 강력한 기초가되어야합니다. 따라서 우리는 많은 것을 투자해야합니다.”
그는 오픈 소스에 동의한다. “
창립자의 제안
인도 기업가들이 AI Wave를 탐색하기 위해 Jain은 쉽지만 긴급 알림을 제공합니다. 모델을 어디에 있든 모델을 만들면 오늘날의 위치가 아닙니다.
“이러한 모델은 상당한 속도로 향상되고 있습니다. 기본값이 오늘날 모델에 소비되거나 차이가 발생하면 3-6 개월 이내에 증발 할 수 있습니다.” 그는 위험이 밤새 완전한 스타트 업 전략을 게시함으로써 저렴하고 더 나은 기초 모델이라고 설명합니다. 일시적인 비 효율성에 대한 베팅은 모래의 건축과 같습니다.
그렇다면 창립자는 어디에 집중되어야합니까? “도메인을 선택하든 도메인의 작업 흐름은 잘 이해되며 도메인 워크 플로우를 이용할 수있는 아키텍처 또는 작업 흐름을 설계 할 수 있다면 모양이 양호합니다.” 이것은 해자가 단순한 모델 일뿐 만 아니라 랩의 통합, 평가 및 유지 보수임을 의미합니다. 의료, 교육 또는 금융과 같은 산업에서 도메인 깊이는 실제 차이가됩니다.
더 많은 통찰력을 얻으려면 전체 팟 캐스트 에피소드를 듣습니다.
Timesstamps
00:00- 소개
03:00- Jain College의 AI Research에서 AI 연구가 어떻게 시작 되었습니까?
07:00 -Alexnett 순간과 그것이 중요한 이유
14:30 -GPU, TPU 및 스케일링 AI
16:20- chatzept 순간과 대중은 받아들입니다
21:40- 오랫동안 강화 학습 : 가장 큰 놀라움
24:00 -AI의 AII : 데이터, 기술, 정렬
26:49- 인도의 깊은 AI 연구 도전
50:44- AI가있는 건물의 설립자 제안
아디드와 스와 필 카난
