Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

2016-02-03 01:01:00 來源:雷鋒網(wǎng) 作者:佚名 人氣: 次閱讀 169 條評論

相比Google,F(xiàn)acebookAI研究院的優(yōu)勢在哪里?SerkanPiantino是他們的研究主管,他會如何回答這個問題?...

編者按:本文由張巨巖翻譯自Quora。

Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

SerkanPiantino,F(xiàn)acebookAI研究工程部主管,F(xiàn)acebook紐約部主任。曾是BridgewaterAssciates公司的投資合伙人。之前負責(zé)領(lǐng)導(dǎo)開發(fā)Newsfeed、Newsfeed排序算法、Timeline和Messenger的基礎(chǔ)設(shè)施建設(shè)等。

Serkan Piantino 在 Quora 上對關(guān)于 Facebook AI 研究院的問題給了詳細的解答,新智元整理如下:

| Q1:FacebookAI研究院(FAIR)有哪些最有意思的項目?

有很多有趣的東西,但我會突出一些亮點,還有一些用途廣泛的、令人興奮的項目關(guān)鍵點。

首先,在感知方面,我們構(gòu)建了能理解圖片、視頻、聲音等等外界輸入的系統(tǒng)。Facebook網(wǎng)站上也有一些示例,例如,我們構(gòu)建了能夠回答圖片場景相關(guān)問題的系統(tǒng),這里是我們近期在參加MSCOCO挑戰(zhàn)賽時用于分割和標記物體的系統(tǒng)所生成的圖片。

Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

這類東西——完成了人類認知任務(wù),如標記、對高維輸入(像素、視頻幀、音頻樣本等等)回答問題——近幾年被廣泛地使用,特別是使用了卷積神經(jīng)網(wǎng)絡(luò)這類技巧后。卷積神經(jīng)網(wǎng)絡(luò)是我的同事YannLeCun很早以前發(fā)明的,后來因為GPU處理海量數(shù)據(jù)的強大能力而變得很實用。這很令人興奮,因為它的進步速度十分快,而且這也開辟了以往沒有的新產(chǎn)品領(lǐng)域——能夠在Facebook上理解文本和意圖的產(chǎn)品領(lǐng)域。

我們也開始逆向應(yīng)用這些網(wǎng)絡(luò),讓它們從一段文字描述中想象場景或圖片,而不是從圖片中總結(jié)出文字。以下是FAIRySoumithChintala和波士頓的indicoResearch的一些合作成果,它生成了AI自己想象出的臥室場景。

Facebook AI 研究院負責(zé)人:相比百度和谷歌,我們有哪些優(yōu)勢?

而且這些網(wǎng)絡(luò)也被用于生成面部圖像、專輯封面、花、中國漢字甚至還有二次元角色圖像。

下一件我想突出的事情是我們賦予這些網(wǎng)絡(luò)類似于人類記憶和推理的能力。FacebookM項目中一些自動化部分是依靠記憶網(wǎng)絡(luò)的,這一工作是被FAIRy的JasonWeston發(fā)表出來。為了處理長對話,我們不得不理解每段文本的意思,而且為了我們以后也能查詢這些內(nèi)容,我們也需要存儲和訪問它們。這些記憶網(wǎng)絡(luò)是在時間中學(xué)習(xí)如何創(chuàng)造并查詢既定事實的一系列網(wǎng)絡(luò)構(gòu)建方法的一部分。如果說我們傳統(tǒng)而無狀態(tài)(stateless)的方法看起來像是在時間的推移中學(xué)習(xí)構(gòu)建簡單電路的話,那么這些網(wǎng)絡(luò)看起來就像是完全的自主布線處理器(full,self-wiringprocessors)。我們也有一些關(guān)于這種網(wǎng)絡(luò)讀故事并隨后回答問題的網(wǎng)絡(luò)示例。

最后,我們從Facebook本身也學(xué)到很多東西。Facebook有15.5億用戶,他們之間的相互聯(lián)系和對外部世界的發(fā)掘給了我們絕佳機會來研究人類。作為一名工程師,將系統(tǒng)擴展到整個Facebook社交圖上并從中學(xué)習(xí)讓我非常興奮,而全球唯一能夠做到這一點的地方就在這里。我們還有很遠的路要走,但我們希望在工作(預(yù)測和理解Facebook社交關(guān)系圖)中學(xué)到更多關(guān)于人們的東西。

這無論如何都不是所有的有趣研究,但是它們是我個人喜歡的一些亮點。

| Q2:你對有興趣進入AI實驗室的工程師有什么技能要求和個性要求?

根據(jù)我們的經(jīng)驗,在FAIR的工程師首先應(yīng)該具有一名強大的Facebook工程師所有的特點——如聰明、勤奮、適合我們文化、能將抽象想法轉(zhuǎn)化為可用的電腦代碼。有了這些,我還需要尋找:

有一些機器學(xué)習(xí)的基本背景,作為理解你周圍其他語言的基礎(chǔ);

對相關(guān)領(lǐng)域的強烈興趣。對你所從事的東西有強烈興趣;

具有天生的好奇心——閱讀文獻,跟進科學(xué)進展

快速習(xí)得新研究工具(如CUDA,Torch)而不只是學(xué)習(xí)它們,還要從事改進它們的工作。

| Q3:在紐約,像Facebook這樣的大型科技公司和初創(chuàng)企業(yè)之間的關(guān)系是怎樣的?與硅谷有什么不同?

最重要的一個地方是建立這個領(lǐng)域的生態(tài)系統(tǒng)和創(chuàng)業(yè)氛圍,而且創(chuàng)新是人們承受他們生涯中真實存在的風(fēng)險并控制它們的能力。理想狀態(tài)下,人們在“從創(chuàng)立一個企業(yè)并從頭學(xué)起”到“加入能提供更多穩(wěn)定性的大公司并幫助他們從以往的成功中學(xué)習(xí)”的過程中有很多選擇。

在過去的幾年里,我們看到了NYC的巨大成長,不僅僅是初創(chuàng)公司還有更大的機構(gòu),如FacebookNYC。結(jié)果是,這個生態(tài)系統(tǒng)變得越來越完整,而且我認為你也會在不同公司和創(chuàng)業(yè)領(lǐng)域(硅谷的標志)中看到一些和諧而積極的行動。

所以,總體來講,我會說它正快速向硅谷,或者說是技術(shù)生態(tài)系統(tǒng),這類的關(guān)系方向發(fā)展。

| Q4:在接下來的5年里我們預(yù)期會看到哪些AI產(chǎn)品?

現(xiàn)在有很多神奇的產(chǎn)品,但現(xiàn)在大部分產(chǎn)品所具有的能力是很原始的。這些產(chǎn)品正用很多種方式轉(zhuǎn)化為Facebook的產(chǎn)品,但是我們需要做更多才能將這些技術(shù)挖掘出來,進而將人們天馬行空的想象轉(zhuǎn)化為真實的產(chǎn)品。現(xiàn)在,一些AI公司太貪心科技研發(fā)以至于他們沒有發(fā)布任何東西。

所以,接下來的5年里,很多我們在研究社區(qū)中討論過的東西預(yù)計會變成更加普及和商品化的技術(shù),也會有很多新初創(chuàng)公司(還有我們的團隊)盡他們所能來用AI改善生活。

| Q5:剛從大學(xué)畢業(yè)的人想要進AI實驗室還需要掌握什么技能?

對于FAIR或者其他工程領(lǐng)域來說,我們不特別要求學(xué)士或碩士學(xué)位(甚至類似的大專學(xué)歷)。總是有辦法證明你所具有的、在招聘時值得我們注意的能力,雖然在計算機科學(xué)或機器學(xué)習(xí)方面的頂級項目中取得優(yōu)異成績是我們注意到世界上最好人才的常見方式(很顯然)。

至于具體技能,見我之前的回答(Q2)。

| Q6:相比百度AI或谷歌AI,F(xiàn)acebookAI有哪些優(yōu)勢?

我認為有一些結(jié)構(gòu)方面的優(yōu)勢:

我們已經(jīng)特別擅長硬件、軟件、開發(fā)平臺和基礎(chǔ)設(shè)施的建設(shè)來加速團隊工作效率;

我們有全球最大的跨文化、多模態(tài)、結(jié)構(gòu)化、有組織的人們互動的數(shù)據(jù)庫;

我們100%承諾會用5到10年時間來開拓AI領(lǐng)域,而且開源并發(fā)表我們所有的技術(shù)以供行業(yè)使用。

| Q7:紐約科技比硅谷好在哪?

在紐約,我們有繁榮的科技社群,還有很多其他產(chǎn)業(yè)。當(dāng)產(chǎn)品的客戶和開發(fā)者之間有高頻率地接觸時,一些很好的產(chǎn)品和創(chuàng)新成果會被研發(fā)出來,因此如果你想要在為數(shù)不多的億萬美元級的產(chǎn)業(yè)中有所作為的話,紐約是一個合適的選擇。

在FacebookNYC,我們能首先目睹這一切。幾乎我們所有的大型團隊所關(guān)注的產(chǎn)品都因紐約(當(dāng)?shù)厝恕⑿侣労统霭嫔蹋┒@得利益——負責(zé)AI研究和移動設(shè)備基礎(chǔ)設(shè)施的團隊要么和當(dāng)?shù)禺a(chǎn)業(yè)有緊密合作,進而開發(fā)有關(guān)城市環(huán)境體驗的產(chǎn)品,要么以東海岸豐富的人才為中心(如AI研究院或移動工程)。

| Q8:在FacebookAI實驗室工作是怎樣的一種體驗?

如果我畫一個色譜圖,一端是小型個體研究項目,中間是很多研究人員或工程師的合作項目,另一端則是大規(guī)模團隊項目和用于產(chǎn)品的系統(tǒng),在這個色譜圖中,我們會有很多項目同時進行。事實上,任何個體研究人員或工程師經(jīng)常一次性參與很多項目的很多階段。我們討論過很多次的話題是,想法“傳送帶”將原型變?yōu)镕acebook的產(chǎn)品,這也是現(xiàn)在FAIR的一個特色。

雖然這讓管理者的工作變得很復(fù)雜,于是在MenloPark、紐約和巴黎有了一些辦公室,但是這對我們每一個參與的人來說是很興奮的,也有成就感,因為有很多種不同的方式來推進科學(xué)。

| Q9:讓一個遠程團隊變得積極、緊密聯(lián)系并有高生產(chǎn)力,有哪些好方法?

這里是一些技巧:

團隊結(jié)構(gòu)很重要。分情況對待,遠程團隊中的單獨個體感到受挫的頻率以天為計算單位;需要遠程管理的一小波人所組成的團隊感到受挫的頻率以周來計算;遠離主管或其他機構(gòu)領(lǐng)導(dǎo)的一個完整團隊感到受挫的頻率以月計算;一個完整的機構(gòu),還具有自主性、遠見和決策制定有可能永遠也不會感到受挫;

人們需要周期性“全面同步”,特別是在關(guān)鍵時期,例如做出了一些決定或某些計劃被合并了。這些同步之間不能相隔太久,否則有可能存在風(fēng)險,如團隊成員做錯事或沒在相同的節(jié)奏上;

遠程管理會感覺十分陌生而且具有強制性。你需要嘗試拜訪你的團隊,再三確定他們是決定制定過程和組織變化過程的一部分,因為如果你不這樣做,他們傾向于將這些看做是公司總部的強制命令(這會讓人感受到封閉);

雇員旅行訂票時不要有冗長的條條框框,鼓勵他們經(jīng)常旅行。他們比你了解應(yīng)該何時到目的地更好。

強調(diào)他們的自主性,并保護它。如果他們感受到你的信任的話,他們會給你驚喜的。

| Q10:在你所知道的一些最成功的工程師中,有哪些共性?

好問題。經(jīng)過與一些很厲害的工程師共同開發(fā)很多項目后,這里是我注意到的一些趨勢:

軟件工程師主要擴展的方式——還要記住在生產(chǎn)力方面可以有10或100的差距——是處理程序分塊(chunking)。一個會思考和熟練寫代碼的工程師與一個在整個算法或系統(tǒng)的思考方面有經(jīng)驗的工程師相比,后者效率更高。為了真的將一些事情組塊化,首先應(yīng)該掌握它,因此最好的工程師不僅僅能從抽象角度來描述系統(tǒng),他們準確地知道內(nèi)部每一塊是如何運作和相互影響的。

偉大的工程師都有第六感,這種第六感是關(guān)于何時何地來建立抽象部分。他們將代碼看做是開發(fā)過程中最自然和最有靈活性的表達方式,而這一點不僅讓他們在保持代碼的可讀性和簡潔性方面很細心,而且也讓系統(tǒng)因精心選擇的抽象方式而更具力量和靈活性。

他們自己有很多工具。因此,解決問題更像是選擇不同的工具,他們明白這一點,也在不斷地擴大自己的工具庫。

他們易于合作且很成熟。這個工作的很多部分是交流并成為可靠的隊友,因而個性是十分重要的。偉大的工程師不需要是性格外向的人,他們不需要友善和易于相處,他們也不需要渴望成為管理者。但他們必須清楚如何用開放而相互尊敬的方式來與他人合作。

| Q11:你對一家考慮建立遠程工程辦公室的公司有什么建議?

我觀察到,一些公司在成長過程中感受到壓力,不管是內(nèi)部(來源于那些想要離開的職員)和外部(來源于那些如果公司要搬走,他們就不加入公司的候選人),而且在這些時候,租用一個共享空間并讓這些人成立一間新辦公室這一選擇是很誘人的。

不幸的是,這保證了辦公室在公司尷尬但很小階段的成長過程中比較有用。這樣的工程師將來的工作有可能都要通過遠程團隊來完成,這會導(dǎo)致低效率和受挫感的出現(xiàn);也有可能辦公室被強制專精某一產(chǎn)品或領(lǐng)域,這樣的話,辦公室后來很難有成長。

因此,我對公司的建議是等待,然后當(dāng)你知道你可以沖刺為一個舒服的、可持續(xù)的規(guī)模時,謹慎地設(shè)立一家辦公室。在FacebookNYC,我們用了4年時間從0成長為350。我們一直快速地雇傭人才、設(shè)立更多和更深的研究項目,讓我們每一位早期工程師成為定義這家辦公室的一部分,因為這家辦公室就是圍繞他們而建立的。這使得FBNY更像是一家大公司內(nèi)部的快速成長的初創(chuàng)公司,而不是一個被遺忘的小型機構(gòu)。

| Q12:為什么紐約部不像硅谷一樣開發(fā)具有野心的技術(shù)(如,自動駕駛車)?

首先,讓我指出一點,晶體管——整個數(shù)字和信息時代的基石——是在紐約的郊區(qū)被發(fā)明出來的。

總體來說,硅谷受益于以技術(shù)為中心的高密度和專業(yè)化機構(gòu),然后再加上健康的基礎(chǔ)設(shè)施和將想法轉(zhuǎn)化為產(chǎn)品和可持續(xù)企業(yè)的生態(tài)系統(tǒng)。

紐約的優(yōu)勢是多樣性,技術(shù)同比增長為40%(考慮到招聘),再加上以這里為中心的過剩的其他產(chǎn)業(yè)。大型科技公司,如我們(Facebook)也在茁壯成長,因此創(chuàng)業(yè)的生態(tài)圈、資金的基礎(chǔ)設(shè)施和對創(chuàng)意的培育在近幾年中呈現(xiàn)了爆炸式增長。

我期待具有野心的創(chuàng)意——特別是那些能夠解決世界性問題的想法,如健康護理、政府無障礙通行、教育等等——在接下來的10年里在這里成長,豐富這里的多樣性,進而為這里的科技和創(chuàng)業(yè)精神產(chǎn)生巨大影響。

| Q13:如果讓你告訴那些對AI十分感興趣的初學(xué)者一件事情,它會是什么?

現(xiàn)在這一研究社群有很多興奮的進展,因為一直有新的發(fā)現(xiàn)被公布,基準測試結(jié)果被不斷刷新。但是你不需要發(fā)明一些新的東西來從事AI工作。你需要復(fù)制這些成功的工具都是開源的,而且很有可能你想要的網(wǎng)絡(luò)在Github上是開放的,而且是預(yù)訓(xùn)練好并隨時可用的。

查看一下代碼;鼓搗一下模型看看會發(fā)生什么;在社群中問問題。這個領(lǐng)域需要更多的實踐者,和更多的人來將這些發(fā)現(xiàn)變?yōu)橛杏玫漠a(chǎn)品。

| Q14:運行Facebook新聞紀要(Newsfeed)項目是怎樣的體驗?

我必須指出,NewsFeed項目最初成立是在2006年,那時我還沒有進入Facebook。這個故事也基本上傳開了,因此如果你有興趣的話,你應(yīng)該能在Quora的其他問題中找到關(guān)于那些天的描述。

我在2007年才開始從事NewsFeed項目的工作,幫助重寫了后端部分,開發(fā)了排序算法,領(lǐng)導(dǎo)了幾年的團隊。這是我生涯中最好的體驗——我無法表達出這讓我多么自豪:你關(guān)于人們?nèi)绾魏蜑槭裁聪嗷ヂ?lián)系的想法被采用,接著一路編譯到C++中,讓億萬計的人實時得到他們所關(guān)心的內(nèi)容。

| Q15:在Facebook開發(fā)AI產(chǎn)品的過程中,用到了那些編程語言?

我們在FAIR用到了很多工具。主要有:

Lua(和Torch),用于原型制作、訓(xùn)練、調(diào)試、可視化等等;

CUDA,用于編寫高性能模塊,GPU優(yōu)化模塊;

C/C++用于低層的編寫,Caffe用于產(chǎn)品;

Python、Matlab和一些其他工具用于一些專業(yè)的工作中;

| Q16:今天最富有挑戰(zhàn)性卻最簡單的AI問題?

非監(jiān)督學(xué)習(xí)。

我們今天構(gòu)建的幾乎所有的東西都被我稱為專業(yè)AI。我們有某個任務(wù)的足夠樣本,接著我們訓(xùn)練電腦在沒有我們的情況下完成任務(wù)。在我們的AI示例中沒有顯示出來的一件事是我們在人力標記圖片、標記視頻數(shù)據(jù)集等等方面花費了多少精力才讓機器得到了足夠數(shù)據(jù)來學(xué)習(xí)完成某個任務(wù)。

人類真的不是這樣學(xué)習(xí)的。我們能夠通過看、感知和體驗現(xiàn)實來理解世界并在世界中進行活動。如果我們想要造出類似通用AI的東西的話,我們要弄清楚如何從簡單的觀察中進行學(xué)習(xí)。換句話來說,我們要開發(fā)出一個不需要人類標記來“監(jiān)督”的系統(tǒng)。

我不認為有人真正破解了這個問題,雖然有很多人嘗試,而且我們的模型和電腦要想成功處理這類問題,有可能還要變強大10或100或1000倍。

| Q17:FacebookAI研究院珍惜其研究人員發(fā)表的學(xué)術(shù)文章嗎?

當(dāng)然,我們在評估中很珍惜研究所帶來的影響,也珍惜產(chǎn)品所帶來的影響。我們無法完美的測量這些,但我們有一些方式。如果你的產(chǎn)品有影響,它可能為很多用戶服務(wù),帶來了很多互動或者作為一個平臺吸引了很多使用者。如果你的研究有影響力,它可能會有很多次引用,在開源社區(qū)中有很多人使用它,或者在Facebook中有很多產(chǎn)品團隊在嘗試將其應(yīng)用到產(chǎn)品中。

注重影響力真的是讓Facebook取得如此成功的一個重要因素,這是我們在產(chǎn)品和研究中都在關(guān)注的東西。

| Q18:Facebook會開發(fā)和/或開源深度學(xué)習(xí)專業(yè)硬件嗎?

我們最近的硬件設(shè)計就是這樣做的,名為“BigSur”。

您可能感興趣的文章

相關(guān)文章