人と人の感情交流の過程と同じく、感情認識ロボットは感情情報をキャッチし、識別・分析を行い、感情を表現する。ロボットはまず視覚・聴覚システムおよび各種センサによって外部の情報を集める。一般的なスマートロボットと異なり、感情認識ロボットは感情と関連する効果的な情報に的を絞り収集することができる。これは顔の表情や動き、声の高さや強さなどだ。感情情報の識別と分析は、この過程の中で特に重要だ。生活において、顔の表情は人々が頻繁に用いる、自然な感情表現方法だ。例えば眉を顰めれば、憤りを示すことができる。米国の心理学者のポール・エクマン氏は1970年代に、顔動作記述システム(FACS)を考案した。異なるコードと運動ユニットの組み合わせにより、ロボットに複雑な表情の変化(幸せ、憤り、悲しみなど)を自動的に識別・合成させる。他にも動作分析模型、音響学模型がある。
感情分析模型の他に、知識バンクを構築し、人々がよく知る常識や慣用表現をロボットに「把握」させる必要がある。こうすることで、ロボットと人の交流がよりスムーズで面白くなる。感情認識・分析に、音声・表情・動作の合成を加える事で、機能が揃った感情認識ロボットが完成する。