如何使用修改的bfill pandas将重复项附近折叠成一行

我有一个像下面所示的dataframe

ID,F1,F2,F3,F4,F5,F6,L1,L2,L3,L4,L5,L6
1,X,,X,,,X,A,B,C
1,X,,X,,,X,A,B,C
1,X,,X,,,X,A,B,C
2,X,,,X,,X,A,B,C,D,E
3,X,X,X,,,X,A
3,X,X,X,,,X,,B,,C
3,X,X,X,,,X,,D,C
4,X,X,,,,,A,B
4,,,,X,,X,G,H,I
4,,,X,,,,T

df = pd.read_clipboard(sep=',')

我想做以下事情

a)删除完全重复项（其中每列的所有值都匹配）。 ex:ID=1(keep=first)

b）将重复项附近折叠成一行。 ex：ID=3和4。接近重复的是只有ID匹配但其余的F numbered and L number columns differ

的行

我正在尝试下面的方法，但它会导致错误的输出

下面的代码错过复制其他L numbered values which doesn't have NA before

df = df.drop_duplicates(keep='first') # this drops full duplicates ex:ID = 1
df.groupby(['ID'])['ID','F1','F2','F3','F4','F5','F6','L1','L2','L3','L4','L5','L6'].bfill().drop_duplicates(subset=['ID'],keep='first')

在真实数据中，有50个F列和50个L列。对于F columns，X的位置很重要，必须是正确的，而对于L列，它可以在任何地方，只要它被捕获，它就可以了。

我期望我的输出如下所示

#first omit all duplicates by all columns df = df.drop_duplicates(keep='first') cL = df.filter(like='L').columns cF = df.filter(like='F').columns def f(x): s = pd.Series(x.stack().unique()).rename(lambda x: f'L{x + 1}') print (s) return s #recreate L columns by remove missing values and duplicates #f = lambda x: pd.Series(x.stack().unique()).rename(lambda x: f'L{x + 1}') df1 = df[cL].groupby(df['ID']).apply(f).unstack() #remove original L columns df = df.drop(cL, axis=1) #for F columns processing with original solution df[cF] = df.groupby(['ID'])[cF].bfill() #after remove duplicates for F columns add L columns in df1 df = df.drop_duplicates(subset=['ID'],keep='first').join(df1, on='ID') print (df) ID F1 F2 F3 F4 F5 F6 L1 L2 L3 L4 L5 L6 0 1 X NaN X NaN NaN X A B C NaN NaN NaN 3 2 X NaN NaN X NaN X A B C D E NaN 4 3 X X X NaN NaN X A B C D NaN NaN 7 4 X X X X NaN X A B G H I T

如何使用修改的bfill pandas将重复项附近折叠成一行

相似问题